(57)【特許請求の範囲】
【請求項１】
複数の単色レンズを備え、前記複数の単色レンズの各々は単一色の色合いにおいて撮像データを提供する、レンズアレイを用いて合成画像を記録する方法であって、
第１の色における撮像データを提供する第１のレンズ、第２の色における撮像データを提供する第２のレンズ、および第３の色における撮像データを提供する第３のレンズを用いて第１の合成画像を記録することと、
前記第１のレンズ、前記第２の色における撮像データを提供する第４のレンズ、および前記第３の色における撮像データを提供する第５のレンズを用いて第２の合成画像を記録することと、
前記第１および第２の合成画像におけるカラーフリンジ領域を識別することと、および
前記第１および第２の合成画像における前記カラーフリンジ領域の相対的なサイズおよび位置に基づいて、前記第１および第２の合成画像のうち少なくとも１つにデフリンジアルゴリズムを適用して前記カラーフリンジ領域におけるカラーフリンジを軽減することと、
を含み、
前記第１、第２、および第３の色は異なる色であり、
前記第２および第４のレンズは、前記第１のレンズを挟んで位置し、および
前記第３および第５のレンズもまた、前記第１のレンズを挟んで位置する、
方法。
【請求項２】
前記第１および第２の合成画像のうち少なくとも１つにデフリンジアルゴリズムを適用して前記カラーフリンジ領域における前記カラーフリンジを軽減することは、
前記第１および第２の合成画像の少なくとも前記カラーフリンジ領域を重ね合わせることと、
前記第１の合成画像においてカラーフリンジが生じているが、前記第２の合成画像においてはカラーフリンジが生じていない領域について、前記第１の合成画像の当該領域についての撮像データを前記第２の合成画像の当該領域からの撮像データに置き換えて修正された第１の合成画像を形成することと、および
前記第２の合成画像においてカラーフリンジが生じているが、前記第１の合成画像においてはカラーフリンジが生じていない領域について、前記第２の合成画像の当該領域についての撮像データを前記第１の合成画像の当該領域からの撮像データに置き換えて修正された第２の合成画像を形成することと、
を含む、請求項１の方法。
【請求項３】
前記第１の合成画像を記録することは、
前記第１、第２、および第３のレンズからの撮像データを記録することと、
第１のアラインメントに従って前記第１、第２、第３のレンズからの前記撮像データを調整することと、および
前記第１のアラインメントに基づいて前記第１の合成画像を記録することと、
を含み、
前記第２の合成画像を記録することは、
前記第１、第４、および第５のレンズからの撮像データを記録することと、
第２のアラインメントに従って前記第１、第４、および第５のレンズからの前記撮像データを調整することと、および
前記第２のアラインメントに基づいて前記第２の合成画像を記録することと、
を含む、請求項２の方法。
【請求項４】
前記第１のアラインメントからカラーフリンジ領域の幅に基づいて、前記第１および第２のアラインメントと異なる第３のアラインメントに従って前記第１、第２、および第３のレンズからの前記撮像データを再調整することと、
前記第３のアラインメントに基づいて第３の合成画像を記録することと、
前記第２のアラインメントからカラーフリンジ領域の幅に基づいて、前記第１、第２、および第３のアラインメントと異なる第４のアラインメントに従って前記第１、第４、および第５のレンズからの前記撮像データを再調整することと、
前記第４のアラインメントに基づいて第４の合成画像を記録することと、
前記修正された第１の合成画像においてカラーフリンジが生じているが、前記第３の合成画像においてはカラーフリンジが生じていない領域について、前記修正された第１の合成画像の当該領域についての撮像データを前記第３の合成画像の当該領域からの撮像データに置き換えることと、および
前記修正された第１の合成画像においてカラーフリンジが生じているが、前記第４の合成画像においてはカラーフリンジが生じていない領域について、前記修正された第１の合成画像の当該領域についての撮像データを前記第４の合成画像の当該領域からの撮像データに置き換えることと、
をさらに含む、請求項３の方法。
【請求項５】
前記レンズアレイは、
前記第１および第２のレンズが交互配置される行の第１の型、および
前記第１および第３のレンズが交互配置される行の第２の型、
を含むＮ×Ｎレンズアレイであり、
前記行の第１および第２の型は、前記Ｎ×Ｎレンズアレイにおいて交互配置され、および
前記第１の型の行における前記第１のレンズは、隣接する前記第２の型の行における第１のレンズから少し離れている、
請求項１〜４のいずれか１項の方法。
【請求項６】
前記第１、第２、および第３のレンズは、互いに隣接し、および
前記第１、第４、および第５のレンズは、互いに隣接する、
請求項１〜５のいずれか１項の方法。
【請求項７】
複数の単色レンズを備え、前記複数の単色レンズの各々は単一色の色合いにおいて撮像データを提供するように構成される、レンズアレイと、
第１の色における撮像データを提供する第１のレンズ、第２の色における撮像データを提供する第２のレンズ、および第３の色における撮像データを記録する第３のレンズを用いて第１の合成画像を記録し、前記第１、第２、および第３の色は異なる色であり、
前記第１のレンズ、前記第２の色における撮像データを提供する第４のレンズ、および前記第３の色における撮像データを提供する第５のレンズを用いて第２の合成画像を記録し、
前記第１および第２の合成画像におけるカラーフリンジ領域を識別し、および
前記第１および第２の合成画像における前記識別されたカラーフリンジ領域の相対的なサイズおよび位置に基づいて、前記第１および第２の合成画像のうち少なくとも１つにデフリンジアルゴリズムを適用して前記カラーフリンジ領域におけるカラーフリンジを軽減する
ように構成されるプロセッサ回路と、
を備え、
前記第２および第４のレンズは、前記第１のレンズを挟んで位置し、および
前記第３および第５のレンズもまた、前記第１のレンズを挟んで位置する、
カメラ。
【請求項８】
前記第１および第２の合成画像のうち少なくとも１つにデフリンジアルゴリズムを適用して前記カラーフリンジ領域における前記カラーフリンジを軽減するために、前記プロセッサ回路は、
前記第１および第２の合成画像の少なくとも前記カラーフリンジ領域を重ね合わせ、
前記第１の合成画像においてカラーフリンジが生じているが、前記第２の合成画像においてはカラーフリンジが生じていない領域について、前記第１の合成画像の当該領域についての前記撮像データを前記第２の合成画像の当該領域からの前記撮像データに置き換えて修正された第１の合成画像を形成し、および
前記第２の合成画像においてカラーフリンジが生じているが、前記第１の合成画像においてはカラーフリンジが生じていない領域について、前記第２の合成画像の当該領域についての前記撮像データを前記第１の合成画像の当該領域からの前記撮像データに置き換えて修正された第２の合成画像を形成する、
ように構成される、請求項７のカメラ。
【請求項９】
前記第１の合成画像を記録するために、前記プロセッサ回路は、
前記第１、第２、および第３のレンズからの撮像データを記録し、
第１のアラインメントに従って前記第１、第２、第３のレンズからの前記撮像データを調整し、および
前記第１のアラインメントに基づいて前記第１の合成画像を記録する、
ように構成され、
前記第２の合成画像を記録するために、前記プロセッサ回路は、
前記第１、第４、および第５のレンズからの撮像データを記録し、
第２のアラインメントに従って前記第１、第４、および第５のレンズからの前記撮像データを調整し、および
前記第２のアラインメントに基づいて前記第２の合成画像を記録する、
ように構成される、
請求項８のカメラ。
【請求項１０】
前記プロセッサ回路はさらに、
前記第１のアラインメントからカラーフリンジ領域の幅に基づいて、前記第１および第２のアラインメントと異なる第３のアラインメントに従って前記第１、第２、および第３のレンズからの前記撮像データを再調整し、
前記第３のアラインメントに基づいて第３の合成画像を記録し、
前記第２のアラインメントからカラーフリンジ領域の幅に基づいて、前記第１、第２、および第３のアラインメントと異なる第４のアラインメントに従って前記第１、第４、および第５のレンズからの前記撮像データを再調整し、
前記第４のアラインメントに基づいて第４の合成画像を記録し、
前記修正された第１の合成画像においてカラーフリンジが生じているが、前記第３の合成画像においてはカラーフリンジが生じていない領域について、前記修正された第１の合成画像の当該領域についての撮像データを前記第３の合成画像の当該領域からの撮像データに置き換え、および
前記修正された第１の合成画像においてカラーフリンジが生じているが、前記第４の合成画像においてはカラーフリンジが生じていない領域について、前記修正された第１の合成画像の当該領域についての撮像データを前記第４の合成画像の当該領域からの撮像データに置き換える、
ように構成される、請求項９のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カラーフリンジを低減することに関し、特にレンズアレイを用いて記録される合成画像におけるカラーフリンジを低減することに関する。
【背景技術】
【０００２】
いわゆる「ライトフィールド」カメラまたは「プレノプティック」カメラのようないくつかのカメラは、レンズの配列を利用して景色についての光情報を入手する。いくつかのそのようなカメラでは、異なる単色レンズが用いられ、当該単色レンズの各々は所定の色の色合いにおける光を記録する。例えば、隣接するレンズが用いられ、当該レンズの各々は赤、緑または青（ＲＧＢ）のうちのある色合いにおける撮像データを記録する。次いで、ＲＧＢレンズからの撮像データは、合成画像を形成するために合成され得る。ＲＧＢレンズは互いに隣接しているため、それらはわずかに異なる地点からの撮像データを提供し、それは記録された合成画像におけるカラーフリンジを引き起こし得る。
【０００３】
従来では、視差推定および補正技術がそのようなカラーフリンジの解決に用いられていた。この技術によれば、記録された画像が色の最大補正場所を見つけるために１ピクセルずつスキャンされ、また深度マップが算出されなければならなかった。この技術は、計算集約的であり、非効率であった。
【発明の概要】
【０００４】
本開示の１つの側面によれば、複数の単色レンズを備えるレンズアレイを用いて合成画像を記録する方法が開示され、当該レンズの各々は単一色の色合いにおいて撮像データを提供する。第１の合成画像は、第１の色における撮像データを提供する第１のレンズ、第２の色における撮像データを提供する第２のレンズ、および第３の色における撮像データを提供する第３のレンズを用いて記録され、第１、第２、および第３の色は異なる色である。第２の合成画像は、第１のレンズ、第２の色における撮像データを提供する第４のレンズ、および第３の色における撮像データを提供する第５のレンズを用いて記録される。第２および第４のレンズは第１のレンズを挟んで位置し、第３および第５のレンズもまた第１のレンズを挟んで位置する。第１および第２の合成画像におけるカラーフリンジ領域は識別される。第１および第２の合成画像におけるカラーフリンジ領域の相対的なサイズおよび位置に基づいて、合成画像の少なくとも１つにデフリンジアルゴリズムが適用されてカラーフリンジ領域におけるカラーフリンジを軽減する。
【０００５】
１または複数の実施形態では、デフリンジアルゴリズムは、第１および第２の合成画像の少なくともカラーフリンジ部分を重ね合わせることを含む。第１の合成画像においてカラーフリンジが生じているが第２の合成画像においてはカラーフリンジが生じていない領域について、第１の合成画像の当該領域についての撮像データが第２の合成画像の当該領域からの撮像データに置き換えられて修正された第１の合成画像を形成する。第２の合成画像においてカラーフリンジが生じているが第１の合成画像においてはカラーフリンジが生じていない領域について、第２の合成画像の当該領域について撮像データが第１の合成画像の当該領域からの撮像データに置き換えられて修正された第２の合成画像を形成する。これは、必要に応じて繰り返されてよく、レンズからの撮像データの様々なアラインメントに基づいて第１および第２の合成画像をさらに修正する。
【０００６】
本開示の別の側面によれば、カメラが開示され、レンズアレイおよびプロセッサ回路を備える。レンズアレイは、複数の単色レンズを含み、複数の単色レンズの各々は単一色の色合いにおける撮像データを記録するように構成される。プロセッサ回路は、第１の色における撮像データを提供する第１のレンズ、第２の色における撮像データを提供する第２のレンズ、および第３の色における撮像データを記録する第３のレンズを用いて第１の合成画像を記録するように構成され、第１、第２、および第３の色は異なる色である。プロセッサ回路はさらに、第１のレンズ、第２の色における撮像データを提供する第４のレンズ、および第３の色における撮像データを提供する第５のレンズを用いて第２の合成画像を記録するように構成される。第２および第４のレンズは第１のレンズを挟んで位置し、第３および第５のレンズは第１のレンズを挟んで位置する。プロセッサ回路はさらに、第１および第２の合成画像におけるカラーフリンジ領域を識別し、および第１および第２の合成画像におけるカラーフリンジ領域の相対的なサイズおよび位置に基づいて、合成画像の少なくとも１つにデフリンジアルゴリズムを適用してカラーフリンジ領域におけるカラーフリンジを軽減するように構成される。
【０００７】
１つまたは複数の実施形態では、デフリンジアルゴリズムを適用するために、プロセッサ回路は、第１および第２の合成画像の少なくともカラーフリンジ部分を重ね合わせるように構成される。第１の合成画像においてカラーフリンジが生じているが、第２の合成画像においてはカラーフリンジが生じていない領域について、第１の合成画像の当該領域についての撮像データが第２の合成画像の当該領域からの撮像データに置き換えられて修正された第１の合成画像を形成する。第２の合成画像においてカラーフリンジが生じているが、第１の合成画像においてはカラーフリンジが生じていない領域について、第２の合成画像の当該領域についての撮像データが第１の合成画像の当該領域からの撮像データに置き換えて修正された第２の合成画像を形成する。これは、必要に応じて繰り返されてよく、レンズからの撮像データの様々なアラインメントに基づいて第１および第２の合成画像をさらに修正する。
【０００８】
１つまたは複数の実施形態では、第１、第２、および第３のレンズからの撮像データを記録することにより第１の合成画像を記録するための方法。第１の合成画像を記録するための方法はさらに、第１のアラインメントに従って第１、第２、および第３のレンズからの撮像データを調整することを含む。当該方法はさらに、第１のアラインメントに基づいて第１の合成画像を記録することを含む。当該方法さらに、第１、第４、および第５のレンズからの撮像データを記録することにより第２の合成画像を記録することを含む。第２の画像を記録するための方法はさらに、第２のアラインメントに従って第１、第４、および第５からの撮像データを調整することを含む。当該方法はさらに、第２のアラインメントに基づいて第２の合成画像を記録することにより第２の合成画像を記録することを含む。
【０００９】
１つまたは複数の実施形態では、第１のアラインメントからカラーフリンジ領域の幅に基づいて、第１および第２のアラインメントとは異なる第３のアラインメントに従って第１、第２、および第３のレンズからの撮像データを再調整すること。当該方法はさらに、第３のアラインメントに基づいて第３の合成画像を記録することを含んでいる。当該方法はさらに、第２のアラインメントからカラーフリンジ領域の幅に基づいて、第１、第２、第３のアラインメントとは異なる第４のアラインメントに従って第１、第４、および第５のレンズからの撮像データを再調整することを含んでいる。当該方法はさらに、第４のアラインメントに基づいて第４の合成画像を記録することを含んでいる。当該方法はさらに、修正された第１の合成画像においてカラーフリンジが生じているが、第３の合成画像においてはカラーフリンジが生じていない領域について、修正された第１の合成画像の当該領域についての撮像データを第３の合成画像の当該領域からの撮像データに置き換えることを含んでいる。当該方法はさらに、修正された第１の合成画像においてカラーフリンジが生じているが、第４の合成画像においてはカラーフリンジが生じていない領域について、修正された第１の合成画像の当該領域についての撮像データを第４の合成画像の当該領域からの撮像データを置き換えることを含んでいる。
【００１０】
１つまたは複数の実施形態では、レンズアレイは、第１および第２のレンズが交互配置される第１の型の行を含むＮ×Ｎレンズアレイである。当該方法はさらに、第１および第３のレンズが交互配置される第２の型の行を含んでいる。当該方法はさらに、Ｎ×Ｎ配列において第１および第２の型の行が交互配列され、第１の型の行における第１のレンズは、第２の型の隣接する行における第１のレンズから少し離れていることを含んでいる。
【００１１】
１つまたは複数の実施形態では、第１、第２、および第３のレンズは互いに隣接し、第１、第４、および第５のレンズは互いに隣接する。
【００１２】
１つまたは複数の実施形態では、カメラは、第１の合成画像を記録するように構成され、第１、第２、および第３のレンズからの撮像データを記録するように構成されるプロセッサ回路を含む。プロセッサ回路はさらに、第１のアラインメントに従って第１、第２、および第３のレンズからの撮像データを調整するように構成される。プロセッサ回路はさらに、第１のアラインメントに基づいて第１の合成画像を記録するように構成される。プロセッサ回路はさらに、第２の合成画像を記録するように構成される。プロセッサ回路は、第１、第４、および第５のレンズからの撮像データを記録するように構成される。プロセッサ回路はさらに、だい２のアラインメントに従って第１、第４、および第５のレンズからの撮像データを調整するように構成される。プロセッサ回路はさらに、第２のアラインメントに基づいて第２の合成画像を記録するように構成される。
【００１３】
１つまたは複数の実施形態では、プロセッサ回路は、第１のアラインメントからカラーフリンジ領域の幅に基づいて、第１および第２のアラインメントと異なる第３のアラインメントに従って第１、第２、および第３のレンズからの撮像データを再調整するように構成される。プロセッサ回路はさらに、第３のアラインメントに基づいて第３の合成画像を記録するように構成される。プロセッサ回路はさらに、第２のアラインメントからカラーフリンジ領域の幅に基づいて、第１、第２、および第３のアラインメントとは異なる第４のアラインメントに従って第１、第４、および第５のレンズからの撮像データを再調整するように構成される。プロセッサ回路はさらに、第４のアラインメントに基づいて第４の合成画像を記録するように構成される。プロセッサ回路はさらに、修正された第１の合成画像においてカラーフリンジが生じているが、第３の合成画像においてはカラーフリンジが生じていない領域について、修正された第１の合成画像の当該領域についての撮像データを第３の合成画像の当該領域からの撮像データに置き換えるように構成される。プロセッサ回路はさらに、修正された第１の合成画像においてカラーフリンジが生じているが、第４の合成画像においてはカラーフリンジが生じていない領域について、修正された第１の合成画像の当該領域についての撮像データを第４の合成画像の当該領域からの撮像データに置き換えるように構成される。
【００１４】
１つまたは複数の実施形態では、レンズアレイはＮ×Ｎレンズアレイである。Ｎ×Ｎレンズアレイは、第１および第２のレンズが交互配置される第１の型の行を含む。Ｎ×Ｎレンズアレイはさらに、第１および第３のレンズが交互配置される第２の型の行を含む。第１および第２の型の行は、Ｎ×Ｎ配列において交互配置され、第１の型の行における第１のレンズは、第２の型の隣接する行において第１のレンズから少し離れている。
【００１５】
１つまたは複数の実施形態では、第１、第２、および第３のレンズは互いに隣接し、第１、第４、および第５のレンズは互いに隣接する。
【００１６】
当然ながら、本開示は上述の特徴および利点に限定されない。実際、当業者は、以下の詳細な説明を読み、添付図面を参照することにより、追加的な特徴および利点を認識するであろう。
【図面の簡単な説明】
【００１７】
【図１】図１は、例示的な景色、当該景色の画像を記録するために向けられたカメラ、および当該景色の予期される画像を示す。
【図１Ａ】図１Ａは、図１の景色の鳥瞰図を示す。
【図２】図２は、複数の単色レンズを含む例示的なレンズアレイを示す。
【図２Ａ】図２Ａは、図２のレンズアレイのレンズの部分集合を示す。
【図２Ｂ】図２Ｂは、図２のレンズアレイのレンズの別の部分集合を示す。
【図３】図３は、図２Ａのレンズの部分集合により記録され、カラーフリンジを含む例示的な合成画像を示す。
【図４】図４は、カラーフリンジを軽減するカメラアレイからの合成画像を記録する方法を示す。
【図５Ａ】図５Ａは、図４の方法の実装例を示す。
【図５Ｂ】図５Ｂは、図４の方法の実装例を示す。
【図６】図６は、図２Ｂのレンズの部分集合により記録され、カラーフリンジを含む例示的な合成画像を示す。
【図７Ａ】図７Ａは、図６の合成画像を示す。
【図７Ｂ】図７Ｂは、図６の合成画像を示す。
【図８Ａ】図８Ａは、図７Ａの合成画像の修正版を示す。
【図８Ｂ】図８Ｂは、図７Ｂの合成画像の修正版を示す。
【図９】図９は、図８Ａおよび図８Ｂの合成画像の重ね合わせを示す。
【図１０Ａ】図１０Ａは、図８Ａの合成画像の修正版を示す。
【図１０Ｂ】図１０Ｂは、図８Ｂの合成画像の修正版を示す。
【図１１Ａ】図１１Ａは、図７Ａの合成画像の再調整版を示す。
【図１１Ｂ】図１１Ｂは、図７Ｂの合成画像の再調整版を示す。
【図１２Ａ】図１２Ａは、図１０Ａの合成画像の修正版を示す。
【図１２Ｂ】図１２Ｂは、図１０Ｂの合成画像の修正版を示す。
【図１３】図１３は、図４の方法を実装するように構成されたカメラの主な機能要素を示す。
【発明を実施するための形態】
【００１８】
本開示は、レンズアレイ（例えばＮ×Ｎカメラアレイ）を用いて画像を記録するための方法および装置を説明する。当該レンズアレイにおける配列内の各種の単色レンズは、それぞれ単一色の色合いにおける撮像データを提供する。３つの異なる色における撮像データを提供する３つのレンズをもってそれぞれ、複数の合成画像が記録される。カラーフリンジ領域は、当該複数の合成画像において識別され、デフリンジアルゴリズムが合成画像の少なくとも１つ適用されてカラーフリンジを軽減し、補正された合成画像を生成する。利便性のために、同一の要素を示すのに同一の参照符号が図全体にわたって用いられる。
【００１９】
図１は、例示的な景色１０、向けられて当該景色の画像を記録するカメラ１２、景色１０の予期される画像１４を示す。景色１０は、家１６および木１８を含む。カメラ１２は、複数の単色レンズを含むレンズアレイ２０を含み、当該単色レンズを用いて合成画像を記録するように作動する。（景色１０の鳥瞰図を示す）図１Ａで示されるように、家１６はカメラ１２から第１の距離Ｄ１離れており、木１８はカメラ２０からより短い第２の距離Ｄ２離れている（Ｄ１＞Ｄ２）。
【００２０】
図２は、図１２のカメラ１２において用いられ得る例示的な４×４レンズアレイ２０を示す。レンズアレイ２０は、複数の単色レンズ２２を含み、単色レンズ２２の各々はただ単一色の色合いにおける撮像データを提供する。レンズアレイ２０は、第１の色における撮像データを提供する第１の型の複数のレンズＡ１〜Ａ８、第２の色における撮像データを提供する第２の型の複数のレンズＢ１〜Ｂ４、および第３の色における撮像データを提供する第３の型の複数のレンズＣ１〜Ｃ４を含む。以下の議論のために、第１の色は緑、第２の色は赤、および第３の色は青であり、アレイ２０におけるレンズ群２２はベイヤフィルタを模倣するように想定されるであろう。当然ながら、これは例示に過ぎず、他の色および配置ならびに／または他のレンズアレイサイズが用いられ得ることが理解される。
【００２１】
図２に示されるように、レンズアレイ２０は、ＡおよびＣのレンズが交互配置される第１の型の行２４（すなわち第１および第３の行）を含み、またＡおよびＢのレンズが交互配置される第２の型の行２５（すなわち第２および第４の行）を含む。第１、第２の型の行２４、２５はアレイ２２においてそれ自身交互配置される。また、行２４におけるＡレンズは、行２５におけるＡレンズから少し離れている。レンズアレイ２０は、正面２６および背面２７を含む。当該レンズのうちの複数のレンズからの単色の撮像データが合成されて複数色の合成画像を形成する場合、当該レンズはわずかに異なる地点からの所定の景色の画像を記録するため、カラーフリンジが生じるであろう。また、カメラ１２と家１６および木１８との距離Ｄ１およびＤ２が異なるため、おそらくカメラ１２により記録される合成画像における家１６および木１８について異なる量のカラーフリンジが生じるであろう。
【００２２】
図３は、レンズアレイ２０のレンズ群の部分集合２８（図２Ａ参照）からの撮像データを用いて記録される合成画像がカラーフリンジをどのように見せるかを示す。第１の合成画像３４は、レンズＡ３、Ｂ１、およびＣ１を含むレンズグループ３０からの撮像データから形成される。図３に示されるように、合成画像３４は、非カラーフリンジ領域４０Ａ、４２Ａを含むが、カラーフリンジ領域４４Ａ、４６Ａ、４８Ａ、５０Ａ、および５４Ａもまた含む。第２の合成画像３８は、レンズＡ３、Ｂ２、およびＣ２を含むレンズグループ３２からの撮像データから形成される。図３に示されるように、合成画像３８は、非カラーフリンジ領域４０Ｂ、４２Ｂを含むが、カラーフリンジ領域４４Ｂ、４６Ｂ、４８Ｂ、および５０Ｂ、５２Ｂ、ならびに５４Ｂを含む。しかし、デフリンジアルゴリズムをフリンジ領域４４〜５４へ適用することにより、補正された合成画像５６が取得され得る。
【００２３】
図４は、レンズアレイ（すなわちレンズアレイ２０）から合成画像を記録し、カラーフリンジを軽減する方法１００を示す。上述したように、レンズアレイ２０は、複数の単色レンズを含み、当該単色レンズの各々は単一色の色合いにおける撮像データを提供する。第１の合成画像（例えば画像３４）は、第１の色における撮像データを提供する第１のレンズ（例えばレンズＡ３）、第２の色における撮像データを提供する第２のレンズ（例えばレンズＢ１）、および第３の色における撮像データを提供する第３のレンズ（例えばレンズＣ１）を用いて記録される（ブロック１０２）。第１、第２、および第３の色は異なる色である。第２の合成画像（例えば画像３８）は、第１のレンズ、第２の色における撮像データを提供する第４のレンズ（例えばレンズＢ２）、および第３の色における撮像データを提供する第５のレンズ（例えばＣ２）を用いて記録される（ブロック１０４）。第２および第４のレンズは第１のレンズを挟んで位置し、第３および第５のレンズもまた第１のレンズを挟んで位置する。第１および第２の合成画像におけるカラーフリンジ領域は、識別される（ブロック１０６）。第１および第２の合成画像におけるカラーフリンジ領域の相対的なサイズおよび位置に基づいて、合成画像の少なくとも１つにデフリンジアルゴリズムが適用されて識別されたカラーフリンジ領域におけるカラーフリンジを軽減する（ブロック１０８）。
【００２４】
１つまたは複数の実施形態では、カラーフリンジ領域を識別すること（ブロック１０６）は、赤、緑、および青（ＲＧＢ）チャネルを分析し、異なるチャネル間の大きなずれを探索することにより実行される。１つまたは複数の実施形態では、カラーフリンジ領域を識別することは、（米国特許番号８３８５６４２にて説明されるような）ＲＧＢチャネルの勾配値における異常な変化を探索することを含む。いくつかの追加の例示的な技術は、「Method  for  Removing  Color  Fringe  in  Digital  Image」（米国公開出願番号２０１１／０１５８５１４）において説明される。様々なエッジ検出技術もまた用いられる。カラーフリンジを識別するための様々な技術が当業者に知られているため、それらは本願では詳細には説明されない。カラーフリンジが識別されると、合成画像におけるカラーフリンジ領域の相対的なサイズおよび位置に基づいて、合成画像の少なくとも１つにデフリンジアルゴリズムが適用されてカラーフリンジ領域におけるカラーフリンジを軽減する。
【００２５】
図５Ａ〜５Ｂは、図４の方法１００例示的な実装２００を示す。説明の簡単化のため、図５Ａ〜５Ｂは、レンズアレイ２０のレンズ群の部分集合２９（図２Ｂおよび６参照）からの撮像データを用いる単純化された例に関して議論される。当該部分集合２９は、レンズＡ３、Ｂ１、およびＢ２を含む。以下の議論のために、ブロック１０２の「第１の合成画像」は図６の（図７Ａにも示される）画像６４’に対応し、ブロック１０４の「第２の合成画像」は図６の（図７Ｂにも示される）画像６８’に対応し、（図７Ａ、７Ｂの）合成画像６４、６８の記録は、図５Ａ〜５Ｂのブロックの前に起きていることを想定することにする。
【００２６】
図７Ａを参照すると、合成画像６４はレンズＢ１およびＡ３を含む部分集合２９のレンズグループ６２からの撮像データを含み、合成画像６８はレンズＡ３およびＢ２を含む部分集合２９のレンズグループ６６からの撮像データを含む。画像６４、６８はそれぞれ、複数の非カラーフリンジ領域７０、７１を含む。しかし、レンズＢ１、Ａ３、およびＢ２は互いに少し離れている（たとえ少ない量ずつであっても）ため、それぞれの合成画像６４、６８は、カラーフリンジ領域７２、７３、７４、および７５を含む。
【００２７】
今度は図５Ａを参照すると、撮像データは、第１のレンズおよび第２のレンズ（例えばレンズＡ３およびＢ１）から取得され（ブロック２０２）、第１のレンズおよび第３のレンズ（例えばレンズＡ３およびＢ２）から取得される（ブロック２０４）。以下の議論のために、取得された撮像データは、合成画像６４、６８の撮像データ（すなわちレンズＡ３、Ｂ１、Ｂ２からの）であると想定する。画像６４、６８は、図７Ａ、７Ｂにおいても示される。
【００２８】
第１および第２のレンズからの撮像データは、第１のアラインメントに従って調整され（ブロック２０６および図８Ａを参照）、第１および第３のレンズからの撮像データは、第２のアラインメントに従って調整される（ブロック２０８および図８Ｂ参照）。第１のアラインメントに基づいて、合成画像Ａは記録される（ブロック２１０および図８Ａの画像６４’参照）。第２のアラインメントに基づいて、合成画像Ｂは記録される（ブロック２１２および図８Ｂの画像６８’参照）。１つまたは複数の実施形態では、第１および第２のアラインメントは、レンズアレイ２０からの所定の離間距離（例えば距離Ｄ１）におけるオブジェクトについてのカラーフリンジを最小化する。１つまたは複数の実施形態では、ブロック２０６、２０８の調整は、調整前の当該所定の距離におけるカラーフリンジの幅に基づくものである（例えばカラーフリンジが５ピクセル幅である場合、対応するレンズからのデータを５ピクセル移動させる）。
【００２９】
図７Ａ、７Ｂに示されるように、合成画像６４、６８は各々カラーフリンジ領域７２、７３（家１６にカラーフリンジが生じている）およびカラーフリンジ領域７４、７５（木１８にカラーフリンジが生じている）を含む。しかし、レンズＢ１、Ａ３からの撮像データがカメラ１２からの離間距離Ｄ１におけるオブジェクトについて調整される場合、カラーフリンジ領域７４Ａ、７５Ａはかなり低減され、除去さえされるかもしれず（図８Ａにおける合成画像６４’参照）、カラーフリンジ領域４２Ａ、４３Ａもまた低減される（図８Ａにおけるカラーフリンジ領域７２Ａ’、７３Ａ’参照）。同様に、グループ７６からの撮像データがカメラ１２からの離間距離Ｄ１におけるオブジェクトについて調整される場合、カラーフリンジ領域７４Ｂ、７５Ｂはかなり軽減され、消去さえされるかもしれず（図８Ｂ合成画像６８’参照）、カラーフリンジ領域７２Ｂ、７３Ｂもまた低減される（図５Ｂにおける７２Ｂ’、７３Ｂ’参照）。
【００３０】
領域７２’および７３’のカラーフリンジ領域は、画像６４’の部分を画像６８’の部分に置き換えることによりさらに低減され、逆もまた同様である。この置き換えは、画像６４’および６８’のカラーフリンジ部分の識別（ブロック２１４、２１６）、および画像６４’、６８’の少なくともカラーフリンジ領域の重ね合わせ（ブロック２１８）に基づくものである。当該重ね合わせに基づいて、画像６４’、６８’の両方においてどの領域でカラーフリンジが生じているか、および画像６４’、６８’のうちのただ１つにおいてどの領域でカラーフリンジが生じているかで、判定はできている。
【００３１】
図９は、画像６４’、６８’の画像の部分７８Ａ、７８Ｂの重ね合わせの結果を示す。図９に示されるように、領域８０および８２では、画像６４’、６８’の両方においてカラーフリンジが生じている。すなわち、領域８０では領域７２Ａ’および７２Ｂ’の両方についてカラーフリンジが生じており、領域８２では領域７３Ａ’および７３Ｂ’の両方についてカラーフリンジが生じている。しかし、領域７２Ａ’の部分８４では画像６８’においてのみカラーフリンジが生じており、領域７３Ｂ’の部分８６では画像６４’においてのみカラーフリンジが生じている。
【００３２】
再び図５Ａを参照すると、画像Ａにおいてカラーフリンジが生じているが、画像Ｂにおいては生じていない領域（すなわち領域８６）について、合成画像６４’は、修正されて領域７３Ａ’の部分８６を画像６８’における同一の対応する位置からの撮像データに置き換えることにより領域７３Ａ’のサイズを低減し、より小さなカラーフリンジ領域７３Ａ’’を有する修正された合成画像６４’’を生成する（図１０Ａおよびブロック２２０参照）。同様に、画像６８’は、修正されて領域４２Ｂ’の部分８４を画像６４’における同一の対応する位置からの撮像データに置き換えることにより領域７２Ｂ’のサイズを低減し、より小さなカラーフリンジ領域７２Ｂ’’’を有する修正された合成６８’を生成する（図１０Ｂおよびブロック２２２参照）。図１０Ａに示されるように、領域８４ではもはやカラーフリンジが生じていない。同じように、図１０Ｂにおいて領域８４ではもはやカラーフリンジが生じていない。
【００３３】
次いで、検査が実行されて画像Ａ’またはＢ’において残存するカラーフリンジ領域があるかを判定する（図１０Ａ、１０Ｂおよびブロック２２４参照）。カラーフリンジ領域が残存していない場合、画像Ａ’およびＢ’のうちの１つまたは両方が補正された合成画像として出力される（ブロック２２６）。他方で、カラーフリンジ領域が残存している場合（図１０Ａ、１０Ｂの例においてはそうである）、検査が実行されて当該領域のサイズが予め定義される閾値を超えるかを判定する（ブロック２２８）。１つまたは複数の実施形態では、サイズの閾値は幅の閾値である。サイズの閾値が超えられていない場合、残存するカラーフリンジ領域は、無視されるか、または例えば画像Ａ’、Ｂ’のうちの１つまたは両方の色相チャネルをぼかすことにより除去され（ブロック２３０）、画像Ａ’およびＢ’のうちの１つまたは両方が補正された合成画像として出力される（ブロック２２６）。
【００３４】
他方で、カラーフリンジ領域のサイズが閾値を超えている場合、レンズからの撮像データが第３のアラインメント（ブロック２３２）および第４のアラインメント（ブロック２３４）に従って再調整される。１つまたは複数の実施形態では、第３および第４のアラインメントがレンズアレイ２０からの異なる離間距離（例えば距離Ｄ２）におけるオブジェクトについてのカラーフリンジを最小化する。合成画像Ｃは、図１１Ａに示されるように、第３のアラインメントに基づいて記録され（ブロック２３６）、合成画像Ｄは、図１１Ｂに示されるように、第３のアラインメントに基づいて記録される（ブロック２３８）。図１１Ａ、１１Ｂの例では、レンズグループ６２からの撮像データはカメラからの第２の距離（例えばカメラ１２と家１６との間の距離Ｄ２）におけるオブジェクトについて再調整され、それはカラーフリンジ領域７２Ａ、７３Ａを除去するが（合成画像９０および図１１Ａ参照）、カラーフリンジ領域７４Ａ、７５Ａを生む。同様に、レンズグループ６６からの撮像データが距離Ｄ２におけるオブジェクトについて再調整される場合、カラーフリンジ領域７２Ｂ、７３Ｂは除去される（合成画像９２および図１１Ｂ参照）が、カラーフリンジ領域７４Ｂ、７５Ｂを生む。
【００３５】
画像ＣおよびＤのカラーフリンジ部分は識別される（ブロック２４０、２４２）。図１１Ａ、１１Ｂで示される例では、唯一のカラーフリンジ領域は、木に隣接する領域７４、７５である。次いで、画像Ａ’およびＣのカラーフリンジ領域は重ね合わされる（ブロック２４４）。画像Ｃでは木の隣にカラーフリンジがないため、この重ね合わせは、画像Ａ’においては領域７２Ａ’、７３Ａ’’でカラーフリンジが生じているが画像Ｃにおいては生じていない（対応する領域９４、９５参照）ことの判定をもたらすことになる。そのため、領域７２Ａ’、７３Ａ’’における撮像データは、画像Ｃの領域９４、９５からの撮像データに置き換えられることになり、修正された画像Ａ’’を生成する（ブロック２４８）。図１２Ａで示されるように、（符号６４’’’でも識別される）画像Ａ’’は、画像Ａ’の修正版であり、画像Ｃの領域９４、９５がそれぞれ当該画像Ａ’におけるカラーフリンジ領域７２Ａ’および７３Ａ’’を予め置き換えるのに用いられたものである。
【００３６】
同様に、画像Ｂ’およびＤのカラーフリンジ領域もまた重ね合わせられる（ブロック２４６）。画像Ｄにおける家の隣にはカラーフリンジがないため、この重ね合わせは、画像Ｂ’において領域７２Ｂ’’、７３Ｂ’ではカラーフリンジが生じているが、画像Ｄにおいては生じていない（対応する領域９６、９７参照）ことの判定をもたらすことになる。そのため、領域７２Ｂ’’、７３Ｂ’における撮像データは、画像Ｄの領域９６、９７撮像データに置き換えられることになり、修正された画像Ｂ’’を生成する（ブロック２５０）。図１２Ｂにて示されるように、（符号６８’’’でも識別される）画像Ｂ’’は、画像Ｂ’の修正版であり、画像Ｃの領域９６、９７がそれぞれ当該画像Ｂ’におけるカラーフリンジ領域７２Ｂ’’および７３Ｂ’を予め置き換えるのに用いられたものである。
【００３７】
次いで、検査が実行されて残存するカラーフリンジ領域が少しでも画像Ａ’’またはＢ’’にて残存しているかを判定する（ブロック２５２）。カラーフリンジ猟奇が残存していない場合、画像Ａ’’および／または画像Ｂ’’が補正された合成画像として出力される（ブロック２５４）。他方で、カラーフリンジが残存する場合、検査が実行されて当該カラーフリンジ領域のサイズが予め定義される閾値のサイズを超過するかを判定する（ブロック２５６）。サイズが閾値を超過しない場合、残存するカラーフリンジ領域は、無視されるか、または例えば画像Ａ’’、Ｂ’’のうちの１つまたは両方の色相チャネルをぼかすことにより除去される（ブロック２５８）。しかし、残存するカラーフリンジ領域のサイズが閾値を超過する場合、ブロック２３２〜２５０が異なるアラインメントに基づいて繰り返されてカラーフリンジ領域を低減し続ける（ブロック２６０）（例えばカメラ１２からの異なる距離Ｄ３いくつかのオブジェクトに基づいて）。
【００３８】
図５〜１２は、レンズグループ６２、６６のみを用いる単純化された実施形態に関して議論される。しかし、当業者は、同一の技術が図３のレンズグループ３０、３２へ適用され得ることを察するであろう。主な差異は、ブロック２０２、２０４が３つのレンズ各々（例えばレンズグループ５０、５４）からの撮像データを取得し、ブロック２０６、２０８、２３２および２３４がそれら同一のレンズ（例えばレンズグループ３０、３２）からの撮像データを調整することになることであろう。
【００３９】
１つまたは複数の実施形態では、合成画像３４、３８は、レンズＡ３からの同一の撮像データが合成画像６４および６８の両方にて用いられるように、同時に記録される。１つまたは複数のそのような実施形態では、ただ１つの補正された画像５６が補正された合成画像として出力される。１つまたは複数の他の実施形態では、異なる時間のレンズＡ３から取得される撮像データがそれぞれ合成画像６４および６８にて用いられるように、合成画像３４、３８が連続的に記録される（例えばビデオ記録の一部として）。１つまたは複数のそのような実施形態では、両方の合成画像が修正されてカラーフリンジが低減され、補正された合成画像として出力される。
【００４０】
図１３は、図１のカメラ１２の例示的な実装であるカメラ２００主な機能要素を示す。図１３に示されるように、カメラ２００は、複数の単色レンズを備え、当該複数の単色レンズの各々が単一色の色合いにおける撮像データを提供するように構成されるレンズアレイ２０２（例えばレンズアレイ２０）、およびプロセッサ２０６を含む。プロセッサ２０６は、第１の色における撮像データを提供する第１のレンズ、第２の色における撮像データを提供する第２のレンズ、および第３の色における撮像データを記録する第３のレンズを用いて第１の合成画像（例えば画像６４’）を記録するように構成され、第１、第２、および第３の色は異なる色である。プロセッサ２０６はまた、第１のレンズ、第２の色における撮像データを提供する第４のレンズ、および第３の色における撮像データを提供する第５のレンズを用いて第２の合成画像（例えば画像６８’）を記録するように構成される。プロセッサ２０６は、第１および第２の合成画像におけるカラーフリンジ領域を識別するように構成され、第１および第２の合成画像における識別されたカラーフリンジ領域の相対的なサイズおよび位置に基づいて、合成画像のうちの少なくとも１つにデフリンジアルゴリズムを提供してカラーフリンジ領域におけるカラーフリンジを軽減するように構成される。第２および第４のレンズ（例えばレンズＢ１およびＢ２）は第１のレンズ（例えばレンズＡ３）を挟んで位置し、第３および第５のレンズ（例えばレンズＣ１およびＣ２）もまた第１のレンズを挟んで位置する。
【００４１】
１つまたは複数の実施形態では、レンズアレイ２０２は、図２にて示されるレンズアレイ２０と同一である。レンズアレイ２０２の後ろに位置する撮像センサ２０４は、レンズアレイ２０２からの撮像データを記録する。プロセッサ２０６は、撮像センサ２０４を介してレンズアレイ２０からの撮像データを受け取るように構成され、メモリ回路２０８に当該データを格納するように構成される。プロセッサ２０６は、例えば１つまたは複数のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ等の１つまたは複数のプロセッサ回路を含み、適切なソフトウェアおよび／またはファームウェアを伴って構成されて１つまたは複数の上述した技術を実行する。メモリ回路２０８は、読出し専用メモリ（ＲＯＭ：read−only  memory）、ランダムアクセスメモリ、キャッシュメモリ、フラッシュメモリデバイス、光学ストレージデバイス、等のような１つまたは複数の型のメモリを含む。１つまたは複数の実施形態では、メモリ２０８は、プロセッサ２０６を上述したように設定するプログラム命令を含む。電子ディスプレイ２１０は、カメラのユーザに情報を表示するように構成される。１つまたは複数の実施形態では、電子ディスプレイ２１０は、レンズアレイ２０２を用いて記録された画像を表示する液晶ディスプレイ（ＬＣＤ：liquid  crystal  display）である。入力デバイス２１２は、ユーザ入力（例えば合成画像を記録するために用いられる設定）をプロセッサ２０６へ伝達するように構成される。１つまたは複数の実施形態では、入力デバイス２１２は、電子ディスプレイ２１０と併せて用いられる１つまたは複数の入力ボタンおよび／またはタッチスクリーンセンサを含む。電源２１４は、電力を要するカメラ２００の各種コンポーネント（例えばプロセッサ２０６、電子ディスプレイ２１０等）に電力を供給する。
【００４２】
カメラ２００は、手持ち式のデジタルカメラ、カメラを含むスマートフォン、タブレットコンピューティングデバイス、ラップトップコンピューティングデバイス、スタンドアロンビデオカメラ、またはその他の撮像デバイスのような、いずれのデバイスにも組み込まれ得る。１つまたは複数の実施形態では、レンズアレイ２０のレンズの各々は、レンズアレイ２０がスマートフォンへの組み入れに適した小さいサイズを有するように、マイクロレンズである。１つまたは複数の実施形態では、カメラ２００は、撮像データが記録された後に画像の再フォーカスが可能な「ライトフィールド」または「プレノプティック」カメラである。
【００４３】
上述の技術を用いることにより、カラーフリンジは、従来技術よりも計算集約的でないより効率的な手法で軽減される。例えば、カラーフリンジの最小化に予め要されるデプスマップは、望まれるならば全て割愛されてよい。
【００４４】
従って、先の説明および添付図面は、ここで教示された方法および装置の限定されない例示を表す。このように、本開示は、先の説明および添付図面によっては限定されない。代わりに、本開示は、以下の特許請求の範囲およびそれらの法的な等価物によってのみ限定される。
【図１】
0006256625.tif 000002
【図１Ａ】
0006256625.tif 000003
【図２】
0006256625.tif 000004
【図２Ａ】
0006256625.tif 000005
【図２Ｂ】
0006256625.tif 000006
【図３】
0006256625.tif 000007
【図４】
0006256625.tif 000008
【図５Ａ】
0006256625.tif 000009
【図５Ｂ】
0006256625.tif 000010
【図６】
0006256625.tif 000011
【図７Ａ】
0006256625.tif 000012
【図７Ｂ】
0006256625.tif 000013
【図８Ａ】
0006256625.tif 000014
【図８Ｂ】
0006256625.tif 000015
【図９】
0006256625.tif 000016
【図１０Ａ】
0006256625.tif 000017
【図１０Ｂ】
0006256625.tif 000018
【図１１Ａ】
0006256625.tif 000019
【図１１Ｂ】
0006256625.tif 000020
【図１２Ａ】
0006256625.tif 000021
【図１２Ｂ】
0006256625.tif 000022
【図１３】
0006256625.tif 000023