(57)【要約】【解決手段】画像から光学収差を除去するデジタル方法が開示される。方法は、光学系の初期プロファイリングを行うことと、光学収差を補正するために得られた情報を使用することと、を含み、同じまたは同一の光学系によって画像へと導入される。【選択図】図６
2020501262.tif 000002
【特許請求の範囲】
【請求項１】
光学収差を除去するための光学撮像方法であって、光学系によって取り込まれる取り込み済み画像が、
第１の手順および第２の手順であって、前記第１の手順が前記第２の手順の前に遂行され、前記第１の手順が、
光学系情報を収集することと、
点像分布関数（ＰＳＦ）を抽出することと、
前記ＰＳＦを部分へと分離することであって、前記部分が少なくとも近接場部分および遠方場部分である、分離することと、
遠方場補正を生成することと、
ニューラルネットワーク（ＮＮ）を訓練することと、
前記ＮＮの重み付け係数を抽出することと、
光学系プロファイルを作成することと、から構成され、かつ
前記第２の手順が、
前記光学系内で元の画像を作成することと、
前記遠方場補正を適用することと、
ＮＮ出力を計算することと、
補正済み画像を形成することであって、前記補正済み画像が低減された光学収差を有する前記元の画像である、形成することと、から構成される、第１の手順および第２の手順を含む、方法。
【請求項２】
前記第１の手順が、
前記光学系情報を収集することであって、前記光学系情報が合焦距離、口径サイズ、および焦点距離である、収集することと、
一組のコンピュータ生成チャートを作成することと、
前記光学系によって前記コンピュータ生成チャートの取り込み済み画像のシーケンスを作成することと、
前記取り込み済み画像のシーケンスと前記コンピュータ生成チャートとの間の幾何学的位置合わせおよびラジオメトリック位置合わせを遂行することと、
前記幾何学的位置合わせおよび前記ラジオメトリック位置合わせから位置合わせ済み画像を生成することと、
前記位置合わせ済み画像の中に近隣隣接区域および遠隔隣接区域を作成することと、をさらに含む、請求項１に記載の方法。
【請求項３】
前記近接場部分が前記近隣隣接区域を使用して計算され、前記遠方場部分が前記遠隔隣接区域を使用して計算される、請求項２に記載の方法。
【請求項４】
前記遠方場補正が前記位置合わせ済み画像を用いる前記遠方場カーネルの畳み込みであり、前記遠方場補正済み画像が近接場収差のみを含む、請求項２に記載の方法。
【請求項５】
前記光学系情報がレンズ製造業者のパラメータを含む、請求項２に記載の方法。
【請求項６】
前記第１の手順が、
前記位置合わせ済み画像を、前記近隣隣接区域を使用して計算されている低空間周波数を含む位置合わせ済み低空間周波数（ＬＦ）部分と、前記遠隔隣接区域を使用して計算されている高空間周波数のみを含む位置合わせ済み高空間周波数（ＨＦ）部分とに分離することと、
前記位置合わせされたＨＦ部分を使用して、事前調整された位置合わせ済みＨＦ部分を計算することと、
ＮＮ用の第１の入力データを提供することであって、前記第１の入力データが、前記事前調整された位置合わせ済みＨＦ部分と取り込み済みＬＦ部分との組み合わせである、提供することと、をさらに含む、請求項２に記載の方法。
【請求項７】
前記位置合わせ済みＬＦ部分が線形ローパスフィルタを使用して計算され、かつ前記位置合わせ済みＨＦ部分が線形ハイパスフィルタを使用して計算される、請求項６に記載の方法。
【請求項８】
前記事前調整された位置合わせ済みＨＦが、前記位置合わせ済みＬＦ部分の動的範囲低減と、前記位置合わせ済みＬＦ部分に対する非線形性の適用との組み合わせを含む、請求項６に記載の方法。
【請求項９】
前記取り込み済み画像からの取り込み済みタイルの抽出、および前記位置合わせ済み画像からの位置合わせ済みタイルの抽出をさらに含む、請求項２に記載の方法。
【請求項１０】
前記単一の補正済み画像を形成することが、補正済みタイルをマージすることを含む、請求項９に記載の方法。
【請求項１１】
前記補正済みタイルをマージすることが、前記補正済みタイル間の継ぎ目を排除することを含む、請求項１０に記載の方法。
【請求項１２】
遠方場カーネル係数が前記遠方場部分から計算される、請求項１に記載の方法。
【請求項１３】
前記光学系プロファイルが前記ＮＮ重み付け係数および前記遠方場カーネル係数を含むデータであり、前記光学系プロファイルが各位置合わせ済み画像ごとに独特である、請求項１に記載の方法。
【請求項１４】
前記第２の手順が、
前記元の画像の中に近隣隣接区域および遠隔隣接区域を作成することと、
前記元の画像を、前記近隣隣接区域を使用して計算されている低空間周波数のみを含む元のＬＦ部分と、前記遠隔隣接区域を使用して計算されている高空間周波数のみを含む元のＨＦ部分とに分離することと、
前記元のＨＦ部分を使用して、事前調整された元のＨＦ部分を計算することと、
ＮＮ用の第２の入力データを提供することであって、前記第２の入力データが、前記光学系プロファイルと、前記事前調整された元のＨＦ部分と、前記元のＬＦ部分との組み合わせである、提供することと、
前記ＮＮの出力値から、再調整されたＮＮ出力を計算することと、
前記再調整されたＮＮの前記出力値と前記元のＬＦ部分との合算を遂行することと、をさらに含む、請求項１に記載の方法。
【請求項１５】
前記再調整されたＮＮ出力が、事前調整された取り込み済みＨＦ部分の算術逆数を使用して計算される、請求項１４に記載の方法。
【請求項１６】
前記光学系がカメラである、請求項１に記載の方法。
【請求項１７】
前記光学系がビューファインダーの接眼部である、請求項１に記載の方法。
【請求項１８】
前記光学系がディスプレイである、請求項１に記載の方法。
【請求項１９】
前記ＮＮの出力値が複数の画素値を有する、請求項１に記載の方法。
【請求項２０】
再調整することが、前記ＮＮの訓練のステップにおいてエラーを低減するために使用され、前記再調整することが、事前調整することの逆である、請求項１に記載の方法。
【請求項２１】
前記ＰＳＦを分離することが２Ｄ  ＦＦＴを使用して遂行される、請求項１に記載の方法。
【請求項２２】
光学収差を除去するための光学系であって、前記光学系が光学プロファイルを有し、
光学収差を有する取り込み済み画像を形成するレンズと、
前記光学系内に配設された感光性素子のアレイと、
前記取り込み済み画像をデジタル画像に変換する変換コンポーネントと、
前記光学プロファイルに基づく補正を通じて前記デジタル画像から前記光学収差を除去することによって補正済み画像を形成するように構成された計算コンポーネントであって、前記光学収差が長手方向収差を含む、計算コンポーネントと、を含む、光学系。
【請求項２３】
ディスプレイを有するヘッドセットであって、
光学プロファイルを有する光学系であって、前記光学系によって生成された画像が光学収差を有する、光学系と、
前記光学プロファイルに基づく補正を通じて前記光学収差を除去することによって補正済み画像を形成するように構成された計算コンポーネントであって、前記光学収差が長手方向収差を含み、前記補正済み画像が前記ディスプレイ上に表示される、計算コンポーネントと、を含む、ヘッドセット。
【請求項２４】
前記光学プロファイルが、前記光学系情報を収集することと、点像分布関数（ＰＳＦ）を抽出することと、前記ＰＳＦを部分へと分離することであって、前記部分が少なくとも近接場部分および遠方場部分である、分離することと、遠方場補正を生成することと、ニューラルネットワーク（ＮＮ）を訓練することと、前記ＮＮの重み付け係数を抽出することと、光学系プロファイルを作成することと、によって形成され、前記補正が、デジタル画像を作成することと、前記遠方場補正を適用することと、ＮＮ出力を計算することと、前記補正済み画像を形成することと、によって適用される、請求項２２に記載の光学系。
【請求項２５】
前記光学プロファイルが、前記光学系情報を収集することと、点像分布関数（ＰＳＦ）を抽出することと、前記ＰＳＦを部分へと分離することであって、前記部分が少なくとも近接場部分および遠方場部分である、分離することと、遠方場補正を生成することと、ニューラルネットワーク（ＮＮ）を訓練することと、前記ＮＮの重み付け係数を抽出することと、光学系プロファイルを作成することと、によって形成され、前記補正が、デジタル画像を作成することと、前記遠方場補正を適用することと、ＮＮ出力を計算することと、前記補正済み画像を形成することと、によって適用される、請求項２３に記載のヘッドセット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して光学系の分野に関し、具体的には光学撮像デバイスの改善に関する。
【０００２】
より具体的には、本発明は、計算コンポーネントによって光学系の収差を補正することを可能にする。本発明は、物理的な設計上の制約下で光学系の品質を改善することによって、光学系の光学設計および／または応用範囲の境界を拡張する。この技術は、様々な電気光学撮像系に応用することができる。
【背景技術】
【０００３】
現代の撮像技術は、しばしば数十個の個別の光学素子からなる、高度に洗練された光学系を用いる。過去数十年にわたって、撮像光学系は、このような光学系（例えば、一眼レフ（ＳＬＲ）カメラ）に光効率を提供するために、ますます複雑になっている。このような複雑性は、典型的に、利用可能な口径比の効果的な使用、および単純なレンズ素子に固有の望ましからざるアーチファクトの補償に必要とされる。
【０００４】
理想的な「薄レンズ」モデルからの非線形偏位（すなわち、収差）の排除または最小化は、撮像系全体の効率の最適化の重要な部分である。光学収差としては、幾何学的歪み、色収差（波長依存の焦平面）、球面収差（光軸距離依存の焦点距離）、およびコマ収差（角度の焦点依存性）などのアーチファクトが挙げられる。
【０００５】
球面（複数可）を含む各単一の光学素子は上記のアーチファクトを抱えているので、とりわけ高品質撮像が必要とされる場合（例えば、写真で）、異なるレンズ素子の組み合わせが使用されてきた。
【０００６】
しかしながら、はるかに良好な幾何学的撮像特性を有する複雑な収差補償光学系は、劇的に増大する製造コスト、重量、レンズフレア、信頼性の低下などを含む他の欠点を抱えている。
【０００７】
いくつかの状況ではデジタル後処理を使用して色収差効果の出現を補正することが可能であるものの、現実世界の大部分の状況では、色収差は、何らかの画像ディテールの永久的な喪失をもたらす。
【０００８】
提案される本発明は、代替的な手法を使用して高品質撮像を達成する。すなわち、より複雑な光学系の代わりに、光学系の収差を補正するための前処理または後処理計算コンポーネントを追加することによって、性能改善が達成される。このような光学コンポーネントを、以下では光学系の「デジタルレンズ」素子と呼ぶ。
【０００９】
計算による収差補正の様々な方法が、開発され報告されている。したがって、レンズプロファイルベースの画像補正方法は、典型的に、高コントラスト縁部におけるカラーフリンジ、口径食などの様々な種類のレンズ歪みの（自動）補正のために、光学レンズ／光学系の既知の特徴を考慮に入れる。
【００１０】
実際、画像を生成するために使用される光学系の詳細な知識は、画像内の望ましからざるアーチファクトの補正において重要な役割を果たす可能性がある。色収差の複雑性（焦点距離との関係など）のため、カメラ製造業者は、様々なレンズ固有の技法を用いて色収差の出現を最小化する。
【００１１】
今日、ほぼ全ての大手カメラ製造業者は、カメラ内でおよび自社独自ソフトウェアを介しての両方で、何らかの形態の色収差補正を可能にしている。サードパーティソフトウェアツール（例えば、ＰＴＬｅｎｓ、ＤｘＯ  Ｏｐｔｉｃｓ  Ｐｒｏ、Ａｄｏｂｅ  Ｐｈｏｔｏｓｈｏｐ（登録商標）  Ｌｉｇｈｔｒｏｏｍ）も、対応するカメラ／レンズのデータベースを用いて複雑な色収差の出現低減を遂行する能力を有する。
【００１２】
例えば、Ｅｎｏｍｏｔｏによる米国特許第６，８６２，３７３号にはある方法が報告されており、光学素子（レンズ）によって撮影された画像からの入力データと、この画像を記録するために使用されたそのレンズに関する情報との両方の取得を記載している。この方法は、記録時の焦点距離および口径（すなわち、レンズアイリス開口）ならびにレンズ特性に関する情報を使用して画像内の収差および口径食を補正する画像処理をさらに記載している。
【００１３】
Ｈａｂｕによる特開平１１−１６１７７３号に開示されている別の例も、光学コンポーネントを使用することなく倍率色収差を補正することを記載している。各色に関するレンズの倍率色収差データが事前に記憶され、画像処理は、上記の事前記憶データに基づいて画像の拡大および縮小を遂行し、このようにしてこのレンズを通して画像が取得される度に倍率収差補正を遂行する。次いで、倍率補正後、各色の画像を単一の画像へと組み合わせて、倍率色収差補正を達成する。
【００１４】
Ｏｋａｄａによる米国特許第７，４２５，９８８号（および同様に、Ｓｕｔｏによる米国特許第８，５０８，６５５号）には別の方法が開示されており、各色における画像の拡大または縮小、各色に関する画像レンズ固有の色収差データ（複数のズーム、焦点、および絞り値を含む）を記憶するデータメモリユニット、ならびに色収差データ（データメモリユニット内に記憶される）ならびに検出された画像（現在のズーム、焦点、および絞り値と共に）を使用して変換係数を制御し倍率収差補正を調整する処理ユニットを記載している。
【００１５】
理想的な状況では、横色収差を除去または補正する後処理は、最終画像において全てのチャネルが空間的に正しく互いに重なり合うように（例えば、ホログラフィ顕微鏡検査において）、フリンジのある色チャネルをスケール変更すること、またはフリンジのあるチャネルのスケール変更済みバージョンのいくつかを減算することを必要とすることになる。
【００１６】
しかしながら、実際の応用では、理論的に完璧な後処理に基づく色収差低減システムでさえ、良好に補正された物理レンズと比較すると画像ディテールを増大させない。
【００１７】
色収差の観点から見ると、この理由は以下のとおりである：ｉ）計算による再スケール変更は横（長手方向ではない）色収差のみに適用可能である。ｉｉ）色チャネルの個別的な再スケール変更はある程度の分解能損失をもたらす。ｉｉｉ）色収差は光スペクトルにわたって発生するが、なお大部分のカメラセンサはいくつかの離散的（例えば、ＲＧＢ）色チャネルを取り込むのみである。
【００１８】
ある程度の色収差チャネル横断色汚れは、カメラセンサでは不可避である。
【００１９】
上記の問題は特定の取り込み済み画像の内容に密接に関連するので、合理的な量のプログラミングおよび取り込み機器の知識（例えば、カメラおよびレンズデータ）では、このような限界を完全に克服することはできない。
【００２０】
開示される方法は、電子光学収差補正のための新しい、改善された、非ブラインドの逆畳み込み手法を提案する。上記の他の方法と同様に、開示される方法も、撮像に使用される光学系の知識（すなわち、プロファイリング）に基づく。さらに、本方法は、その結果として撮像系に関する既知のプロファイルを使用して、任意の取り込み済みシーンを本開示の「デジタルレンズ」素子によって処理する。
【００２１】
しかしながら、他の収差補正技法と比較して、開示されるプロファイリング手法は、異なる画像スケール（すなわち、画像ディテール）に点像分布関数（ＰＳＦ）抽出を利用することおよびその後の人工ニューラルネットワーク（ＮＮ）訓練によって、基本的に、本質的に異なる。ＰＳＦは、光伝搬および撮像系性能の予測において重要な特性である。
【００２２】
開示される方法および「デジタルレンズ」素子は、典型的な画像取り込みシステム（デジタルカメラ）から、拡張現実（ＡＲ）／仮想現実（ＶＲ）ディスプレイシステム、ヘッドセット、ファインダーなどを含むより広範な撮像用途に向けて、デジタルレンズの利用可能性を拡大する。
【００２３】
本発明のさらなる特徴および態様は、添付図面への参照を含む以下の好ましい実施形態および任意選択の実施形態の記述から明らかになるであろう。
【発明の概要】
【００２４】
画像から光学収差を除去する光学撮像方法および「デジタルレンズ」素子が開示される。この方法は２つの独立した手順に基づき、第１の手順が第２の手順の前に遂行される。
【００２５】
第１の手順は、光学系情報を収集することと、コンピュータ生成チャートとその画像（複数可）との間で幾何学的位置合わせおよびラジオメトリック位置合わせを遂行することと、遠方場カーネルを含むＰＳＦ成分を抽出することと、それを位置合わせ済み画像で畳み込み、遠方場補正済み画像データを生成することと、を含む。第１の手順はまた、ＮＮ訓練に使用される画像データを事前調整することと、ＮＮ重み付け係数を抽出することと、ＮＮ重み付け係数および遠方場カーネルを含むデータである光学系プロファイルを作成することと、も含む。
【００２６】
第２の手順は、光学系によって元の画像を取り込むことと、低空間周波数および高空間周波数（ＬＦおよびＨＦ）を含む成分を抽出することと、ＮＮ用にＨＦ成分を事前調整することと、さらに第１の手順で得られた光学系プロファイルを使用することと、も含む。再調整されたＮＮ出力をさらに元のＬＦ成分と合算し、光学収差が除去された単一の補正済み画像を形成する。
【００２７】
この方法は、既知の製造業者パラメータを有するカメラ、ファインダー接眼部、およびディスプレイなどの、様々な光学系で使用することができる。この方法は、画像のセグメント（タイル）に適用することができる。
【００２８】
ＬＦ成分およびＨＦ成分はそれぞれ線形ローパスフィルタおよび線形ハイパスフィルタを使用して計算することができる一方、事前調整は動的範囲低減および非線形性の適用を含むことができる。ＮＮ出力は複数の画素値を含むことができる一方、ＮＮ訓練はＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムを使用して遂行することができる。
【００２９】
逆事前調整を適用して、ＮＮ訓練エラーを低減することができる。ＮＮ出力はＨＦ部分の算術逆数を使用して計算することができる一方、ＰＳＦ成分抽出は二次元高速フーリエ変換を使用して遂行することができる。
【図面の簡単な説明】
【００３０】
【図１】光学収差補正方法の概略図。
【００３１】
【図２】チャートおよび画像の幾何学的およびラジオメトリック位置合わせ。
【００３２】
【図３】光学系プロファイリング。
【００３３】
【図４】遠方場画像補正および点像分布関数（ＰＳＦ）の抽出。
【００３４】
【図５】画像処理。
【００３５】
【図６】ＮＮ出力データのために画素クアッド（ＲＧ／ＧＢ）と共にベイヤーフィルタを使用する例。
【００３６】
【図７】ディスプレイシステムのための光学収差補正。
【発明を実施するための形態】
【００３７】
開示される発明は、概して、さらに詳細に説明される非プラインドの逆畳み込み技法を使用して光学収差を補正するタスクに役立つ。「非ブラインド」という用語は、本発明が、対象の光学系を「プロファイリング」することによって知られている（例えば、予め推測された）点像分布関数（ＰＳＦ）を利用するという意味で使用されている。一般に、ＰＳＦは、点状物体または点光源に対する撮像系の（３次元）応答を説明する。関数の観点からは、ＰＳＦは、空間ドメインにおける撮像系の伝達関数である。
【００３８】
開示される発明の概略レイアウトが図１に示されており、光学系（例えば、カメラ）（２）に関する特定の情報（６）（すなわち、「光学プロファイル」）が計算コンポーネント（すなわち、「デジタルレンズ」）（４）に予め提供されているという想定で、シーン（１）が光学系（２）によって観察され、光学系（２）がシーン（１）のデジタル画像（３）を取り込み、光学系（２）の収差を補正するために計算コンポーネント（４）によって遂行されるデジタル収差補正後処理を適用した後、シーン（１）の補正済み画像（５）を提供する。このような特定の情報（６）は、光学系（２）をプロファイリングすることによって得られ、さらに詳細に説明するように、開示される発明においてきわめて重要な役割を果たす。
【００３９】
開示される方法は、光学系収差の計算による補正手順全体を、以下のような２つの別々の（独立した）ステップに分離することに基づく。
【００４０】
手順Ｉ：選択した光学系のプロファイリング。この部分では、この光学系により引き起こされる収差をどのように最適に補正するかという情報が得られる。次いで、この情報は、この特定の光学系のための「光学プロファイル」という形態で記憶される。典型的に、光学系のこのようなプロファイリングは、時間のかかる反復的プロセスである。幸運なことに、これは、選択した光学系について１回遂行するだけでよい（例えば、光学系が設計され製造された後で）。
【００４１】
手順ＩＩ：手順Ｉ中に得られた「光学プロファイル」を使用することによって光学系の収差を補正する。このステップは、非反復的であり、相対的に高速であり、例えば、ビデオ信号フレームレートで、既存の画像プロセッサ上および／または電力の制約があるモバイルデバイス内のいずれかで、画像の光学収差補正を遂行することを可能にする。
【００４２】
このような手順の２つのステップへの分離は、この方法の適用可能範囲を、例えば、画像取り込みシステム（デジタルカメラ）から、様々な現代のＡＲ／ＶＲディスプレイ／ヘッドセットシステム、ビューファインダー接眼部などを含むより一般的な光学撮像用途へと拡張することも可能にする。
【００４３】
本発明の好ましい実施形態では、手順Ｉは、人の目の位置を高品質画像取り込みデバイスで置き換えることによって、選択した光学系で実行することができる。結果として、この光学系によって生成されるいかなる将来の画像も、本質的に、手順ＩＩでルーチン的に補正し、収差（このような既知の、不完全な光学系に本来備わっている）を相殺することができる。
【００４４】
したがって、本発明の好ましい実施形態は、２つの概して別々の手順：すなわち手順Ｉ、−光学系のプロファイリング、具体的には、光学系に関する情報を含む「光学プロファイル」を得ること、および手順ＩＩ、−取り込み済み画像中の光学収差を低減するために、手順Ｉで得た光学プロファイルを、同じ（または同一の）光学系によって取り込まれている画像に適用すること、を含む。
【００４５】
手順ＩＩ中、いわゆる「デジタルレンズ」補正が、手順Ｉで光学系（すなわち、カメラ）によって得られたデータ（画像）に直接適用される。補正済み画像は、「デジタルレンズ」補正のない画像と同様に、画像信号処理を通過することができる。
【００４６】
本発明の好ましい実施形態の手順Ｉは、今度は、図２を参照して本明細書で詳細に説明するように、２つの主要ステップへと分割される。
【００４７】
ステップ１：プロファイリング画像取り込みおよび幾何学的／ラジオメトリック位置合わせ。
【００４８】
図２で説明されるこのステップでは、一組のコンピュータ生成チャートが作成される。これらのチャートは、紙上に印刷されるか、または高品質／高分解能ディスプレイ上に表示されるかのいずれかであり、光学系／カメラを通じて取り込まれる。
【００４９】
次いで、コンピュータ生成チャートは、プロファイリングされるべき光学系によって取り込まれ（図１で（３）としても示されている）、一般にＮ個の画像のシーケンス（２１）を生成する。
【００５０】
取り込み済み画像のシーケンス（２１）は、合焦距離、口径サイズ（レンズアイリス値）、焦点距離などの、光学系のパラメータ（すなわち、取り込み中に使用されたカメラのメタデータ）の知識を含む。
【００５１】
次いで、取り込み済み画像のシーケンスからのチャート（２１）の幾何学的およびラジオメトリック位置合わせ（２３）が遂行される。この目的のために、シーケンス（２１）からのプロファイリング画像のサブセット、およびその取り込み済みバージョン（（２２）の出力）を使用して、幾何学的位置合わせ（すなわち、シーン／特徴の位置合わせ）およびラジオメトリック位置合わせ（すなわち、色値がシーケンスの全画像に対して一貫性を有するように、各画像中の色値の非線形関数を推測し、それを適用して画像をラジオメトリックに位置合わせすること）を容易にする。
【００５２】
このような位置合わせ手順の間、コンピュータ生成チャート（２１）は、取り込み済み画像、すなわちプロファイリングされているシステムによって取り込まれたチャート画像のバージョンと位置合わせされることに留意されたい。このような取り込み済み画像は全て、互いに位置合わせを必要としないように、同じカメラ設定で、かつ同じ照明条件下で取り込まれる。
【００５３】
幾何学的およびラジオメトリック位置合わせのための様々な確立された画像処理技法が、先行技術で報告されており、これらは、チャートの色および幾何学的特徴の一致の観点から正確な（できる限り）画像位置合わせを提供することを目標として、開示される方法によって利用することができる。
【００５４】
この位置合わせプロセス（２３）の出力は、一対の位置合わせ済み画像（２４）である。好ましい実施形態では、本発明が、コンピュータ生成チャートのサブセットをそれらの取り込み済みバージョンに幾何学的およびラジオメトリックに位置合わせした場合、位置合わせプロセスの出力（２４）の一部として提供される。図２に示すように、このような対は、いわゆる「位置合わせ済み」および対応する「取り込み済み」画像を含む。
【００５５】
これらの画像（２４）（すなわち、位置合わせ済みチャートおよびその取り込み済みバージョンを一緒にした）は、光学系プロファイルの作成において、具体的には特定の光学系の収差がそれによって補正されることになる方法に関する知識を抽出するために、さらに使用される。
【００５６】
ステップ２：光学系のための光学プロファイルの作成。
【００５７】
手順Ｉのこのステップ２は、以下で詳細に説明されるが、前のステップからの「位置合わせ済み」画像および「取り込み済み」画像を使用して、実際のシステムプロファイリングを遂行する（図２の（２４）を参照されたい）。
【００５８】
光学系に対するプロファイル作成（すなわち、手順Ｉ）の全プロセスが図３に描かれている。プロセスは、一対の入力画像−位置合わせ済みと取り込み済み（３１）で始まり、これらは（任意選択で）タイル（３２）（以下の図４を参照してステップ２ａで詳細に後述する）へと分割される。このデータは、遠方場補正（３４）に渡され、これは、遠方場画像補正および点像分布関数（ＰＳＦ）抽出（以下の図４を参照してステップ２ｂで詳細に後述する）を含む。
【００５９】
遠方場補正（３４）は、今度は、２つの出力、すなわち、光学系プロファイル（３３）の中へと記憶された遠方場カーネル係数および近接場収差の残りのみを有する画素データを提供する。
【００６０】
これらの画素データは、ＬＦ／ＨＦ分離（３６）を通して続く。（３６）の出力は、ＮＮ（３９）のための入力の形態で提供される。この目的のために、ＬＦ空間周波数を含む画素データが直接渡される一方、ＨＦ空間周波数を含む画素データはデータ調整（３８）を受けてからＮＮ（３９）に伝達される。
【００６１】
（３２）（または、タイル形成ステップが使用されない場合は（３１））から直接提供される画素データの座標（画像平面内またはタイル内のいずれか）が、ＮＮ（３９）の別の入力を形成する。
【００６２】
手順１（プロファイリング）の間、ＮＮ（３９）は、ターゲット画素データが訓練されることを必要とする。このような画素データは、ＨＦフィルタ（３５）およびデータ調整（３７）を通じて位置合わせ済み画像から提供される。訓練によって得られたＮＮ重み付けおよびバイアス（３９１）も、光学系プロファイル（３３）に記憶される。
【００６３】
遠方場画像補正および点像分布関数（ＰＳＦ）抽出のプロセスは、図３で手順（３４）として示されており、図４に関連してより詳細に後述する。
【００６４】
ステップ２ｃ．図３を参照すると、位置合わせ済みおよび取り込み済み画像（３１）（またはその位置合わせ済みタイル（３２））のデータは、データ空間周波数に従って、以下のように２つの部分へと分離される。
【００６５】
１つの部分（３５）は高空間周波数を含む内容（以下ではデータから抽出されたＨＦ部分）のみを含むことになる一方、別の部分（３６）はＨＦ部分およびＬＦ部分（データから抽出された、低空間周波数を含む内容）の両方を有することになる。この分離は、それぞれローパスカーネルおよびハイパスカーネルに基づく周知の線形フィルタの適用によって実現することができる。
【００６６】
重要なことに、ＬＦ部分（３６）は典型的に収差によって影響されず、したがって、処理なしにそのまま渡すことができる。しかしながら、ＨＦ部分（３５）は、望ましい改善された画像を得るために、適切に補正される必要がある。
【００６７】
上記のように、ＬＦ部分（３６）およびＨＦ（３５）部分は、両方とも、「位置合わせ済み」および「取り込み済み」画像について、または画像をタイルに分割する選択肢が選択された場合はそのそれぞれのタイルについて、別々に抽出される。
【００６８】
ステップ２ｄ。図３を参照すると、ＨＦ部分から以前得られた画素データは、ＮＮ訓練（３９）のための入力データ（すなわち、基準データ）の役割を果たすように、調整手順（３７）によって準備される（すなわち、「調整される」）。典型的に、ＮＮ（３９）は、多数の、一般に未知の、入力に依存する関数係数（３９１）を推測する（または概算する）ために、機械学習手順で使用される。画像処理では、ＮＮは、既知である自己事前訓練手順のための基準（入力）画像を使用することができる。
【００６９】
様々な既知のデータ事前調整技法を、ＮＮ訓練の開始前にルーチンで使用することができる。再調整（３７）（ＮＮ訓練後のデータ操作）は、ＮＮ訓練効率を改善するためにも、例えばＮＮ訓練エラーを低減するためにも、使用することもできる。
【００７０】
再調整（３７）は、事前調整ステップ（３８）の逆に似ている。例えば、ＮＮデータの動的範囲が何らかの方法で低減された場合、ＮＮの出力は、対応する動的範囲拡大によって再調整されるべきである。
【００７１】
本発明の好ましい実施形態では、このようなデータ（（３８）による事前調整および（３７）による事後調整）は、以下の２つの手順の任意の組み合わせを含む。
ａ．データの動的範囲の低減。一般に、ＮＮは、限られた動的範囲を有するデータを提供されたとき、最適に動作する。データの動的範囲を低減する多くの周知の方法が存在する。１つの可能な方法は、入力画素値の合計または最大入力画素値のいずれかによって入力データを正規化することである。
ｂ．画素値に対する非線形性の適用。このような非線形性は、小さい値を有する画素の寄与分を強調し、それゆえに小さい振幅の入力についてより正確な結果を生成するようにＮＮに命令するのに役立つ。従ってこれは、出力画像においてより良子な信号雑音比（ＳＮＲ）をもたらす。例えば、導入された非線形性は、Ａ＾（１−α）の形態を有することができ、式中、Ａは画素値であり、αは小さい定数（典型的に０．０２〜０．２の範囲内）である。
【００７２】
訓練されると、ＮＮアルゴリズム（データ事前調整および事後調整を含む）は、どのようにして収差のある（例えば、ぼやけた）画像をできる限り完璧（収差なし）に近い画像に変換するかに関する情報（３３）、すなわち「光学系プロファイル」を得ることになる。
【００７３】
ＮＮ（３９）は、画素に関する様式で動作する。したがって、特定の画素の収差を補正するために、この画素のある特定の隣接区域（入力された取り込み済み画像（３２）の中の）が処理される。本発明の好ましい実施形態では、データは、図３を参照して詳述するように、ＮＮ入力および出力のために準備される。
【００７４】
ＮＮ（３９）は、処理済み画素の位置の知識を提供され、ＮＮ（３９）が所与のタイルにわたってＰＳＦの可変性に適応することを効果的に可能にする。この目的のために、取り込み済み画像（３４）から取られた画素座標（３１）が、タイル形成ステップ（３２）からＮＮ（３３）の入力に渡される。
【００７５】
取り込み済み画像タイル（３２）からのＨＦ部分（３６）は、上記の「データ調整」（３８）に供された後、ＮＮ（３９）の入力に渡される。このＨＦ部分（３６）は、取り込み済み画像のある特定の隣接区域（例えば、処理されている画素から９画素未満の距離）の中の画素を使用して抽出される。
【００７６】
位置合わせ済み画像タイル（３２）からの処理されている画素のＨＦ部分（３５）は、上記の「データ調整」（３７）に供された後、ＮＮ（３９）の出力にも渡され、ＮＮ出力データとして機能する。
【００７７】
その上、取り込み済み画像タイル（３２）からのＬＦ部分（３６）は、ＮＮ（３９）の入力に渡される。上記のように、このＬＦ部分（３６）は、取り込み済み画像のより大きい隣接区域（例えば、処理されている画素から８画素超離れる距離）内の画素を使用して抽出される。
【００７８】
本発明のいくつかの実施形態では、画素入力データは、撮像系信号プロセッサ（ＩＳＰ）によって提供されるいかなる事前処理もなしに、モザイクフィルタ付きセンサから簡単に得られることに留意すべきである。例えば、光センサマトリクスに適用されたカラーフィルタモザイクアレイであるベイヤーフィルタを使用して、ＲＧＢカラーフィルタを正方形グリッドパターンに配置することができる。カラーフィルタのこのような配置は、デジタルカラーカメラ、カメラ付きビデオレコーダー、およびスキャナに見られる大部分の単一チップ式デジタル画像センサで使用されている。このような場合、図６に関連して後述するように、出力において複数の画素値を一度に生成する（ベイヤーパターンの場合は４画素）このような種類のＮＮを使用することが可能である。
【００７９】
全ての入力データおよび出力データが準備されると、ＮＮ訓練が開始される。
【００８０】
本発明の好ましい実施形態では、訓練は、例えば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔなどの周知の訓練アルゴリズムを使用して遂行される。訓練されたＮＮの重み付け（図４で（３９１）とマークされている）は、抽出され、遠方場補正ステップ（３４）から得られたカーネルと共に、「光学系プロファイル」の形態で記憶される。重み付けおよびカーネルは各タイルごとに独特であり、ゆえに各タイルはそれ自体の一組のこのようなパラメータを有する。
【００８１】
上記のように、本発明の好ましい実施形態は、２つの一般に別々の手順、すなわち、「光学系プロファイル」を生成する手順Ｉ、および取り込み済み画像の光学収差を低減するために、手順Ｉで得られたプロファイルを、同じ（すなわち、同一の）光学系によって取り込み済みの画像に適用する手順ＩＩ、を含む。
【００８２】
光学系に対するプロファイル作成（手順Ｉ）の全プロセスは、図３を参照して説明した。遠方場画像補正（３４）および点像分布関数（ＰＳＦ）の抽出（ステップ２ａ〜２ｂ）を、ここで図４を参照してより詳細に説明する。
【００８３】
ステップ２ａでは、画像（当初、図２で（２４）として示されるカメラの視界によって提供される）は、任意選択で、タイル分離モジュール（４０）を使用して、以下でそれぞれ取り込み済み画像（４２）および位置合わせ済み画像（４１）の「タイル」と呼ぶより小さい部分へと分割することができる。
【００８４】
上記のＰＳＦは、光学系の視界内の様々な特徴のサイズ、濃度、および分布に対するその依存性のため、その本性上非常に可変的である。したがって、（任意選択の）ステップ（４１）および（４２）は、一般に、所与の光学系の視界内のＰＳＦ形状のこのような可変性を低減するために遂行される。各単一のタイル内では、ＰＳＦ可変性（すなわち、収差）はより低く（ただし、依然として存在する）、したがって、元の（取り込み済みおよび／または位置合わせ済み）画像と比較してより効果的に補償することができる。
【００８５】
ステップ２ｂでは、図４に関連して以下で説明するいわゆる遠隔補正が遂行される。ＰＳＦ概算は、抽出され（４３）、次いで２つの部分、すなわち、処理される画素のある特定の近接する区域内で計算される近接場部分（４４）（例えば、６画素未満の半径を有する）、ならびにＰＳＦ（および収差）が近位部半径の外側から抽出される遠方場部分（４６）、に分離される。
【００８６】
上記の入力データからのＰＳＦ概算（４３）の抽出は、先行技術で公知の多くの方法のうちの１つに基づくことができる（例えば、Ｆｅｌｉｘらを参照されたい）。この報告された方法は、非常に正確なＰＳＦ推測を提供するものの、非常に時間がかかる。計算負荷を低減するために、より単純な方法がはるかに好ましいことになる。
【００８７】
開示される発明の好ましい実施形態では、以下の手法が（４３）のために実装される：ｉ）取り込み済み画像のタイルの二次元（２Ｄ）フーリエ変換を、位置合わせ済み画像の対応するタイルの２Ｄフーリエ変換で除算する、ｉｉ）その結果を２Ｄ逆フーリエ変換によって逆変換する。
【００８８】
このような手法は、当業者には周知である。潜在的な雑音（すなわち、位置合わせ済み画像の低振幅画像周波数）の過増幅を防止するために、防御バイアス値（複数可）を、位置合わせ済み画像の周波数成分の値に追加すべきであることは、述べる価値がある。
【００８９】
遠方場カーネルの計算（４５）および畳み込み（４７）は、遠方場部分によって生じた収差およびぼやけを含む画像が補正された画像をもたらす。選択した遠方場補正（すなわち、遠方場補正（４６）から得られたカーネル係数（４５））のパラメータは、後述するように、光学系プロファイルと共に、後の使用のために記録される。
【００９０】
画像処理において、カーネルは、画像の修正（例えば、シャープニング、ぼかし、エッジ検出など）のために使用される畳み込み行列（画像それ自体よりはるかに小さい）である。これは、特定のカーネルと選択した画像との間に行列畳み込み演算を適用することによって達成される。
【００９１】
近接場ＰＳＦに対する単純な反転は出力画像の著しい雑音拡大なしには可能ではないため、ＰＳＦ（４４）の近接場部分は破棄される。
【００９２】
上記の近接場および遠方場への（４４）と（４６）との分離の理由は、２つある。第一に、遠方場補正は、雑音を増幅せず、望ましからざるアーチファクトを排除し、したがって、それほど計算資源を必要としない相対的により単純な方法によって実行することができる。第二に、このような近接場補正は、限られた量の処理されるべき入力データを必要とし、ゆえに処理要件をさらに低減する。このような分離は、算術的に遂行される。最も単純な方法では、ある特定の半径内の全てのＰＳＦ値が近位部を形成している一方、この半径の外側の全てのＰＳＦ値が遠位部を形成している。しかし実際は、これらの２つの部分間にいくらかの円滑な移行領域が存在する。
【００９３】
このような円滑な移行を有するためには、周波数ドメイン手法が好ましく、ＰＳＦの二次元高速フーリエ変換（２Ｄ  ＦＦＴ）が計算される。
【００９４】
遠方場部分（４６）は、周波数成分を高周波数でゼロ振幅を有する一方、低周波数で単位値に接近する窓によって乗算することによって得られる。ガウス２Ｄ分布は、このような窓の便利な例であろう。
【００９５】
２Ｄ逆変換を用いて、空間ドメインにおける遠方場部分（３６）を得る。
【００９６】
遠方場補正はいかなる高周波数空間成分も有しないため、その適用はいかなる高周波数雑音成分も増幅しない。したがって、遠方場カーネル構築手順（４５）は、また何らかの周知の方法によって簡単に実現することができる。
【００９７】
好ましい実施形態で使用される方法は、得られた遠位部ＰＳＦによる入力画像の畳み込みを利用し、続いて結果を入力画像から減算する。このような（相対的に単純な）手法は、光学系によって生じた一次のぼやけおよび収差を効果的に補正することになる。
【００９８】
取り込み済み画像（処理のために使用される）にすでに収差があるという事実のため、いわゆる二次収差は依然として引き起こされ得るが、典型的な光学系では遠方場効果は振幅が低いため、このような上記の補正の二次効果は無視できることに留意すべきである。
【００９９】
遠方場カーネル（４５）が構築されると、その係数が光学系プロファイルに渡される。次いで、カーネルを取り込み済み画像タイル画素データで畳み込み（４７）、遠方場補正の別の出力が得られる（前の図３で（３４）−（３６）接続として示されている）。この出力は、近接場の残存収差（４８）のみを含むタイルである。
【０１００】
手順ＩＩは、本発明の好ましい実施形態に関して図５を参照して本明細書で詳細に説明するように、記載の「デジタルレンズ」の取り込み済み画像への適用である。
【０１０１】
元の取り込み済み画像（５２）および光学系プロファイル（５６）は、手順ＩＩ処理への入力である。元の画像の画素データは、（任意選択で）タイルに分離される（５４）。これは、光学系プロファイル（５６）からのカーネル係数を使用した遠方場補正（５５）をさらに受ける。その後、画素データはＬＦ／ＨＦ分離（５７）を通過し、その出力はＮＮ（５９０）への入力となる。
【０１０２】
したがって、ＬＦ空間周波数のみを含む画素データは直接渡される一方、ＨＦ空間周波数を含む画素データは、データ調整（５９１）を受けてからＮＮ（５９０）に伝達される。
【０１０３】
ＮＮ（５９０）へのさらに別の入力は、（５４）によって（または、タイル形成手順が使用されない場合は、直接（５２）によって）提供される画素データの座標（画像平面内またはタイル内のいずれか）である。
【０１０４】
光学系プロファイル（５６）からの所与のタイルについて、ＮＮ（５９０）の重み付けおよびバイアスが得られる。ＮＮ（５９０）の出力は、データ再調整（５９３）を受け、かつＬＦ／ＨＦ分離フィルタ（５７）から得られたＬＦ出力と合算される（５８）。合算結果をさらに再び組み合わせ（５３）、個々のタイルを単一の画像へとマージする（タイル形成ステップが使用された場合は）。このようなマージは、補正済み出力画像（５１）を形成する。
【０１０５】
任意の取り込み済みシーンの処理（プロファイル（５６）が手順Ｉ（図４、（４３）ですでにこのシステムのために準備されている一方で）は、手順Ｉと同様の処理（光学系プロファイリング）を使用して遂行され、データフロー中にいくつかの変更があるのみである。
【０１０６】
入力（５２）は、処理されるべき取り込み済みシーンは、手順Ｉ、ステップ２ａで説明したものと同様の様式でタイル形成手順（５４）を通過させる（図３および図４を参照されたい）。
【０１０７】
次いで、遠方場補正（５５）が手順Ｉ、ステップ２ｂで説明したものと同様の様式で遂行され（図４を参照されたい）、遠方場補正カーネルが手順Ｉ、ステップ２ｃで得られたものとしてすでに知られていることが違いである。
【０１０８】
次いで、画像データが、手順Ｉ、ステップ２ｃで説明したＬＦ／ＨＦ分離手順と同様に、ＬＦ部分およびＨＦ部分（５７）に分離される（図３を参照されたい）。
【０１０９】
ＨＦ部分は、手順Ｉ、ステップ２ｄで説明した調整と同様に、画素データの調整手順（５９１）をさらに通過する（図４を参照されたい）。
【０１１０】
記載される手順（５２）、（５４）、および（５５）は、手順Ｉで得られた光学系プロファイル（５６）と共に、ＮＮ（５９０）のための入力データを形成する。このデータは、画素座標に関して、手順Ｉでシステムプロファイリングステップ中に得られたものと同様である。前と同様に、これは、異なる隣接区域内で処理された画素のＬＦおよびＨＦ部分も有する。
【０１１１】
ＮＮ（５９０）の出力の以下の処理は、最終的には、光学収差が除去されたという意味で所望の画像である画像（５１）を（タイルマージ（５３）を通じて）形成する。具体的には、ＮＮ（５９０）出力値は、本発明の好ましい実施形態ではデータ調整手順（５９０）のａｂ算術逆数によって実現されるデータ再調整手順（５９２）を受ける。この結果は、その後、（５８）によって、処理済み画素のＬＦ部分（５７）と合算される。
【０１１２】
最後に、入力画像の全ての処理済みタイル（５３）を再び組み合わせて、単一の出力画像（５１）を形成する。本発明の好ましい実施形態では、（５３）で組み合わせたタイルは、いくらかの重複エリアを有する。これらのエリアでは、処理の結果（５３）は、１つのタイルから別のタイルへと円滑に減衰されて、それらを最終画像（５１）にマージする間にいかなる目に見える継ぎ目も排除される。このような目に見える継ぎ目は、補正済み出力からのタイル毎の偏差によって生じる。
【０１１３】
本発明の別の実施形態では、デジタルレンズ処理の速度最適化を遂行することができる。したがって、図６を参照すると、単一の画素を出力するために、ＮＮ（６２）を適用することによって、入力画像内のその画素の隣接区域（６１）が処理される。この隣接区域のサイズ（例えば、プロファイリング手順で選択された「直径」（６１））は、光学系の特性に依存する。例えば、ベイヤーフィルタが入力および出力データのために使用される場合、４画素クアッド（ＲＧ／ＧＢ）（６３）を一度に算出することができる。
【０１１４】
本発明のさらに別の実施形態では、モニタ（ディスプレイ、仮想現実ヘッドセット、またはビューファインダー接眼部のいずれか）を、光学系のプロファイリング手順に使用することができる。このような実施形態では、モニタはプロファイリング画像を表示するために使用され、高品質／高分解能カメラは通常動作中に観察者の目がある位置に正確に配置され、プロファイリング画像はこのカメラで取り込まれる。次いで、上記の方法と同様に、光学系プロファイルが作成される。
【０１１５】
図７を参照すると、このような実施形態の通常動作中に補正済み画像を得るために、画像（７１）を、当初デジタルレンズ補正（７２）を通過させ、次いでディスプレイデバイス（７３）に伝達する。次いで、補正済み画像は、観察者によって観察される（７４）。
【０１１６】
ＶＲヘッドセットのさらなる改善としては、最適な性能のための目の瞳孔の位置追跡（アイトラッカーによる）が挙げられる。この場合、完全な光学系は、一般に、任意の（非最適な）位置を有する目の瞳孔を含む。光学系の残部に対する目の相対位置を知っていることは、このような系において発生する収差の正確な補正を可能にする。
【０１１７】
いくつかの例示的な実施形態が本明細書に示され記載されているものの、当業者は、本発明の趣旨および範囲から逸脱することなく多くの修正および変形が可能であり、本発明を添付請求項のみによって評価することが意図されることを認識するであろう。
【図１】
2020501262.tif 000003
【図２】
2020501262.tif 000004
【図３】
2020501262.tif 000005
【図４】
2020501262.tif 000006
【図５】
2020501262.tif 000007
【図６】
2020501262.tif 000008
【図７】
2020501262.tif 000009
【国際調査報告】
2020501262.tif 000010
2020501262.tif 000011
2020501262.tif 000012