(57)【要約】  アレイカメラを動的に較正して、動作寿命にわたって生じ得る幾何学的形状の変化に対処するためのシステム及び方法を開示する。動的較正処理は、シーンの画像セットを取得することと、画像内で対応する特徴を識別することと、を含み得る。幾何学的較正データを使用して画像を修正し、対応する特徴を観察する位置における幾何学的較正データの残差ベクトルを決定できる。次いで、残差ベクトルを使用して、カメラアレイの更新した幾何学的較正データを決定できる。いくつかの実施形態では、残差ベクトルを使用して、幾何学的較正データを更新する残差ベクトル較正データ場を生成する。多数の実施形態では、残差ベクトルを使用して、多数の異なる幾何学的較正データセットから、カメラアレイの現在の幾何学的形状に最適な幾何学的較正セットを選択する。
2017531976.tif 000002
【特許請求の範囲】
【請求項１】
カメラアレイの幾何学的較正データを動的に生成する方法であって、
複数台のカメラを使用してシーンの画像セットを取得することであって、前記画像セットが、基準画像と、別視点の画像と、を含む、ことと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記画像セットで特徴を検出することと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記基準画像内で検出した特徴に対応する特徴を前記別視点の画像内で識別することと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、幾何学的較正データセットに基づいて前記画像セットを修正することと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記基準画像及び前記別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、前記別視点の画像内で特徴を観測した位置において幾何学的較正データの残差ベクトルを決定することと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記残差ベクトルに基づいて、前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記更新した幾何学的較正データに基づいて、前記別視点の画像を撮ったカメラが撮った画像を修正することと、を含む、方法。
【請求項２】
前記別視点の画像内で特徴を観測した位置において幾何学的較正データの残差ベクトルを決定することが、
エピポーラ線に沿って前記基準画像及び前記別視点の画像で対応として識別した特徴の位置で観測したずれの成分に基づいて、前記基準画像内で検出した特徴への対応として識別した前記別視点の画像内の特徴の奥行を予測することと、
前記対応する特徴の前記予測奥行に基づいて、前記基準画像及び前記別視点の画像内で対応として識別した特徴の位置で観測したずれに適用する、シーンに依存する幾何補正を決定することと、
前記基準画像及び前記別視点の画像内で対応として識別した特徴の位置で観測したずれに前記シーンに依存する幾何補正を適用して、前記別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを取得することと、を含む、請求項１に記載の方法。
【請求項３】
前記残差ベクトルに基づいて、前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することが、少なくとも内挿処理を使用して、前記残差ベクトルから残差ベクトル較正場を生成することを含む、請求項１に記載の方法。
【請求項４】
前記残差ベクトルに基づいて、前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することが、前記残差ベクトルから前記残差ベクトル較正場を生成することにおいて外挿処理を使用することを更に含む、請求項３に記載の方法。
【請求項５】
前記別視点の画像を撮ったカメラに関する前記幾何学的較正データに前記残差ベクトル較正場を適用することを更に含む、請求項３に記載の方法。
【請求項６】
前記残差ベクトル較正場を基底ベクトルセットにマップすることと、
不完全な前記基底ベクトルセットの線形結合を使用して、ノイズを除去した残差ベクトル較正場を生成することと、を更に含む、請求項３に記載の方法。
【請求項７】
残差ベクトル較正場のトレーニングデータセットから前記基底ベクトルセットを学習する、請求項６に記載の方法。
【請求項８】
主成分分析を使用して、残差ベクトル較正場のトレーニングデータセットから前記基底ベクトルセットを学習する、請求項７に記載の方法。
【請求項９】
前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することが、前記別視点の画像内で特徴を観測した位置における幾何学的較正データの少なくとも前記残差ベクトルに基づいて、複数の幾何学的較正データセットから更新した幾何学的較正データセットを選択することを更に含む、請求項１に記載の方法。
【請求項１０】
前記複数台のカメラを使用して、シーンの追加画像セットを取得することと、
前記追加画像セットを使用して、前記幾何学的較正データの残差ベクトルを決定することと、を更に含み、
前記残差ベクトルに基づいて、前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することが、前記追加画像セットを使用して決定した前記幾何学的較正データの前記残差ベクトルを使用することも含む、請求項１に記載の方法。
【請求項１１】
特徴密度閾値を満たさない、カメラの視野内の少なくとも１つの領域を検出することを更に含み、
前記特徴密度閾値を満たさないカメラの視野内の、あの少なくとも１つの領域を検出したことに応えてシーンの前記追加画像セットを取得する、請求項１０に記載の方法。
【請求項１２】
前記追加画像セットを使用して決定した前記残差ベクトルを使用することが、前記追加画像セットを使用して決定した前記残差ベクトルを使用して、前記密度閾値を満たさなかった前記カメラの前記視野内の前記少なくとも１つの領域に関して更新した幾何学的較正データを決定することを更に含む、請求項１１に記載の方法。
【請求項１３】
画像処理アプリケーションの指示を受けるプロセッサを使用して、ユーザーインターフェースを介してプロンプトを提供することを更に含み、前記プロンプトが前記カメラアレイの方向を指示して、前記追加画像セットの取得中に特徴密度閾値を満たさないカメラの前記視野内の前記少なくとも１つの領域へと前記基準画像及び前記別視点の画像で対応と認識した特徴の位置をずらす、請求項１２に記載の方法。
【請求項１４】
カメラアレイの幾何学的較正データを検証する方法であって、
複数台のカメラを使用してシーンの画像セットを取得することであって、前記画像セットが、基準画像と、別視点の画像と、を含む、ことと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記画像セットで特徴を検出することと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記基準画像内で検出した特徴に対応する特徴を前記別視点の画像内で識別することと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、幾何学的較正データセットに基づいて前記画像セットを修正することと、
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記基準画像及び前記別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、前記幾何学的較正データの有効性を決定することと、を含む、方法。
【請求項１５】
前記基準画像及び前記別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、前記幾何学的較正データの有効性を決定することが、エピポーラ線から離れた位置までの観測したずれの程度を決定することを含む、請求項１４に記載の方法。
【請求項１６】
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記基準画像及び前記別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、前記別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを決定すること、並びに
画像処理アプリケーションの指示を受けるプロセッサを使用して、前記残差ベクトルに基づいて前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することによって、更新した幾何学的較正データを動的に生成することを更に含む、請求項１４に記載の方法。
【請求項１７】
前記別視点の画像内で特徴を観測した位置において幾何学的較正データの残差ベクトルを決定することが、
画像処理アプリケーションの指示を受けるプロセッサを使用して、エピポーラ線に沿って前記基準画像及び前記別視点の画像で対応として識別した特徴の位置で観測したずれの成分に基づいて、前記基準画像内で検出した特徴への対応として識別した前記別視点の画像内の特徴の奥行を予測することと、
前記対応する特徴の前記予測奥行に基づいて、前記基準画像及び前記別視点の画像内で対応として識別した特徴の位置で前記観測したずれに適用する、シーンに依存する幾何補正を決定することと、
前記基準画像及び前記別視点の画像内で対応として識別した特徴の位置で観測したずれに前記シーンに依存する幾何補正を適用して、前記別視点の画像内で観測した特徴の位置における幾何学的較正データの残差ベクトルを取得することと、を含む、請求項１６に記載の方法。
【請求項１８】
前記残差ベクトルに基づいて前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することが、少なくとも内挿処理を使用して、前記残差ベクトルから残差ベクトル較正場を生成することを含む、請求項１６に記載の方法。
【請求項１９】
前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することが、前記別視点の画像内で特徴を観測した位置における、幾何学的較正データの少なくとも前記残差ベクトルに基づいて、複数の幾何学的較正データセットから更新した幾何学的較正データセットを選択することを更に含む、請求項１６に記載の方法。
【請求項２０】
前記複数台のカメラを使用して、シーンの追加画像セットを取得することと、
前記追加画像セットを使用して残差ベクトルを決定することと、を更に含み、
前記残差ベクトルに基づいて前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することが、前記追加画像セットを使用して決定した前記残差ベクトルを使用することも含む、請求項１６に記載の方法。
【請求項２１】
カメラアレイであって、
複数台のカメラを含む、少なくとも１つのカメラアレイと、
プロセッサと、
画像処理アプリケーションを含むメモリと、を備え、
前記画像処理アプリケーションが、
前記複数台のカメラを使用して、シーンの画像セットを取得することであって、前記画像セットが基準画像と、別視点の画像と、を含むこと、
前記画像セットで特徴を検出すること、
前記基準画像内で検出した特徴に対応する特徴を前記別視点の画像内で識別すること、
幾何学的較正データセットに基づいて前記画像セットを修正すること、
前記基準画像及び前記別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、前記別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを決定すること、
前記残差ベクトルに基づいて前記別視点の画像を撮ったカメラの更新した幾何学的較正データを決定すること、並びに
前記更新した幾何学的較正データに基づいて、前記別視点の画像を撮った前記カメラで撮った画像を修正すること、を前記プロセッサに指示する、カメラアレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、一般にカメラアレイに関し、より具体的にはカメラアレイの動的較正に関する。
【背景技術】
【０００２】
あるシーンを双眼視すると、このシーンの微妙に異なる画像が２つ生成される。これは、各眼の視野が異なるためである。両眼視差（つまり、視差）と呼ばれるこれらの差異は、情景の奥行計算に使用できる情報をもたらし、奥行知覚の主な手段を提供する。立体的な奥行知覚に伴う奥行感はまた、観察者が移動中に片眼だけでシーンを眺めるときなど、他の条件下で得ることができる。観察した視差を使用して、そのシーンに含まれる対象物の奥行情報を得ることができる。マシンビジョンにおける類似の原則を使用して、奥行情報を収集することができる。
【０００３】
ある距離だけ離れた２台のカメラは、同一シーンの写真を撮ることができ、撮像画像は、２つ、又は３つ以上の画像のピクセルをずらすことによって比較して、一致する画像部分を検出することができる。２つの異なるカメラ視野間での対象物のずれ量は視差と呼ばれ、対象物までの距離と反比例する。最良の一致をもたらす、多数の画像で対象物のずれを検出する視差探索を使用して、カメラと関連カメラの焦点距離との間の基線距離（並びにカメラの追加特性に関する知識）に基づいて対象物までの距離を計算することができる。大部分のカメラ構成において、２つ又は３つ以上の画像間で対応を検出するには、二次元での探索を必要とする。しかしながら、修正を使用して、視差探索を簡略化することができる。修正とは、２つ又は３つ以上の画像を共通像平面に投影するために使用できる変換処理である。修正によって画像セットを同一平面に投影するとき、視差探索はエピポーラ線に沿った一次元探索となる。
【０００４】
ごく最近では、研究者らは、より幅広の合成開口部にわたって存在する複数台のカメラを使用して、明視野像を撮っている（例えば、Ｓｔａｎｆｏｒｄ  Ｍｕｌｔｉ  Ｃａｍｅｒａ  Ａｒｒａｙ）。シーン内のあらゆる点における全方向からの光を特徴とする４Ｄ機能として定義されることが多い明視野は、あるシーンの二次元（２Ｄ）画像の２Ｄ収集として解釈できる。実用上の制約により、通常、明視野を形成する、シーンの一連の２Ｄ画像を同時に撮ることは困難である。しかしながら、各カメラが画像データを収集した時点に近いほど、光度（例えば、そうでなければ感知できない蛍光灯のフリッカー）又は対象物の動作の変化が撮像画像間で時間依存性のばらつきもたらす傾向が小さくなる。明視野の獲得及び再サンプリングを含む処理を使用して、大口径を有するカメラのシミュレーションを行うことができる。例えば、あるシーンに向けられたＭ×Ｎのカメラアレイは、視野がアレイの視野と同じ大きさであるレンズの焦点効果をシュミレーションできる。多数の実施形態では、カメラは矩形パターンに配置する必要はなく、環状構成及び／又は特定用途の要件に適した任意の構成などの構成を有することができる。このようなカメラアレイの使用法は、合成開口撮影法と呼ばれることもある。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の様々な実施形態によるシステム及び方法は、カメラアレイの動的較正を実行する。一実施形態は、複数台のカメラを使用してシーンの画像セットを取得することであって、この画像セットは、基準画像と、別視点の画像と、を含む、ことと、画像処理アプリケーションの指示を受けるプロセッサを使用して、画像セットで特徴を検出することと、画像処理アプリケーションの指示を受けるプロセッサを使用して、基準画像内で検出した特徴に対応する特徴を別視点の画像内で識別することと、画像処理アプリケーションの指示を受けるプロセッサを使用して、幾何学的較正データセットに基づいて画像セットを修正することと、画像処理アプリケーションの指示を受けるプロセッサを使用して、基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを決定することと、画像処理アプリケーションの指示を受けるプロセッサを使用して、残差ベクトルに基づいて別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することと、画像処理アプリケーションの指示を受けるプロセッサを使用して、更新した幾何学的較正データに基づいて、別視点の画像を撮ったカメラが撮った画像を修正することと、を含む。
【０００６】
更なる実施形態では、別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを決定することは、エピポーラ線に沿って基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれの成分に基づいて、基準画像内で検出した特徴への対応として識別した、別視点の画像内の特徴の奥行を予測することと、対応する特徴の予測奥行に基づいて、基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに適用する、シーンに依存する幾何補正を決定することと、シーンに依存する幾何補正を基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに適用して、別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを取得することと、を含む。
【０００７】
別の実施形態では、残差ベクトルに基づいて、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することは、少なくとも内挿処理を使用して、残差ベクトルから残差ベクトル較正場を生成することを含む。
【０００８】
更なる実施形態では、残差ベクトルに基づいて、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することは、残差ベクトルから残差ベクトル較正場を生成するときに外挿処理を使用することを更に含む。
【０００９】
更に別の実施形態はまた、別視点の画像を撮ったカメラに関する幾何学的較正データセットに残差ベクトル較正場を適用することも含む。
【００１０】
更なる実施形態はまた、残差ベクトル較正場を基底ベクトルセットにマップすることと、不完全な基底ベクトルセットの線形結合を使用して、ノイズを除去した残差ベクトル較正場を生成することと、を含む。
【００１１】
更に別の実施形態では、基底ベクトルセットは、残差ベクトル較正場のトレーニングデータセットから学習する。
【００１２】
再び更なる実施形態では、基底ベクトルセットは、主成分分析を使用して、残差ベクトル較正場のトレーニングデータセットから学習する。
【００１３】
再び別の実施形態では、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することは、別視点の画像内で特徴を観測した位置における幾何学的較正データの少なくとも残差ベクトルに基づいて、複数の幾何学的較正データセットから更新した幾何学的較正データセットを選択することを含む。
【００１４】
更に別の実施形態はまた、複数台のカメラを使用してシーンの追加画像セットを取得することと、この追加画像セットを使用して幾何学的較正データの残差ベクトルを決定することと、を含む。加えて、残差ベクトルに基づいて、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することはまた、追加画像セットを使用して決定した幾何学的較正データの残差ベクトルを使用することを含む。
【００１５】
別の更なる実施形態はまた、特徴密度閾値を満たしていない、カメラの視野内の少なくとも１つの領域を検出することを含む。加えて、特徴密度閾値を満たしていない、カメラの視野内の少なくとも１つの領域を検出することに応えて、シーンの追加画像セットを取得する。
【００１６】
更なる実施形態では、追加画像セットを使用して決定した残差ベクトルを使用することは、追加画像セットを使用して決定した残差ベクトルを使用して、密度閾値を満たさなかったカメラの視野内の少なくとも１つの地域に関する、更新した幾何学的較正データを決定することを更に含む。
【００１７】
更に別の実施形態はまた、画像処理アプリケーションの指示を受けるプロセッサを使用して、ユーザーインターフェースを介してプロンプトを提供することを含み、これらのプロンプトはカメラアレイの方向を指示して、追加画像セットの取得中に、基準画像及び別視点の画像で対応と識別した特徴の位置を特徴密度閾値を満たしていないカメラの視野内の少なくとも１つの領域内に移動させる。
【００１８】
再び更なる実施形態は、複数台のカメラを使用してシーンの画像セットを取得することであって、この画像セットは、基準画像と、別視点の画像と、を含む、ことと、画像処理アプリケーションの指示を受けるプロセッサを使用して、画像セットで特徴を検出することと、画像処理アプリケーションの指示を受けるプロセッサを使用して、基準画像内で検出した特徴に対応する特徴を別視点の画像内で識別することと、画像処理アプリケーションの指示を受けるプロセッサを使用して、幾何学的較正データセットに基づいて画像セットを修正することと、画像処理アプリケーションの指示を受けるプロセッサを使用して、基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、幾何学的較正データの有効性を決定することと、を含む。
【００１９】
再び更に別の実施形態では、基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、幾何学的較正データの有効性を決定することは、エピポーラ線から離れた位置までの観測したずれの程度を決定することを含む。
【００２０】
再び更なる実施形態はまた、画像処理アプリケーションの指示を受けるプロセッサを使用して、基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを決定すること、並びに画像処理アプリケーションの指示を受けるプロセッサを使用して、残差ベクトルに基づいて、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することによって更新した幾何学的較正データを動的に生成することを含む。
【００２１】
更に別の実施形態では、別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを決定することは、画像処理アプリケーションの指示を受けるプロセッサを使用して、エピポーラ線に沿って基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、基準画像内で検出した特徴への対応として識別した、別視点の画像内の特徴の奥行を予測することと、基準画像及び別視点の画像で一致として識別した特徴の位置で観測したずれに適用する、シーンに依存する幾何補正を決定することと、シーンに依存する幾何学補正を基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに適用して、別視点の画像内で観測した位置における幾何学的較正データの残差ベクトルを取得することと、を含む。
【００２２】
更に別の実施形態では、残差ベクトルに基づいて、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することは、少なくとも内挿処理を使用して、残差ベクトルから残差ベクトル較正場を生成することを含む。
【００２３】
更に別の実施形態では、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することは、別視点の画像内で特徴を観測した位置における幾何学的較正データの少なくとも残差ベクトルに基づいて、複数の幾何学的較正データセットから更新した幾何学的較正データセットを選択することを含む。
【００２４】
更に別の実施形態はまた、複数台のカメラを使用してシーンの追加画像セットを取得することと、この追加画像セットを使用して残差ベクトルを決定することと、を含む。加えて、残差ベクトルに基づいて、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定することはまた、追加画像セットを使用して決定した残差ベクトルを使用することを含む。
【００２５】
別の更なる実施形態は、複数台のカメラを含む、少なくとも１つのカメラアレイと、プロセッサと、画像処理アプリケーションを含むメモリと、を備える。加えて、この画像処理アプリケーションは、複数台のカメラを使用してシーンの画像セットを取得すること（この画像セットは、基準画像と、別視点の画像と、を含む）、画像セットで特徴を検出すること、基準画像内で検出し特徴に対応する特徴を別視点の画像内で識別すること、幾何学的較正データセットに基づいて画像セットを修正すること、基準画像及び別視点の画像で対応として識別した特徴の位置で観測したずれに基づいて、別視点の画像内で特徴を観測した位置における幾何学的較正データの残差ベクトルを決定すること、残差ベクトルに基づいて、別視点の画像を撮ったカメラの更新した幾何学的較正データを決定すること、並びに更新した幾何学的較正データに基づいて、別視点の画像を撮ったカメラが撮った画像を修正すること、をプロセッサに指示する。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態によるカメラアレイを概念的に図示する。
【図２】本発明の一実施形態による、幾何学的較正データを検証する、及び／又は更新した幾何学的較正データを動的に生成する処理を図示するフローチャートである。
【図３Ａ】幾何学的較正データが有効であり、かつカメラが較正外であるときに観測した幾何学的ずれを概念的に図示する。
【図３Ｂ】幾何学的較正データが有効であり、かつカメラが較正外であるときに観測した幾何学的ずれを概念的に図示する。
【図４】本発明の一実施形態による、動的な幾何学的較正を実行する処理を図示するフローチャートである。
【図５】本発明の一実施形態による、カメラの視野の異なる領域に関して動的に生成した幾何学的較正データを統合して、カメラの視野全体に関する、更新した、完全な幾何学的較正データセットを生成する処理を図示するフローチャートである。
【図６】本発明の一実施形態による、画像セット内の対応する特徴の観測したずれに最適な幾何学的較正データセットを選択することによって、幾何学的較正データを動的に更新する処理を図示するフローチャートである。
【発明を実施するための形態】
【００２７】
ここで図を参照すると、本発明の実施形態による、カメラアレイを動的に較正するためのシステム及び方法が図示されている。マルチカメラシステムは、様々な用途でますます人気が高まっており、これらの正確な機能は、カメラで撮った画像を互いに正確に合わせる能力に依存する。様々な画像を互いに合わせることの複雑性は、画像を修正することによって著しく低減する。これは、通常、オフラインの較正処理に依存しており、構造（例えば、レンズ特性及び／又はカメラアセンブリの製造ばらつき）、相対位置、及び方向（アレイの幾何学的形状と呼ばれることが多い）の結果としてアレイ内のカメラによって持ち込まれる、対応ピクセルのシーンに依存しないずれに関する情報を取得する。実際には、アレイ内のカメラが搭載される機械構造は、温度変化、及び／又は機械的衝撃などの現場条件など（ただし、これらに限定されない）様々な要因に対して異なる反応を示す。カメラアレイ内のカメラの相対位置の変化が説明されなければ、この変化は、カメラが撮った画像の位置合わせに影響を及ぼして、奥行予測及び／又はカメラアレイ内のカメラが収集した画像データから生成した画像（例えば、超解像によって生成した画像及び／又はフィルタ若しくは効果に基づいて奥行を適用することによって生成した画像）の低下をもたらす。本発明の様々な実施形態によるシステム及び方法は、カメラアレイの幾何学的較正を評価し、任意の撮像シーンにおける堅牢な特徴照合によって幾何学的較正を適応的に調整できる。幾何学的較正が以前の較正値から段階的に劣化すると仮定すると、本発明の多くの実施形態によるカメラアレイ内のカメラの劣化を利用して、新しい較正パラメータ及び／又はカメラ間の新しい幾何学的関係を説明する既存の較正パラメータに対する調整を決定できる。
【００２８】
多数の実施形態では、特徴照合を使用して、既存の較正データがもはや有効ではないカメラアレイを識別する。実世界でのシーンの特徴は、アレイ内のカメラが撮った各画像セットで識別できる。カメラの幾何学的較正によって画像が正確に修正されると、対応する特徴は、カメラアレイからの特徴の距離に基づいて決定された位置において、エピポーラ線上に位置する（修正画像を仮定した場合）。アレイ内のカメラ間の幾何学的関係が変化し、較正データがもはや有効ではないとき、対応する特徴は、特定の奥行と一致する、エピポーラ線のずれに基づいて予測される、画像内の位置にはない。したがって、幾何学的較正データを使用して修正した画像セット内の対応する特徴の実際の位置と、予期された絶対的な、又は互いに対して相対的な位置との差異を使用して、幾何学的較正データがもはや有効ではないときを識別することができる。更に、この差異を使用して、新しい幾何学的較正データを動的に生成し、及び／又はカメラアレイが使用できる幾何学的較正データを更新し、奥行予測及び／又は超解像処理など（ただし、これらに限定されない）以降の画像処理を実行できる。
【００２９】
本発明の多くの実施形態によるシステム及び方法は、カメラアレイの幾何学的形状の変化がカメラアレイ内のカメラの内因性パラメータ（すなわち、像点のピクセル座標をカメラの基準座標系の対応する座標に関連付けるパラメータ）に影響する場合、画像セット内の対応する特徴を使用して、動的較正を実行できる。カメラの内因性パラメータは、通常、カメラの焦点距離、ピクセルスキュー、レンズ歪みパラメータ、及び主点である。いくつかの実施形態では、動的較正はまた、基準カメラに対して定義した基線に沿ったカメラの移動を含む、カメラアレイの外因性パラメータにおける変換に対処できる。カメラの外因性パラメータは、既知の世界基準フレームに対してカメラ基準フレームの位置及び方向を定義するパラメータである。カメラアレイの場合、外因性パラメータは、基準カメラに対して定義されることが多い。これらの基線及び／又はカメラ方向の変化に制約されない移動では、更に較正処理を実行して、更新した幾何学的較正データを取得することが必要な場合がある。
【００３０】
更新した幾何学的較正データを動的に生成する処理は、動的較正処理中に基準カメラとして使用したカメラの視野全体にわたって識別した特徴を使用する。動的較正処理で直面し得る課題は、多くの実世界でのシーンには特徴を持たない領域（例えば、白壁）が含まれることである。いくつかの実施形態では、カメラアレイ内の多数の異なるカメラを基準カメラとして使用する動的較正処理を繰り返すことによって、幾何学的較正データを更に改善することができる。このようにして、カメラの視野の異なる部分からの特徴を使用して、対応を評価できる。様々な実施形態では、様々な時点で収集した多数の画像セットを使用して、完全な幾何学的較正データセットを構築できる。多数のセットを使用することによって、基準カメラの視野内の領域の幾何学的較正データは、最大数の特徴及び／又は閾値を超える特徴の密度が特定領域内に存在する画像セットに基づいて選択できる。次いで、多数の画像セットから生成した幾何学的較正データを統合して、カメラの視野全体を対象とする幾何学的較正データセットを生成できる。多数の実施形態では、動的較正処理は誘導される。カメラアレイによって生成されるユーザーインターフェースは、カメラアレイを移動して、第１の画像の第１領域で検出した特徴が第２画像の第２領域に表示されるようにカメラアレイの方向を変更するようにユーザーに指示できる。このようにして、カメラアレイは、基準カメラの視野全体に対して経時的に、完全な動的較正データセットを迅速に構築できる。
【００３１】
特定の実施形態では、異なる幾何学的較正データセットを使用して対応を決定し、観測した対応する特徴に最適な幾何学的較正データセットを使用して、画像処理を実行する。このようにして、例えば、異なる動作条件に対応する様々な幾何学的較正データセットがカメラアレイに提供され得、観測したシーン特徴に最適な幾何学的較正データを使用して、画像処理を実行できる。
【００３２】
本発明の様々な実施形態による、幾何学的較正データを検証し、カメラアレイを動的に構成するためのシステム及び方法については、以下で詳述する。
アレイカメラ
【００３３】
異なる視点からの画像データ（すなわち、明視野画像）の収集に使用できるカメラモジュールを含むアレイカメラは、異なる解像度、視野、及び／又は色フィルタなど（ただし、これらに限定されない）異なる撮像特性を有する一次元カメラ、二次元（２Ｄ）カメラ、モノリシックカメラ、非モノリシックカメラ、グリッド配置で配列されたカメラ、非グリッド配置で配列されたカメラ、及び／又は結合カメラであり得る。様々なアレイカメラアーキテクチャは、米国特許第９，０７７，８９３号（名称「Ｃａｐｔｕｒｉｎｇ  ａｎｄ  Ｐｒｏｃｅｓｓｉｎｇ  ｏｆ  Ｉｍａｇｅｓ  ｕｓｉｎｇ  Ｎｏｎ−Ｇｒｉｄ  Ｃａｍｅｒａ  Ａｒｒａｙｓ」、Ｖｅｎｋａｔａｒａｍａｎら）、米国特許出願公開第２０１５／０１２２４１１号（名称「Ｍｅｔｈｏｄｓ  ｏｆ  Ｍａｎｕｆａｃｔｕｒｉｎｇ  Ａｒｒａｙ  Ｃａｍｅｒａ  Ｍｏｄｕｌｅｓ  Ｉｎｃｏｒｐｏｒａｔｉｎｇ  Ｉｎｄｅｐｅｎｄｅｎｔｌｙ  Ａｌｉｇｎｅｄ  Ｌｅｎｓ  Ｓｔａｃｋｓ」、Ｒｏｄｄａら）、同第２０１５／０１６１７９８号、（名称「Ａｒｒａｙ  Ｃａｍｅｒａｓ  Ｉｎｃｌｕｄｉｎｇ  ａｎ  Ａｒｒａｙ  Ｃａｍｅｒａ  Ｍｏｄｕｌｅ  Ａｕｇｍｅｎｔｅｄ  ｗｉｔｈ  ａ  Ｓｅｐａｒａｔｅ  Ｃａｍｅｒａ」、Ｖｅｎｋａｔａｒａｍａｎら）、米国特許仮出願第６２／１４９，６３６号（名称「Ｍｕｌｔｉ−Ｂａｓｅｌｉｎｅ  Ｃａｍｅｒａ  Ａｒｒａｙ  Ｓｙｓｔｅｍ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  Ｄｅｐｔｈ  Ａｕｇｍｅｎｔａｔｉｏｎ  ｉｎ  ＶＲ−ＡＲ  Ａｐｐｌｉｃａｔｉｏｎｓ」、Ｖｅｎｋａｔａｒｍａｎら）に開示されている。撮像した明視野内の各二次元（２Ｄ）画像は、アレイカメラ内のカメラのうちの１台の視点からのものである。各カメラの視点が異なるために、視差によって、シーンの画像内の対象物の位置が変化する。様々なカメラアレイアーキテクチャの導入及び使用に関する米国特許第９，０７７，８９３号、米国特許出願公開第２０１５／０１２２４１１号及び同第２０１５／０１６１７９８号、並びに米国特許仮出願第６２／１４９，６３６号の開示は、参照することによりその全体が本明細書に組み込まれるものとする。
【００３４】
多数の実施形態では、カメラアレイを使用してシーンの画像セットを収集し、収集した画像セットを使用して視差探索を実行することにより、奥行を予測する。エピポーラ線に沿った領域が自己相似である場合、奥行予測は、信頼性を欠き得る。探索対象となる、異なるエピポーラ線（すなわち、カメラペア間の異なる基線）の数が増加するたびに、不正確な奥行に対応する、エピポーラ線に沿った各対応位置においてテクスチャが自己相似である傾向が減少する。多数の実施形態では、投影テクスチャをも使用して、シーンの異なる領域の自己相似を低減させる。
【００３５】
アレイカメラは、明視野内の画像のピクセル間の視差を使用して、基準視点から奥行マップを生成できる。奥行マップは、基準視点からシーン対象物の表面までの距離を示し、これを使用して、シーンに依存する幾何補正を決定し、撮像した明視野内の各画像からのピクセルに適用して、融合処理及び／又は超解像処理の実行時に視差を排除できる。米国特許第８，６１９，０８２号（名称「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｐａｒａｌｌａｘ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｃｏｒｒｅｃｔｉｏｎ  ｉｎ  Ｉｍａｇｅｓ  Ｃａｐｔｕｒｅｄ  Ｕｓｉｎｇ  Ａｒｒａｙ  Ｃａｍｅｒａｓ  ｔｈａｔ  Ｃｏｎｔａｉｎ  Ｏｃｃｌｕｓｉｏｎｓ  ｕｓｉｎｇ  Ｓｕｂｓｅｔｓ  ｏｆ  Ｉｍａｇｅｓ  ｔｏ  Ｐｅｒｆｏｒｍ  Ｄｅｐｔｈ  Ｅｓｔｉｍａｔｉｏｎ」、Ｃｉｕｒｅａら）に記載の処理などの処理を使用して、観測した視差に基づいた奥行マップを生成できる。米国特許第８，６１９，０８２号の開示は、参照することによりその全体が本明細書に組み込まれるものとする。
【００３６】
上記のように、幾何学的較正データを使用して、修正済み画像セットの対応するピクセルがエピポーラ線上に位置するように画像セットを修正できる。幾何学的較正データは、アレイ内のカメラが特定の幾何学的構成であると仮定する。温度要因及び／又は環境要因がアレイ内のカメラの特性を変化させたり、互いに対する位置をずらしたりする場合、幾何学的較正データの基礎となる仮定はもはや有効ではない。したがって、カメラアレイには再較正が必要である。そうしなければ、米国特許第８，６１９，０８２号に記載の処理に類似の処理を使用して生成した奥行予測が大幅に劣化する恐れがある。
【００３７】
多くの場合では、米国特許第８，８７８，９５０号（名称「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｓｙｎｔｈｅｓｉｚｉｎｇ  Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｅｓ  Ｕｓｉｎｇ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｐｒｏｃｅｓｓｅｓ」、Ｌｅｌｅｓｃｕら）に記載の処理など融合及び超解像処理を使用して、カメラアレイで撮像した明視野のより低解像度の画像からより高解像度の２Ｄ画像又はより高解像度のステレオペアの２Ｄ画像を合成できる。高解像度、より高解像度、低解像度、より低解像度という用語は、本明細書において相対的に使用されるものであり、アレイカメラで撮った画像の特定の解像度を示すものではない。米国特許第８，８７８，９５０号を見直すと容易に認められるように、アレイカメラで収集した画像データを融合し、超解像処理を実行することは、とりわけ正確な幾何学的較正データに依存する。これは、超解像処理が、異なる視点から収集したピクセルをサブピクセル精度で揃えようとするためである。したがって、超解像処理は、幾何学的較正データがもはや有効ではないことを検出し、カメラアレイの動的較正を実行することによって著しく強化され得る。超解像処理及び超解像処理を実行するための幾何学的較正データの使用に関する米国特許第８，８７８，９５０号の開示は、参照することによりその全体が本明細書に組み込まれるものとする。
【００３８】
図１に、本発明の様々な実施形態による、拡張現実感用ヘッドセット及びマシンビジョンシステムなど（ただし、これらに限定されない）各種用途で使用できるアレイカメラを示す。アレイカメラ１００は、個々のカメラ１０４のアレイを有するアレイカメラモジュール１０２を含む。アレイカメラモジュール１０２という用語は、個々のカメラのアレイを支持する機械的構造及びその機械的構造に搭載されたカメラの総称である。個々のカメラのアレイは、アレイの左側の垂直に揃ったカメラペア、アレイの中心の互い違いのペア、及びアレイの右側のグリッド状の４台のカメラを組み込む、図示の実施形態で使用される配置など（ただし、これらに限定されない）特定の配置に含まれる複数のカメラである。他の実施形態では、任意の各種のグリッド配置又は非グリッド配置のカメラが使用され得る。多数の実施形態では、アレイカメラモジュールはまた、シーン上にテクスチャを投影して、テクスチャを欠いているか、自己相似であるシーンの領域における奥行予測を支援するために使用できるプロジェクタ１０５を含む。アレイカメラモジュール１０２はプロセッサ１０６に接続される。プロセッサはまた、画像処理パイプラインアプリケーション１１０、アレイカメラモジュール１０２で収集した画像データ１１２、収集した画像データから画像処理パイプラインアプリケーションで生成した奥行マップ１１４、及び／又は超解像処理を使用して生成した、より高解像度の画像１１６を記憶するために使用できる、１種類又は２種類以上の異なるメモリ１０８と通信するように構成される。画像処理パイプラインアプリケーション１１０は、通常、下記の様々な処理など（ただし、これらに限定されない）処理の実行をプロセッサに指示するために使用される、非一時的なのマシン読出し可能命令である。いくつかの実施形態では、この処理は、アレイカメラモジュール１０２内のカメラ群による画像データの収集及び収集した画像データ１１２からの奥行情報１１４の予測を調整することを含む。多数の実施形態では、画像処理パイプラインアプリケーション１１０は、融合処理及び／又は（and／o）超解像処理を使用して、収集した画像データ１１２からより高解像度の画像１１６を合成するように、プロセッサ１０８に指示する。以下で詳述するように、これらの処理で生成した奥行予測及び／又は画像の質は、画像の修正に使用した幾何学的較正データ１２０の信頼度に依存する。多数の実施形態では、画像処理パイプラインアプリケーション１１０は、アレイカメラモジュール１０２内のカメラ１０４で収集した画像データを使用して動的較正処理を実行するようにプロセッサ１０８に指示する。
【００３９】
特にアレイカメラモジュール１０２内のカメラ１０４に関しては、アレイカメラモジュール１０２内の各カメラ１０４は、シーンの画像を撮ることができる。カメラ１０４の焦点面で使用されるセンサー素子は、従来のＣＩＳ（ＣＭＯＳ画像センサー）ピクセル、ＣＣＤ（電荷結合素子）ピクセル、高ダイナミックレンジセンサー素子、マルチスペクトルセンサー素子、及び／又は構造体上での光入射を示す電気信号を生成するように構成されている任意の他の構造体などであるが、これらに限定されない、個々の光感知素子であり得る。多数の実施形態では、各焦点面の各センサー素子は類似の物理的特性を有し、同一の光チャネル及び色フィルタ（存在する場合）を介して受光する。いくつかの実施形態では、センサー素子は異なる特性を有し、多くの場合、センサー素子の特性は、各センサー素子に適用される色フィルタに関連する。
【００４０】
様々な実施形態では、個々のカメラの色フィルタを使用して、米国特許出願公開第２０１３／０２９３７６０号（名称「Ｃａｍｅｒａ  Ｍｏｄｕｌｅｓ  Ｐａｔｔｅｒｎｅｄ  ｗｉｔｈ  ｐｉ  Ｆｉｌｔｅｒ  Ｇｒｏｕｐｓ」、Ｎｉｓｅｎｚｏｎら）に更に記載されるように、πフィルタ群でカメラモジュールにパターンを形成できる。アレイカメラの導入時に使用され得るフィルタパターンに関連するこの開示は、参照することによりその全体が本明細書に組み込まれるものとする。各色チャネル内のカメラが、カメラの中心部の両側に配置される場合、任意の各種色フィルタ較正を使用できる。カメラを使用して、異なる色又はスペクトラムの特定部分に関してデータを収集することができる。多数の実施形態では、カメラは、近ＩＲ、ＩＲ、及び／又は遠ＩＲスペクトル帯で撮像する。
【００４１】
多数の実施形態では、各カメラの光チャネル内のレンズスタックは、各カメラのピクセルがシーン内の同一対象物の空間又は領域をサンプリングするように集光する視野を有する。いくつかの実施形態では、同一対象物の空間をサンプリングするピクセルは、サブピクセルオフセットを有しつつも同様に行って、超解像処理により増加した解像度を回復させるために使用できる、サンプリングの多様性を提供するように、レンズスタックが構成される。サンプリングの多様性という用語は、異なる視点からの画像は、シーン内の同一対象物をサンプリングするが、若干の副ピクセルオフセットを有するという事実を指す。サブピクセル精度で画像を処理することにより、追加情報が符号化される。これは、単一画像で対象物の空間を単純にサンプリングするのと比較してサブピクセルオフセットは回復し得るためである。より高解像度の情報を回復させる実施形態では、レンズスタックは、コントラストが、より高解像度に対応する空間周波数において解像され得、焦点面を形成するピクセルの空間分解能においては解像され得ないようにする、変調伝達関数（ＭＴＦ）を有するように設計される。
【００４２】
特に図１に示すプロセッサ１０８に関しては、本発明の多数の実施形態によるカメラアレイで使用されるプロセッサは、適切なソフトウェアを使用して、アレイカメラモジュール１０２内のカメラで収集した画像データを取得し、動的較正処理及び／又は画像処理を実行するように指示を受ける、マイクロプロセッサ、コプロセッサ、特定用途向け集積回路、及び／又は適切に構成されたフィールドプログラマブルゲートアレイを使用して導入される。本発明の多数の実施形態では、奥行の予測及び／又は画像セットからのシーンのより高解像度の画像の合成の処理は、基準視点、典型的には、基準カメラの基準視点を選択することを含む。多数の実施形態では、プロセッサ１０８は、仮想視点からの画像を合成できる。
【００４３】
図１を参照して特定のアレイカメラアーキテクチャを上述したが、本発明の実施形態よる別のアーキテクチャも使用できる。アレイ内のカメラで収集した画像データを使用したアレイの動的較正の実行については、以下で詳述する。
動的較正
【００４４】
カメラアレイの幾何学的形状を把握することによって、アレイで撮った画像を修正できる。修正処理中に使用する変換は、通常、幾何学的較正データとして参照され得るデータをもたらすオフライン較正処理中に決定する。適切なオフライン較正処理としては、米国特許第９，１２４，８６４号（名称「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｃａｌｉｂｒａｔｉｏｎ  ｏｆ  ａｎ  Ａｒｒａｙ  Ｃａｍｅｒａ」、Ｍｕｌｌｉｓ）に記載の処理に類似のオフライン較正処理が挙げられる。幾何学的較正データは、奥行予測処理、融合処理、及び／又は超解像処理で使用する。一般に、カメラアレイで撮った画像に関して視差探索を実行することで生成した奥行予測の精度は、アレイ内のカメラの相対位置及び方向がオフライン較正処理実行時のカメラの幾何学的形状に対応しないと低下する。カメラアレイの幾何学的形状は、熱膨張／収縮、及び／又は環境要因によって変化することがある。家庭用電子機器のユーザーは、カメラアレイが搭載されている機械的構造を変形させ得るような方法で機器を日常的に落下させる。したがって、本発明の多数の実施形態によるカメラアレイは、使用可能な幾何学的較正データが、カメラアレイの現在の幾何学的形状に適しているかどうかを検証する処理を実行できる。カメラアレイが「較正外」であることを検出すると、別のオフライン較正処理が実行されて、適切な幾何学的較正データを取得できる。いくつかの実施形態では、カメラアレイは、新しい幾何学的較正データをもたらすか、既存の幾何学的較正データを更新する動的較正処理を実行して、以降の画像処理操作を可能にし、特定用途の要件を満たす出力を提供できる。
【００４５】
図２に、本発明の一実施形態による、幾何学的較正データを検証し、幾何学的較正データを動的に生成する処理を図示する。処理２００は、カメラアレイを使用して画像セットを取得する（２０２）ことを含む。各画像に関する特徴検出処理を実行して（２０４）、画像セット内の対応点の識別に使用できる、シーン内の顕著な特徴を識別する。Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）検出装置、Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）検出装置、及び／又は画像セット内の画像間で対応する特徴を識別するために適した特徴記述子を生成する任意の他の特徴検出装置など（ただし、これらに限定されない）任意の様々な種類の特徴検出装置を使用できる。以降の説明の大部分は、画像間の対応を識別する特徴検出の使用に依存するが、領域ベース及び／又は相関関係ベースの対応分析を実行して、本発明の多数の実施形態による画像ペア及び／又は画像セット内で対応するピクセル位置を識別することができる。したがって、特徴検出は、本明細書に記載の任意のシステム及び／又は方法において領域ベースの照合と交換可能に使用できる。
【００４６】
次いで、幾何学的較正データを使用して、収集した画像セットを修正できる。幾何学的較正データがカメラアレイの幾何学的形状で有効の場合、基準画像で視認できる特徴は、基準カメラからの特徴の距離によって決定された、エピポーラ線に沿った距離だけずれて出現する。幾何学的較正データがカメラアレイの幾何学的形状でもはや有効ではない場合、対応する特徴は、エピポーラ線上ではない位置にずれて出現する傾向にある。図３Ａ及び３Ｂにこの差異を示す。画像３００は基準カメラで視認できる特徴３０２を含み、この特徴は、エピポーラ線３０６に沿ってある距離だけずれて出現する（３０４）。上記のように、ずれの程度は、基準カメラからの特徴の距離を示す。画像３００内で、特徴３０２がエピポーラ線上、又はその付近に示されるという事実は、画像を撮ったカメラ及び基準カメラの幾何学的形状が、幾何学的較正データ取得時のカメラの相対方向及び配列に対応することを示唆する。幾何学的較正データの信頼性は、基準カメラからの特徴の奥行を確認する他の画像ペアにおけるエピポーラ線のずれを観察することによって確認できる。カメラアレイで撮った他の画像で基準カメラからの特徴の距離を確認できない場合、幾何学的較正データは信頼性を欠くと決定する。較正中の幾何学的形状をもはや有さない、アレイ内のカメラで撮った画像を図３Ｂに示す。画像３１０は特徴３０２を示し、これは、基準視点から撮った画像の位置に対してずれている（３０６）。観測したずれは、エピポーラ線３０６に沿った方向ではない。このずれは、エピポーラ線に沿ったベクトル成分（ｄonEPL）及びエピポーラ線と垂直、つまりエピポーラ線の方向に向かうベクトル成分（ｄtoEPL）に分解できる。容易に理解し得るように、幾何学的較正データが有効である場合、較正を行わないと、観測した大きさ（３０４）とは異なる大きさｄonEPLが生じる傾向にある。
【００４７】
再び図２を参照すると、修正済み画像での対応する特徴の識別を使用して、幾何学的較正データの有効性を決定できる（２０８）。１つ又は２つ以上の特徴のｄtoEPLの大きさがゼロではない場合、幾何学的較正データはもはや有効ではないと決定できる。任意の各種の基準を使用して、対応する特徴点のずれのｄtoEPL成分の大きさの正規化した合計が閾値を超えるなど（ただし、これらに限定されない）を決定できる。容易に理解し得るように、幾何学的較正データがもはや有効でないと決定するために使用する特定の基準又は基準セットは、特定用途の要件に基づいて決定され得る。
【００４８】
修正済み画像セット内の対応する特徴点が、幾何学的較正データはもはや有効ではないことを示唆するとき、アラートをユーザーに提示して、カメラアレイの再較正を提案できる。多数の実施形態では、カメラアレイは、識別した特徴点を使用して動的較正処理を実行できる（２１０）。動的較正処理は、新しい幾何学的較正データセット、オフライン幾何学的較正処理を経て生成した幾何学的較正データの更新セット、及び／又は幾何学的較正データセットのデータベースから選択した別の幾何学的較正データセットを提供できる。いくつかの実施形態ではカメラアレイ内のカメラの異なる動作温度及び／又は異なる予想摂動に対して適切な幾何学的較正データセットを含む、幾何学的較正データセットのデータベースを使用できる。容易に理解し得るように、データベースは、ローカルに配置され得る、及び／又はネットワーク接続を介してリモートに配置され、クエリーされ得る。本発明の様々な実施形態による動的較正を実行するための特定処理については、以下で詳述する。有効な幾何学的較正データセットを識別すると、カメラアレイは、画像の追加セットの取得、及び／又は幾何学的較正データした画像処理の実行を続行できる（２１２）。
【００４９】
図２を参照して特定カメラアレイの幾何学的形状の幾何学的較正データセットの有効性を決定する、及び／又は動的較正を実行する特定処理を上述したが、修正済み画像セットの対応する特徴の位置を使用して、画像処理で使用する幾何学的較正データセットを動的に決定する任意の各種処理は、本発明の様々な実施形態による特定用途の要件に適するように使用できる。本発明の多数の実施形態による、新しい、及び／又は更新した幾何学的較正データを動的に生成するための特定処理については、以下で詳述する。
幾何学的較正データの動的生成
【００５０】
幾何学的較正データを生成するためのオフライン処理は、既知の特性を有するシーンの画像を取得する能力に依存する。幾何学的較正データを動的に生成するための処理は、通常、シーンの特性の先験的知識を全く有さない。特徴検出装置は、画像処理アプリケーションが、アレイ内のカメラで撮ったシーン内の一致する特徴を決定できるようにする。これらの特徴は、まばらに分布する傾向にある。したがって、特徴は、各ピクセル位置における幾何学的較正情報の生成を直接的に可能にするわけではない。しかしながら、特定のピクセル位置における幾何学的較正情報の内挿及び／又は外挿較正を使用して、新しい幾何学的較正データセット、及び／又は既存の幾何学的較正データセットの更新セットを生成できる。多数の実施形態では、特徴のピクセル位置で決定した幾何学的較正データを照合して、幾何学的較正データセットを含むデータベースからの観測した対応に最適な幾何学的較正セットを識別する。
【００５１】
図４に、本発明の一実施形態による、シーン内で観測した特徴セットに基づいて幾何学的較正データセットを取得する動的較正を実行する処理を示す。処理４００は、（任意選択的に）異なる色チャネルで撮った画像間での対応を増加させるために画像を前処理する（４０２）ことを含む。いくつかの実施形態では、前処理は、相関変換を使用して、小型画像パッチを揃えることを含む。いくつかの実施形態では、相関変換は、Ｄｒｕｌｅａ，Ｍ．；Ｎｅｄｅｖｓｃｈｉ，Ｓ．，「Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ  Ｕｓｉｎｇ  ｔｈｅ  Ｃｏｒｒｅｌａｔｉｏｎ  Ｔｒａｎｓｆｏｒｍ」，ｉｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ，ｖｏｌ．２２，ｎｏ．８，ｐｐ．３２６０・３２７０，Ａｕｇ．２０１３に記載の変換と同様に使用され得、関連開示は、参照することによりその全体が本明細書に含まれるものとする。カメラアレイ内の全カメラが同一画像のスペクトル帯で画像データを収集する場合、事前処理は不要なことがある。
【００５２】
特徴検出装置を使用して、画像セット内の特徴、及び／又は対象点を検出できる（４０４）。上記のように、ＳＩＦＴ及び／又はＳＵＲＦ検出装置など任意の各種特徴検出装置を使用して、特定用途の要件に適した特徴を検出できる。次いで、基準画像と、カメラアレイで撮った画像セット内の他の画像で視認できる特徴点との間で対応照合を実行する（４０６）。多数の実施形態では、Ｌｕｃａｓ−Ｋａｎａｄｅ法など（ただし、これらに限定されない）スパースオプティカルフロー法を使用して、特徴の対応を決定できる。スパースオプティカルフロー処理は、検討中のピクセルの局所的近傍内では画像ペア間のオプティカルフローは本質的に一定であると仮定し、最小二乗基準など（ただし、これらに限定されない）の基準によって、その近傍にある全ピクセルの基本的なオプティカルフロー方程式を解く。対応問題は、コンピュータビジョン分野で周知の問題であり、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）処理など（ただし、これらに限定されない）任意の各種の別の対応照合処理を使用して、特定用途の要件に応じて適切に画像ペア、及び／又は画像セット内の一致する特徴を識別できる。
【００５３】
次いで、最良の使用可能な幾何学的較正データを使用して、対応する特徴の位置に幾何学的ずれを適用する（４０８）。理論的には、これらのずれによって画像が修正されるべきである。上記のように、カメラアレイの幾何学的形状が幾何学的較正データで仮定したものとは異なる場合、幾何学的ずれによる画像の修正は失敗する。画像修正における幾何学的較正データの有効性は、基準画像と別視点の画像（すなわち、異なる視点／カメラから、基準画像を撮った視点／カメラまでで撮った画像）との間で対応する各特徴のベクトル差（ｄonEPL、ｄtoEPL）を計算する（４１０）ことによって決定できる。上記のように、カメラアレイの幾何学的形状が、幾何学的較正データで仮定した幾何学的形状に対応する場合、ベクトルのｄtoEPL成分は、ゼロ又はほぼゼロであるべきである。
【００５４】
基準画像及び別視点の画像内の対応するピクセル間で観察したずれは、シーンに依存しないずれと、シーンに依存するずれと、を含む。シーンに依存しないずれは、カメラアレイの幾何学的形状及びカメラの構成に使用された部品の違いに応じる。シーンに依存するずれは、シーン内の対象物の距離に基づいて持ち込まれる。較正データを動的に生成するには、システムの多数の実施形態による処理は、幾何学的較正データ内の残留誤差を決定するために、シーンに依存するずれの修正を試みる。
【００５５】
いくつかの実施形態は、カメラアレイは、シーン全体を無限遠であると仮定できるように、シーン内の全対象物がカメラから十分に遠いシーンの画像セットを撮ることによってカメラアレイを動的に較正するために使用する画像セットを撮るように、ユーザーインターフェースを介してユーザーにプロンプトを提供する。シーンを無限遠であると仮定できる場合、画像内に存在するシーンに依存するずれは、全ピクセル位置においてゼロであるべきである。ずれが存在する限りにおいては、これらは修正によって補正される。
【００５６】
対象物が、未知の奥行でシーン内に位置する場合、画像内に存在するずれは、シーンに依存する幾何学的ずれと、シーンに依存しない幾何学的ずれと、を含む。幾何学的較正データを更新して、シーンに依存しないずれを補正するには、シーンに依存する幾何学的ずれを予測し、除去する。別視点の各画像のエピポーラ線に沿って観測したずれ（ｄonEPL）の加重平均を使用して各特徴に対して別個の奥行予測を決定する（４１２）。この平均は、基準画像及び別の視点の画像を撮ったカメラ間の仮定基線によって重み付けされる。他の実施形態では、シーンに依存するずれは、観測した特徴の奥行を予測するための任意の各種処理を使用して決定され得る。容易に理解し得るように、画像セット内の画像を撮るために使用したカメラの数及び撮像画像内の特徴の数は、動的較正処理中に、シーンに依存する幾何補正を除去できる精度を著しく増加できる。
【００５７】
シーンに依存する幾何学的ずれを予測する実施形態では、基準画像と別視点の画像との間で対応する各特徴のベクトル差（ｄonEPL、ｄtoEPL）からシーンに依存する幾何学的ずれを差し引いて、別視点の画像内で視認できる対応する各特徴の残差ベクトル（ｒonEPL、ｒtoEPL）を計算する（４１４）。次いで、残差ベクトルを使用して、幾何学的較正データのベクトル場に対する補正（すなわち、別視点の画像を撮ったカメラの各ピクセル位置に指定された幾何学的較正ベクトルを適用する補正）を計算できる（４１６）。いくつかの実施形態では、幾何学的較正データのベクトル場に対する補正は、残差ベクトル点を別視点の画像内のピクセル座標に変換することによって決定し、残差ベクトルが指定されないピクセル位置の残差ベクトルは、既知の残差ベクトルの内挿、外挿、及び／又はフィルタリングを使用して決定できる。得られた残差較正ベクトル場を適用して、別のビューカメラの各ピクセル位置における幾何学的較正データを調整し、基準カメラで撮った画像に対して別のビューカメラで撮った画像内で観測した、シーンに依存しない幾何学的ずれを補正することができる。このようにして、処理４００は、カメラアレイの現在の幾何学的形状に適する、更新した幾何学的較正データを動的に生成できる。
【００５８】
多数の実施形態では、図４を参照して上述した処理に類似の処理を使用して生成し残差較正ベクトル場にはノイズが多い。多数の実施形態では、基底ベクトルセットは、残差較正ベクトル場のトレーニングデータセットから学習する。残差較正ベクトル場は、カメラアレイの幾何学的形状の様々な変化（上記のように内因性及び外因性の両方）に関連する、可能な観測した残差較正ベクトル場を表す状態空間に広がると考えられ得る。動的較正中に基底ベクトルを使用して、残差較正ベクトル場を基底ベクトルにマップし、残差較正ベクトル場内のランダムノイズの存在を低減するように選択した、より少数の基底ベクトルの線形結合としてノイズを除去した残差較正ベクトル場を生成することによって、残差較正ベクトル場のノイズを除去することができる。いくつかの実施形態では、基底ベクトルは、主成分分析（ＰＣＡ）を使用して学習する。ＰＣＡを使用して、拡張部がより少数の基底ベクトルに切り捨てられるときに再構築誤差を最小化する特性を有する基底を構築することができる。したがって、切り捨ては、ノイズ低減に有効な技法であり得る。残差較正ベクトル場のノイズ除去用に低減された基底を選択するために使用する特定のメカニズムは、大部分を所定用途の要件に依存している。更に、任意の各種処理を使用して、基底ベクトルを選択できる、及び／又は発明の実施形態による残差較正ベクトル場のノイズを除去できる。
【００５９】
図４を参照して更新した幾何学的較正データを生成するための特定処理を上述したが、任意の各種処理を使用して、観測した特徴のずれ及び／又は本発明の実施形態による、特定用途の要件に適したものとしてシーンに依存する幾何学的ずれを説明する相関画像パッチに基づいて更新した較正データを生成できる。加えて、図４を参照して上述した処理に類似の処理を使用して、以前に生成した幾何学的較正データセットがなくても、幾何学的較正データを動的に生成できる。残差ベクトル場を生成するのではなく、図４に示した処理を使用して、撮像画像セットの対応する特徴の、シーンに依存しない、観測したずれの内挿及び／又は外挿に基づいて、完全な幾何学的較正ベクトル場を生成できる。
動的較正データの統合
【００６０】
実世界でのシーンは、通常、アレイ内の多数のカメラで撮った画像全体にわたって追跡するのに十分に強力である、確かな特徴をランダムな位置に含む。加えて、特徴は、基準カメラの視野内の特定領域内に群在することが多く、他の領域は、比較的特徴を有さないことがあり得る。特徴の密度及び分布は、残差較正ベクトル場の生成に使用する内挿処理及び外挿処理によって持ち込まれる誤差に影響し得る。特に、外挿は、奥行予測及び／又は超解像処理に多大なノイズを持ち込み得る。多数の実施形態では、カメラの残差較正ベクトル場の異なる領域は、アレイ内の様々なカメラの基準カメラとしての使用に基づいて決定した残差ベクトル、及び／又は異なるシーンで撮った、多数の画像セットを使用して構築される。特定の実施形態では、異なるシーンの多数の画像セットを取得する処理は、アレイカメラによって誘導される。アレイカメラは、基準カメラの視野内の各領域に関する特徴の閾値密度を取得する画像セットまで、基準カメラの視野内でシーンの領域を識別でき、特徴を多く含むシーンの部分が基準カメラの視野の異なる領域内に出現するようにカメラアレイの方向を設定し直すようにユーザーに指示する。
【００６１】
図５に、本発明の一実施形態による、異なる画像セットを使用して決定した残差ベクトルを合成して、残差較正ベクトル場を取得するための処理を示す。処理５００は、画像セットを取得する（５０２）ことと、上述の技法に類似の技法を使用して画像セット内の特徴を検出する（５０４）ことと、を含む。次いで、この特徴を使用して、動的較正を実行できる。基準カメラの視野内の特徴密度を使用して、不十分な特徴密度（例えば、徴密度閾値を満たさない）を含む視野内の領域、及び／又は最小特徴密度を超える領域を識別できる。基準カメラの視野全体に多数の特徴が含まれる場合、処理は完了する。それ以外の場合、処理６００は、追加画像セットを撮る（５０２）ことを含む。いくつかの実施形態では、アレイカメラはユーザーインターフェースを含み、シーン内に存在する特徴が、更新した較正データをまだ必要とする視野の部分内を移動するように、カメラアレイの方向を再設定する方法に関する指示をユーザーに提供する。画像セットの取得（５０２）及び残差ベクトルの決定（５０６）は、合成ベクトルが各カメラの残差ベクトルの閾値密度を達成するまで続く。この時点で、残差ベクトルを合成し（５１２）、残差較正ベクトル場の生成に使用できる。
【００６２】
図５を参照して特定処理を上述したが、任意の各種処理を使用して、様々な残差ベクトルの情報源を統合して、本発明の様々な実施形態による特定用途の要件に適したものとして以降の画像処理操作で使用する、残差較正ベクトル場を生成できる。他の実施形態では、各画像セット及び統合した残差較正ベクトル場に関して残差較正ベクトル場を生成できる。上述の処理の多くは、幾何学的較正データの更新で使用できる、幾何学的較正データ及び／又は残差較正ベクトル場の生成において内挿及び外挿を使用するが、これらの上述の技法に類似の技法を使用して生成した残差ベクトル、及び／又は残差較正ベクトル場を使用して、多数の異なる幾何学的較正データセットから適切な幾何学的較正データセットを選択できる。本発明の様々な実施形態による動的較正を使用して、別の幾何学的較正データ間で選択するための処理については、以下で詳述する。
幾何学的較正データセット間での選択
【００６３】
カメラアレイで撮った画像の対応を識別するために使用する特徴が少ないという性質のため、内挿及び外挿を使用して、別のビューカメラの各ピクセル位置における幾何学的較正データを更新するために使用できる残差較正ベクトル場に残差ベクトルを変換することが必要になる。本質的に、内挿処理及び外挿処理は、得られた幾何学的較正データに誤差を持ち込む。残差ベクトルを使用して残差較正ベクトル場を生成する別の方法は、残差ベクトルを使用して、多数の別の幾何学的較正データセットから最適なデータセットを選択することである。いくつかの実施形態では、多数の異なる幾何学的較正データセットをそれぞれ使用して特徴の対応を決定し、最小平均残差ベクトルをもたらす幾何学的較正セットを以降の画像処理に使用する。
【００６４】
図６に、本発明の一実施形態による、多数の幾何学的較正データセットから幾何学的較正データセットを選択する処理を示す。処理６００は、カメラアレイを使用して画像セットを取得する（６０２）ことと、第１幾何学的較正データセットを選択する（６０４）ことと、を含む。この処理は、上述の動的較正処理に類似の方法で続行する。動的較正を実行して（６０６）、対応する各特徴点セットの残差ベクトルを取得し、残差ベクトルを使用して、幾何学的較正データに基づいた修正に続いて観測したずれが、予測した、シーンに依存する幾何学的ずれに対応する程度を測定する。平均の残差ベクトルの大きさなど（ただし、これに限定されない）任意の各種メトリクスを使用して、幾何学的較正データが観測したずれに適合する程度を評価できる。幾何学的較正データセットの選択（６０４）、選択した幾何学的較正データを使用した動的較正の実行（６０６）、及び幾何学的較正データが対応する特徴点間で観測したずれに適合する程度の測定処理は、各幾何学的較正データセットを検討する（６１０）まで繰り返す。容易に理解し得るように、所定の温度範囲内の異なる動作温度に適した幾何学的較正データに対応する別セットなど任意の各種の異なる幾何学的較正データセットを検討し得る。検討する特定の幾何学的較正データセットは、通常、特定のカメラアレイ用途の要件に基づいて決定する。幾何学的較正データセットのすべてを検討するとき、以降の画像処理には、対応する特徴点間で観測したずれに最適な幾何学的較正データを使用できる。
【００６５】
図６を参照して特定処理を上述したが、任意の各種処理を使用して、多数の幾何学的較正データセットから、対応する特徴点間で観測したずれに最適な幾何学的較正データセットを選択できる。加えて、図６に示す処理はループを含む。容易に理解し得るように、多数の幾何学的較正データセットを同時に評価する処理を導入できる。多数の実施形態では、カメラアレイは、リモート配置のサーバーシステムに画像セットを提供し、このサーバーシステムは、幾何学的較正データのデータベースに対して画像セットを評価し、カメラアレイへのネットワーク接続を介して更新した幾何学的較正データセットを返す。
【００６６】
上記の説明には、本発明の多くの特定の実施形態が含まれるが、これらは、本発明の範囲を限定するものとしてではなく、その一実施形態の例として解釈されるべきである。したがって、本発明の範囲は、示した実施形態ではなく、添付の特許請求の範囲及びその等価物によって決定されるべきである。
【図１】
2017531976.tif 000003
【図２】
2017531976.tif 000004
【図３Ａ】
2017531976.tif 000005
【図３Ｂ】
2017531976.tif 000006
【図４】
2017531976.tif 000007
【図５】
2017531976.tif 000008
【図６】
2017531976.tif 000009
【国際調査報告】
2017531976.tif 000010