(57)【要約】  いくつかの態様は、局所的強度変化を示す画像のセット内の画像に局所的強度平坦化を実行するためのシステムおよび技法に関する。たとえば、局所的強度平坦化は、正確な領域マッチングと画像の位置合わせとを実行するために使用され得る。画像は、たとえば、画像内の識別されたキーポイントの位置、形状、および大きさに基づいて、画素ブロックの領域に分割され得る。画像内の同じ特徴を表す領域は、強度に関して平坦化され得る。強度平坦化領域におけるキーポイントに基づく領域マッチングは、非対称センサによってキャプチャされた、または空間的に変化する強度を示す画像においても、正確に実行され得る。
2017520050.tif 000002
【特許請求の範囲】
【請求項１】
第1の画像センサと、
第2の画像センサと、
前記第1の画像センサからの第1の画像と、前記第2の画像センサからの第2の画像とを含む画像データを受信することであって、前記第1の画像および前記第2の画像が、画像シーンの少なくとも一部を表し、相互に関する局所的強度変化を示すことと、
前記第1の画像を複数の第1のブロックに分割することと、
前記第2の画像を画素の複数の第2のブロックに分割することと、
対応するブロックのペアを決定することであって、対応するブロックの前記ペアが、前記複数の第1のブロックの識別された第1のブロックと、前記複数の第2のブロックの識別された第2のブロックとを含むことと、
前記識別された第1のブロックと前記識別された第2のブロックとに含まれる画素の平坦化された局所的強度値を生成することと
を行うように構成された画像プロセッサと
を備える、画像キャプチャデバイス。
【請求項２】
前記第1の画像センサが第1の強度応答を有し、前記第2の画像センサが第2の強度応答を有し、前記第1の強度応答が前記第2の強度応答とは異なる、請求項1に記載のデバイス。
【請求項３】
前記第1の画像および前記第2の画像が前記局所的強度変化を示すことが、前記第1の画像がNIR画像を備えることと、前記第2の画像がRGB画像を備えることとに少なくとも部分的に基づく、請求項1に記載のデバイス。
【請求項４】
前記第1の画像および前記第2の画像が前記局所的強度変化を示すことが、前記第1の画像のキャプチャ中の前記画像シーンの第1の照明条件が、前記第2の画像のキャプチャ中の前記画像シーンの第2の照明条件とは異なることに少なくとも部分的に基づく、請求項1に記載のデバイス。
【請求項５】
前記識別された第1のブロックと前記識別された第2のブロックとに含まれる前記画素の前記平坦化された局所的強度値に少なくとも部分的に基づいて領域マッチングを実行するように、前記画像プロセッサを構成する命令を含むマッチングモジュールをさらに備える、請求項1に記載のデバイス。
【請求項６】
前記領域マッチングの結果に少なくとも部分的に基づいて奥行きマップを生成するように前記画像プロセッサを構成する命令を含む奥行きマップ構築モジュールをさらに備える、請求項5に記載のデバイス。
【請求項７】
前記第1の画像内の複数のキーポイントを識別するように、および前記第2の画像内の複数のキーポイントを識別するように、前記画像プロセッサを構成する命令を含む特徴検出モジュールをさらに備える、請求項1に記載のデバイス。
【請求項８】
前記第1の画像内の前記複数のキーポイントに少なくとも部分的に基づいて前記第1の画像を分割するように、および前記第2の画像内の前記複数のキーポイントに少なくとも部分的に基づいて前記第2の画像を分割するように前記画像プロセッサを構成する命令を含む重要な領域決定モジュールをさらに備える、請求項7に記載のデバイス。
【請求項９】
前記第1の画像センサと前記第2の画像センサとが、立体撮像システムまたはマルチスペクトル撮像システムのうちの1つの少なくとも一部として構成される、請求項1に記載のデバイス。
【請求項１０】
画像のセットを処理するための方法であって、
画像シーンの第1の画像を表す画像データを受信するステップと、
前記画像シーンの少なくとも一部の第2の画像を表す画像データを受信するステップであって、前記第2の画像が、前記第1の画像の局所的強度値に関する局所的強度値における変化を示す、ステップと、
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するステップと、
対応するブロックのペアを決定するステップであって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記第1の画像を表す前記画像データに含まれ、前記第2のブロックが前記第2の画像を表す前記画像データに含まれる、ステップと、
前記第1のブロックに含まれる画素と、前記第2のブロックに含まれる画素との平坦化された局所的強度値を生成するステップと
を備える、方法。
【請求項１１】
非対称センサのペアから前記第1の画像と前記第2の画像とを受信するステップをさらに備える、請求項10に記載の方法。
【請求項１２】
NIR画像センサから前記第1の画像を受信し、前記第2の画像をRGB画像センサから受信するステップをさらに備える、請求項10に記載の方法。
【請求項１３】
平坦化された前記局所的強度値を生成するステップが、前記第1のブロックおよび前記第2のブロックごとに確率質量関数を決定するステップを備える、請求項10に記載の方法。
【請求項１４】
平坦化された前記局所的強度値を生成するステップが、前記第1のブロックおよび前記第2のブロックごとに累積質量関数を計算するために、前記第1のブロックおよび前記第2のブロックごとに前記確率質量関数における質量値を合計するステップを備える、請求項13に記載の方法。
【請求項１５】
平坦化された前記局所的強度値を生成するステップが、前記第2のブロック内の画素の強度値への前記第1のブロック内の画素の強度値のマッピングを生成するために、前記第1のブロックおよび前記第2のブロックごとに前記計算された累積質量関数を使用するステップを備える、請求項14に記載の方法。
【請求項１６】
平坦化された前記局所的強度値を生成するステップが、前記第1のブロックの前記画素の各々のために新しい輝度値を生成するために、前記強度値の前記マッピングに双線形補間を実行するステップを備える、請求項15に記載の方法。
【請求項１７】
前記第1の画像および前記第2の画像の各々における複数のキーポイントを識別するステップをさらに備える、請求項10に記載の方法。
【請求項１８】
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するステップが、前記複数のキーポイントの位置、大きさ、形状、および数のうちの1つまたは複数に少なくとも部分的に基づく、請求項17に記載の方法。
【請求項１９】
対応するブロックの前記ペアを決定するステップが、前記第1のブロックおよび前記第2のブロックは、前記複数のキーポイントの同じキーポイントを表すと決定するステップを備える、請求項18に記載の方法。
【請求項２０】
前記平坦化された局所的強度値に少なくとも部分的に基づいて領域マッチングを実行するステップをさらに備える、請求項10に記載の方法。
【請求項２１】
前記領域マッチングの結果に少なくとも部分的に基づいて奥行きマップを構築するステップをさらに備える、請求項20に記載の方法。
【請求項２２】
実行されると、画像プロセッサに、
第1の画像センサと第2の画像センサとによってキャプチャされた2つ以上の画像を表す画像データを受信することと、
前記2つ以上の画像の各々を画素の複数のブロックに分割することと、
対応するブロックのペアを決定することであって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記2つ以上の画像のうちの第1の画像内に含まれ、前記第2のブロックが前記2つ以上の画像のうちの第2の画像内に含まれることと、
前記第1のブロックに含まれる画素と、前記第2のブロックに含まれる画素との平坦化された強度値を生成することと
を備える動作を実行させる命令を記憶する、非一時的コンピュータ可読記憶媒体。
【請求項２３】
前記動作が、前記第1の画像および前記第2の画像の各々における複数のキーポイントを識別するステップをさらに備える、請求項22に記載の非一時的コンピュータ可読記憶媒体。
【請求項２４】
前記動作が、前記平坦化された強度値に少なくとも部分的に基づいて領域マッチングを実行するステップをさらに備える、請求項22に記載の非一時的コンピュータ可読記憶媒体。
【請求項２５】
前記動作が、前記領域マッチングの結果に少なくとも部分的に基づいて立体奥行きマップを構築するステップをさらに備える、請求項24に記載の非一時的コンピュータ可読記憶媒体。
【請求項２６】
画像シーンの第1の画像を表す画像データを受信するための手段と、
前記画像シーンの少なくとも一部の第2の画像を表す画像データを受信するための手段であって、前記第2の画像が、前記第1の画像の局所的強度値に関する局所的強度値における変化を示す、手段と、
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するための手段と、
対応するブロックのペアを決定するための手段であって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記第1の画像を表す前記画像データに含まれ、前記第2のブロックが前記第2の画像を表す前記画像データに含まれる、手段と、
前記第1のブロックに含まれる画素と、前記第2のブロックに含まれる画素との平坦化された局所的強度値を生成するための手段と
を備える、撮像装置。
【請求項２７】
前記第1の画像を表す画像データを受信するための前記手段がNIRセンサを備え、前記第2の画像を表す画像データを受信するための前記手段がRGBセンサを備える、請求項26に記載の装置。
【請求項２８】
前記第1の画像を表す画像データを受信するための前記手段と、前記第2の画像を表す画像データを受信するための前記手段とが、非対称画像センサのペアを備える、請求項26に記載の装置。
【請求項２９】
前記第1の画像を表す画像データを受信するための前記手段と、前記第2の画像を表す画像データを受信するための前記手段とが、単一の画像センサを備える、請求項26に記載の装置。
【請求項３０】
前記単一の画像センサが、異なる照明条件下で前記第1の画像と前記第2の画像とをキャプチャする、請求項29に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に開示されるシステムおよび方法は、画像処理を対象とし、より具体的には、領域マッチング技法における局所的強度(intensity)平坦化を対象とする。
【背景技術】
【０００２】
画像レジストレーション、または画像位置合わせは、画像データの異なるセットを1つの座標系に変換する処理である。画像データは、異なる画像センサ、時間、奥行き、視点、または光スペクトルの部分からの画像などの複数の画像を含む。画像位置合わせは、他の用途の中でも特に、写真、コンピュータビジョン、医療用撮像、ならびに望遠鏡および人工衛星からの画像およびデータをコンパイルおよび解析することにおいて使用される。画像位置合わせは、これらの異なる光測定から得られた画像データを比較または統合できるようにするために使用される。一般的には、画像位置合わせは、相関メトリックを介して画像内の強度パターンを比較することによって強度ベースの方法を通じて、または点、線、および輪郭などの画像特徴間の対応を見つけることによる特徴ベースの方法によって行われる。画像位置合わせは、画素ごとの位置合わせ、領域ベースのレジストレーション、またはグローバルレジストレーションのレベルで達成され得る。
【０００３】
あるタイプの画像位置合わせは立体マッチングであり、2つのオフセット画像のセットを提示する際に奥行きの錯覚を作成するために使用される。立体マッチングは、関連する画像内のオブジェクト、たとえば、異なる視点からキャプチャされた同じ画像シーンの2つの画像間の対応を決定するプロセスである。対応は、両方の立体画像における画像シーン内の同じ位置を示すマッチング点を指し得る。すなわち、マッチング点は、両方の立体画像に表されているオブジェクトの同じ部分を表す。多くの場合、対応を決定することは、2つの非常に独立したサブプロセス、すなわちセグメンテーションとその後に続くマッチングとして扱われる。画像は、画素値、たとえば色値または強度値に基づいて、領域に分割され得る。点または線に基づく手法に固有の欠点の多くは、より発展したエンティティをマッチングすることによって克服され得るので、領域は、画像の対応するペア間でマッチングされるべき基本形(primitive)と考えられる。対応は、マッチング点間の視差を使用することによって、三角測量の原理に従って目的のオブジェクトまでの奥行きを計算するために使用され得る。
【発明の概要】
【課題を解決するための手段】
【０００４】
一般に、本開示は、画像位置合わせ技法または処理のための局所的強度平坦化のためのシステムおよび技法に関する。たとえば、一実装形態では、プロセスは2つ以上の画像を含む画像データを、画素のブロックを含む領域に分割し得る。いくつかの実施形態では、領域は画像データ内の識別された特徴に対応し得る。立体位置合わせアプリケーションなどのいくつかの実施形態では、画素ブロックは、ブロックの大きさが最大視差値よりも大きく、ロールオフ変化よりも小さくなるようにサイズ変更され得る。局所的ヒストグラムマッチングは各ブロックに、その後ブロック間の双線形補間に対して実行され得、画像にわたって平坦化された強度変化をもたらす。平坦化された強度変化は、非強度一致画像セットと比較して、より正確な領域マッチング結果を生成し得る。
【０００５】
いくつかの実施形態では、局所的強度平坦化プロセスは、立体、パノラマ、またはマルチスペクトル撮像システムに実装され得るなど、非対称センサにわたる正確な領域マッチングを可能にし得る。たとえば、多くの立体撮像システムは、立体画像セットを生成するために、対象となる画像シーンの異なるビューをキャプチャするために異なる位置に複数の画像センサを実装する。これらの複数の画像センサは、特に、利得、ロールオフ、感度、視野、ホワイトバランス、幾何学的歪み、およびノイズ感度に関して一致していない場合があり、キャプチャされた画像内の対応する特徴で強度の変化を生成する。センサ上に光を集束させるために使用されるレンズまたは光学素子における変化はまた、対応する特徴で強度の変化を生成し得る。同様に、オンボード画像信号調整における相違も、対応する特徴で強度の変化に寄与し得る。そのようなセンサは、本明細書では、画像シーンの特徴から入射する光の強度への応答が変動するため、「非対称センサ」と呼ばれる。
【０００６】
別の例として、いくつかのマルチスペクトル撮像システムは、電磁スペクトルの異なる部分で画像データをキャプチャするために複数のセンサを実装する。電磁スペクトルの変化する範囲でキャプチャされた画像は、たとえば、照明への赤外線および可視色センサの異なる強度応答のために対応する特徴で強度において変化し得、それに応じて、マルチスペクトルシステムはまた非対称センサを含み得る。本明細書で使用される場合、「対応する特徴」は、画像のセットの複数の画像内に表されるような実際の画像シーン内の同じ特徴を指す。特徴は、特徴の、および/または特徴の周囲の画素のブロックを含む領域として表され得、対応する特徴を表す領域は、本明細書では「対応する領域」と呼ばれる。対応する領域内の画素の強度値間の変化は、本明細書では「局所的強度変化」と呼ばれる。画像セットは、画像セット内のいくつかの対応する特徴の一部またはすべての対応する特徴での局所的強度変化を示し得る。
【０００７】
本明細書ではマルチセンサシステムの文脈で一般的に論じているが、局所的強度平坦化プロセスはまた、単一のセンサによってキャプチャされる局所的強度変化を示す画像間の正確な領域マッチングを可能にし得る。たとえば、単一のRGBNセンサ(画像シーンのRGBおよびNIRチャネルをキャプチャするように構成された4チャネルセンサ)によってキャプチャされた近赤外(NIR)画像と可視色(たとえば、RGB)画像とは、局所的強度変化を示し得る。別の例として、同一のセンサによるが異なる照明において同じ画像シーンを撮影された2つ以上の画像は、局所的強度変化を示し得る。単一のセンサによってキャプチャされた、および局所的強度変化を示す他の画像のセットも可能である。局所的強度変化を示す任意の画像のセットの位置合わせは、局所的強度平坦化を使用して実行され得る
【０００８】
立体奥行きマップの位置合わせおよび生成のために、複数の画像にわたるマッチング領域は、画像にわたって等しい局所的強度変化を必要とする。前述のように、非対称センサによって生成された画像セットは、多くの場合等しい局所的強度を有しておらず、領域マッチング性能の誤差および下流性能劣化につながる。この問題および他の問題は、いくつかの実施形態では、領域マッチングのために識別される主要な特徴を取り囲む領域における画素ブロック強度変化を平坦化するための、本明細書に記載の局所的強度平坦化技法によって対処される。平坦化された強度変化は、非強度一致画像セットと比較して、より正確な領域マッチング結果を生成し得る。奥行き検出などの立体アプリケーションでは、適応強度マッチングは、同じ奥行きであるが異なるコントラストによって特徴付けられるエリア内の誤った視差として明示されるマッチング誤差を減らすことができる。奥行きマップにおけるそのような誤差を低減することは、任意の下流処理における誤差を低減して、非強度一致画像セットから生成された立体画像と比較してより高い品質の立体画像の提示を可能にし得る。
【０００９】
画像間のグローバルヒストグラムマッチングと比較すると、本明細書に記載の局所的強度平坦化技法は、たとえば空間的に変化する強度における局所的変化への適応を通じてより正確な領域マッチングを可能にする。たとえば、フィルムとデジタルカメラの両方に影響を与える口径食(vignetting)は、レンズ視野(FOV)の周辺付近の光学システムを透過する光の量の減少を意味し、画像センサに入射する光の空間的に変化する強度がエッジの画像を段階的に暗色化させることをもたらす。さらに、自然画像シーンの照明がシーン全体にわたって一定ではなく、シーン全体の予測不可能な空間的に変化する強度をもたらす。グローバルヒストグラム調整は局所的変化に適応しない場合があるので、空間的に変化する強度は、異なる平均強度値を有する画像間の特徴マッチングについての重大な問題を提起する。たとえば、グローバルヒストグラムマッチング手法は平均画素値に基づき、それに応じて局所的領域が、入力画像におけるそれらの対応する領域に対して不正確な強度値にバイアスされる。本明細書中に記載の局所的強度平坦化技法は局所的領域において不偏の強度平坦化を提供し、空間的に変化する照明におけるキーポイント構造の周囲のマッチング精度を最適化する。立体画像における奥行きマップ構築に使用されるキーポイントマッチングでは、局所的ヒストグラム適応は、正確な奥行きマップ構築を可能にするキーポイント領域間の強度対応を提供する。
【００１０】
したがって、一態様は、第1の強度応答を有する第1の画像センサと、第2の強度応答を有する第2の画像センサと、第1の画像センサからの第1の画像と、第2の画像センサからの第2の画像とを含む画像データを受信することであって、第1の画像および第2の画像が、単一の画像シーンの少なくとも一部を表し、相互に関する局所的強度変化を示すことと、第1の画像を複数の第1のブロックに分割することと、第2の画像を画素の複数の第2のブロックに分割することと、対応するブロックのペアを決定することであって、対応するブロックのペアが、複数の第1のブロックの識別された第1のブロックと、複数の第2のブロックの識別された第2のブロックとを含むことと、識別された第1のブロックと識別された第2のブロックとに含まれる画素の平坦化された局所的強度値を生成することとを行うように構成された画像プロセッサとを備える画像キャプチャデバイスに関する。
【００１１】
別の態様は、画像のセットを処理するための方法に関し、本方法は、画像シーンの第1の画像を表す画像データを受信するステップと、画像シーンの少なくとも一部の第2の画像を表す画像データを受信するステップであって、第2の画像が、第1の画像の局所的強度値に関する局所的強度値における変化を示すステップと、第1の画像および第2の画像の各々を画素の複数のブロックに分割するステップと、対応するブロックのペアを決定するステップであって、対応するブロックのペアが、画素の複数のブロックの第1のブロックと、画素の複数のブロックの第2のブロックとを含み、第1のブロックが第1の画像を表す画像データに含まれ、第2のブロックが第2の画像を表す画像データに含まれる、ステップと、第1のブロックに含まれる画素と、第2のブロックに含まれる画素との平坦化された局所的強度値を生成するステップとを備える。
【００１２】
別の態様は、実行されると、画像プロセッサに、非対称画像センサによってキャプチャされた2つ以上の画像を表す画像データを受信することと、2つ以上の画像の各々を画素の複数のブロックに分割することと、対応するブロックのペアを決定することであって、対応するブロックのペアが、画素の複数のブロックの第1のブロックと、画素の複数のブロックの第2のブロックとを含み、第1のブロックが2つ以上の画像のうちの第1の画像内に含まれ、第2のブロックが2つ以上の画像のうちの第2の画像内に含まれることと、第1のブロックに含まれる画素と、第2のブロックに含まれる画素との平坦化された強度値を生成することとを備える動作を実行させる命令を記憶する非一時的コンピュータ可読媒体に関する。
【００１３】
開示された態様は、以下で、添付の図面に関連して説明され、例示するために提供され、開示された態様を限定するものではない。図面において、同様の符号は同様の要素を示す。
【図面の簡単な説明】
【００１４】
【図１】局所的強度平坦化機能を有する画像キャプチャシステムの一実施形態のブロック図である。
【図２】局所的強度平坦化を使用して立体画像を生成するための段階のある実施形態のブロック図である。
【図３】平坦化モジュールのある実施形態のブロック図である。
【図４】局所的強度平坦化プロセスのある実施形態を示す図である。
【図５Ａ】従来の領域マッチング、および局所的強度平坦化プロセスのある実施形態を含む領域マッチングの平均二乗誤差の結果の比較を表すブロック図である。
【図５Ｂ】従来の領域マッチング、および局所的強度平坦化プロセスのある実施形態を含む領域マッチングの平均二乗誤差の結果の比較を表すブロック図である。
【発明を実施するための形態】
【００１５】
導入
本開示の実施形態は、画像位置合わせのための領域マッチングにおける局所的強度平坦化のためのシステムおよび技法に関する。画像のセット内の各画像は、それぞれ、たとえば、異なる視点からの、異なる照明における、または電磁スペクトルの異なる部分における、実質的に同一の画像シーンを表し得る。セット内の画像の各々は、画素のブロックを含むいくつかの領域に分割され得る。領域は、画像間で対応する特徴を表す領域を決定するために、すなわち、画像内のどの領域が同じ特徴を表すかを決定するためにマッチングされ得る。対応する特徴を表す領域は、強度に関してマッチングされ得る。対応する特徴を表す領域間の強度対応は、領域を使用して、たとえば、正確な下流画像位置合わせ、および/または奥行きマップ構築につながる正確なマッチングを可能にし得る。
【００１６】
一実施形態では、領域は、画像のセット内の各画像内のキーポイント(keypoint)と呼ばれる独特の特徴を識別することに少なくとも部分的に基づいて決定され得る。キーポイントは、それらが画像スケールの変化および/または回転に対して不変であるように選択および/または処理され得、歪み、視点の変化、および/またはノイズの実質的な範囲にわたって堅牢なマッチングを提供する。領域の位置、形状、および大きさは、たとえば、抽出された特徴の位置、形状、大きさに基づいて決定され得る。対応する領域間の強度平坦化は、キーポイントの形状などの局所的構造内容に適合し得る。したがって、キーポイントマッチングへの空間的に変化する強度の影響が、キーポイントの検出後、対応する領域の強度を平坦化することによって緩和または除去され得る。
【００１７】
対応する領域間の強度値の平坦化は、領域に含まれるキーポイントの構造に適応し得る。いくつかの例では、各対応する領域のヒストグラムは空間的強度変化を決定するために解析され得、対応する領域の強度間の空間マッピングは、独特の特徴などの局所的構造内容に適合された平坦化された強度を提供するために実行され得る。たとえば、画像のペアにおけるブロックのヒストグラム解析に基づいて平坦化関数を決定した後、第2の画像のヒストグラムに最も密接に類似している、または一致するヒストグラムを有するように第1の画像が変換されるように、第1の画像内の強度値が第2の画像内の強度値にマッピングされ得る。決定された領域のすべては強度値の点で非常に類似しているように見える場合があり、したがって、たとえそれらが異なるセンサ、光学、および/または光波長を使用して生成された場合でも、後続の処理によって各画像内の対応する領域として識別され得る。
【００１８】
本開示に記載の実施形態の態様は、立体画像ペアの文脈内の領域マッチングに焦点を当てているが、これは例示の目的のためであり、本明細書に記載の局所的強度平坦化技法の使用を限定することを意図するものではない。非立体画像ペアの領域マッチングを使用する位置合わせも、本明細書に記載の局所的強度平坦化技法を使用してより正確に実行され得る。たとえば、局所的強度平坦化は、同じ画像のシーンをキャプチャした近赤外(NIR)画像と可視色(たとえば、RGB)画像との位置合わせなどの、光のスペクトルの異なる部分からの画像を一致させる、より正確なマルチスペクトル画像位置合わせを提供し得る。局所的強度平坦化はまた、たとえば、分光法を実行するために回折格子を使用して光学システムによって異なる波長で撮影された画像のセットを位置合わせするための、より正確な分光画像位置合わせを提供し得る。本明細書に記載の局所的強度平坦化技法は、様々な実施形態において、画像のペアまたは3つ以上の画像のセットを位置合わせするために使用され得る。さらに、本明細書に記載の局所的強度平坦化技法は、領域マッチングによる位置合わせに限定されず、任意の画像位置合わせまたは整流技法に組み込まれ得る。
【００１９】
次に、いくつかの実施例および実施形態に関連して本開示の様々な態様が説明されるが、それらは本開示を説明することが意図されるものであり、本開示を限定することが意図されるものではない。
【００２０】
例示的なシステムの概要
図1は、強度平坦化機能を有する画像キャプチャデバイス(またはシステム)100の一実施形態のブロック図を示している。デバイス100は、画像センサアセンブリ115Aおよび115B、作業メモリ105、ストレージ110、ディスプレイ125、ならびにメモリ130に連結された画像プロセッサ(またはプロセッサ)120を含む。
【００２１】
デバイス100は、携帯電話、デジタルカメラ、タブレットコンピュータ、携帯情報端末等であり得る。本明細書中に記載されるような局所的強度平坦化プロセスが利点を提供するであろう、非対称の画像センサを有する多くの撮像デバイスがある。複数の撮像アプリケーションがデバイス100上でユーザにとって利用可能であり得る。これらのアプリケーションは、いくつか例を挙げると、従来の写真およびビデオアプリケーション、ハイダイナミックレンジ撮像、パノラマ写真およびビデオ、3D画像または3Dビデオなどの立体撮像、またはマルチスペクトル撮像などを含み得る。
【００２２】
図示されるような画像キャプチャデバイス100は、外部の画像をキャプチャするための画像センサアセンブリ115A、115Bを含む。画像センサアセンブリ115A、115Bは、それぞれセンサ、レンズアセンブリ、およびオートフォーカスモジュールを含み得る。アセンブリ115Aおよび115Bのセンサは、いくつかの実施形態では、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)であり得る。アセンブリ115Aおよび115Bのセンサは、画像シーンの特徴から入射する光の強度への変化する応答を有するように構成された非対称のセンサであり得る。したがって、対象となる画像シーンは、センサアセンブリ115Aがそのセンサの強度応答に従って画像Aをキャプチャし、センサアセンブリ115Bがそのセンサの強度応答に従って画像Bをキャプチャする画像のセットとしてキャプチャされ得る。2つの画像センサアセンブリ115A、115Bが示されているが、これは例示の目的のためであり、本明細書に記載の強度平坦化技法を実装することができるシステムの種類を限定することが意図されるものではない。他の実施形態では、3つ以上のセンサアセンブリは、対象となるシーンの画像のセットをキャプチャし得、画像のセットは少なくともいくつかの局所的強度変化を示す。さらに他の実施形態では、単一のセンサアセンブリは、対象となるシーンの画像のセットをキャプチャし得、画像のセットは少なくともいくつかの局所的強度変化を示す。いくつかの実施形態では、センサアセンブリのうちの1つまたは複数がデバイス100の一部ではない場合があり、代わりに1つまたは複数のセンサアセンブリからの情報が処理のためにデバイス100に提供される。たとえば、センサアセンブリは別の撮像システムの一部であり得、そのようなシステムからの情報はデバイス100について説明された機能を使用して処理されるために提供され得る。いくつかの実施形態では、そのような情報はまず記憶され、次いで処理のためにデバイス100に提供される。センサアセンブリの数は、撮像システム100のニーズに応じて増減され得る。画像センサアセンブリ115A、115Bは、キャプチャされた画像を画像プロセッサ120に送信するために、画像プロセッサ120に結合され得る。
【００２３】
画像プロセッサ120は、以下でより詳細に説明されるように、正確に位置合わせされた画像セットを出力するために、画像シーンのいくつかの画像を含む受信された画像データに対して様々な処理動作を実行するように構成され得る。プロセッサ120は、汎用処理ユニットでもよく、撮像アプリケーション用に特別に設計されたプロセッサでもよい。画像処理動作の例には、クロッピング、スケーリング(たとえば、異なる解像度への)、画像スティッチング、画像フォーマット変換、色補間、色処理、画像フィルタリング(たとえば、空間的画像フィルタリング)、レンズアーティファクト、または欠陥補正がある。プロセッサ120は、いくつかの実施形態では、複数のプロセッサを備え得る。いくつかの実施形態は、各画像センサ専用のプロセッサを有し得る。プロセッサ120は、1つまたは複数の専用画像信号プロセッサ(ISP)でもよく、プロセッサのソフトウェア実装でもよい。
【００２４】
画像プロセッサ120は、メモリ130および作業メモリ105に接続されている。図示された実施形態では、メモリ130は、キャプチャ制御モジュール135、位置合わせモジュール140、およびオペレーティングシステム150を記憶する。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実行するように画像プロセッサ120および/またはデバイスプロセッサ160を構成する命令を含む。作業メモリ105は、メモリ130のモジュールに含まれるプロセッサ命令の作業セットを記憶するために画像プロセッサ120によって使用され得る。代替的に、作業メモリ105はまた、デバイス100の動作中に作成された動的データを記憶するために画像プロセッサ120によって使用され得る。
【００２５】
上述したように、画像プロセッサ120は、たとえばメモリ130などのメモリに記憶された複数のモジュールによって構成されている。キャプチャ制御モジュール135は、撮像センサアセンブリ115A、115Bの焦点位置を調整するように画像プロセッサ120を構成する命令を含み得る。キャプチャ制御モジュール135は、デバイス100の全体的な画像キャプチャ機能を制御する命令をさらに含み得る。たとえば、キャプチャ制御モジュール135は、撮像センサアセンブリ115A、115Bを使用して、対象となる画像のシーンの生画像データをキャプチャするように画像プロセッサ120を構成するためのサブルーチンを呼び出す命令を含み得る。次いで、キャプチャ制御モジュール135は、センサアセンブリ115A、115Bによってキャプチャされた画像に局所的強度平坦化および位置合わせを実行するために、および位置合わせされた画像データを画像プロセッサ120に出力するために、位置合わせモジュール140を呼び出し得る。キャプチャ制御モジュール135はまた、いくつかの実施形態では、キャプチャされるべきシーンのプレビュー画像をディスプレイ125上に出力するために、生画像データに強度平坦化および位置合わせを実行することと、特定の時間間隔で、または生画像データ内のシーンが変化するときにプレビュー画像を更新することとを行うために、位置合わせモジュール140を呼び出し得る。
【００２６】
位置合わせモジュール140は、キャプチャされた画像データに局所的強度平坦化技法を使用して画像位置合わせを実行するように画像プロセッサ120を構成する命令を含み得る。たとえば、センサアセンブリ115A、115Bの各々は、各センサの強度応答に応じて、対象となる画像を表す画像をキャプチャし得る。上述したように、強度応答は、センサ利得、ロールオフ、感度、視野、ホワイトバランス、幾何学的歪み、およびノイズ感度、特に、センサアセンブリ115A、115B内のレンズ間の差、およびオンボード画像信号調整における相違のために異なる場合がある。画像間の局所的強度変化にもかかわらず、画像の正確な位置合わせを実行するために、位置合わせモジュール140は、画像をいくつかの領域に分割することと、対応する領域の局所的強度値を平坦化することと、強度平坦化領域を使用して領域マッチングを実行することとを行うように画像プロセッサ120を構成し得る。
【００２７】
たとえば、位置合わせモジュール140は、画像データ内の独特の特徴、またはキーポイントを検出するように画像プロセッサ120を構成する命令を含む特徴検出器142を含み得る。そのような特徴は、高い精度で一致され得る画像内の点に対応し得る。たとえば、独特の特徴は、たとえば、周囲の画素領域と比較した大きさ、形状、寸法、明るさまたは色などの特性の異なるエッジまたは線、コーナー、隆起部、あるいはブロブの存在または鋭さによって少なくとも部分的に特徴付けられ得る。一般的に、オブジェクトまたは特徴の認識は、特徴識別の目的のために、画像内の関心のある点(キーポイントとも呼ばれる)および/またはそれらのキーポイントの周囲の局所的特徴を識別することを含み得る。オブジェクトまたは特徴は、1つまたは複数のキーポイントを識別する記述子によって特徴付けられ得る。キーポイントは、たとえば、いくつか例を挙げると、差の二乗和、ラプラシアンオブガウシアン(LoG)、ガウシアンの差(DoG)、およびヘッセ行列式(DoH)などの、任意の知られている特徴検出技法によって識別され得る。
【００２８】
特徴検出器142はまた、識別されたキーポイントに少なくとも部分的に基づいて、画素ブロックを含む領域に画像データを分割するように画像プロセッサ120を構成する命令を含み得る。画素ブロックの位置、形状、および大きさは、たとえば、識別されたキーポイントの位置、形状、大きさに基づいて決定され得る。いくつかの立体位置合わせアプリケーションなどのいくつかの実施形態では、特徴検出器142は、画素ブロックの大きさを視差値より大きく、および/またはロールオフ変化値よりも小さく制限するように画像プロセッサ120を構成する命令を含み得る。
【００２９】
位置合わせモジュール140はまた、領域のヒストグラムを生成して解析し、ヒストグラム解析に少なくとも部分的に基づいて強度平坦化関数を生成するようにプロセッサ120を構成する命令を含む、ヒストグラムモジュール144を含み得る。ヒストグラムモジュール144は、各ブロックの確率質量関数(PMF)を決定することと、累積質量関数(CMF)を計算するためにPMF内の質量を合計することと、センサアセンブリ115Aによってキャプチャされた画像内の画素からの強度値を、センサアセンブリ115Bによってキャプチャされた画像内の画素にマッピングするために(またはその逆)CMFを使用することとを行うようにプロセッサ120を構成する命令を含み得る。したがって、対応する領域間の強度平坦化は、キーポイントの形状などの局所的構造内容に適合し得る。
【００３０】
位置合わせモジュール140はまた、ヒストグラムモジュール144によって生成された強度平坦化画像データを使用して領域マッチングを実行するためにプロセッサ120を構成する命令を含む、マッチングモジュール146を含み得る。局所的適応強度平坦化のために、対応するキーポイントの領域は強度値の点で相互に非常に類似して見える場合があり、たとえ空間的に変化する強度を示す画像においても、キーポイントの構造の周囲の精度の高いマッチングを可能にする。
【００３１】
オペレーティングシステムモジュール150は、作業メモリ105と、デバイス100の処理リソースとを管理するように画像プロセッサ120を構成する。たとえば、オペレーティングシステムモジュール150は、撮像センサアセンブリ115A、115Bなどのハードウェアリソースを管理するためにデバイスドライバを含み得る。したがって、いくつかの実施形態では、上述した画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接相互作用しない場合があるが、代わりに、オペレーティングシステム構成要素150内に配置された標準サブルーチンまたはAPIを通じて相互作用する。その場合、オペレーティングシステム150内の命令は、これらのハードウェア構成要素と直接相互作用し得る。オペレーティングシステムモジュール150は、デバイスプロセッサ160と情報を共有するように、画像プロセッサ120をさらに構成し得る。
【００３２】
デバイスプロセッサ160は、キャプチャされた画像、またはキャプチャされた画像のプレビューをユーザに表示するためにディスプレイ125を制御するように構成され得る。ディスプレイ125は、撮像デバイス100の外部にあってもよく、撮像デバイス100の一部であってもよい。ディスプレイ125はまた、画像をキャプチャする前の使用のためにプレビュー画像を表示するビューファインダを提供するように構成されてもよく、メモリに記憶された、またはユーザによって最近キャプチャされた画像を表示するように構成されてもよい。ディスプレイ125はLCDまたはLEDスクリーンを備え得、タッチセンシティブ技術を実装し得る。
【００３３】
デバイスプロセッサ160は、撮像された画像を表すデータ、画像位置合わせデータ、強度値データなどのデータをストレージモジュール110に書き込み得る。ストレージモジュール110は、従来のディスクデバイスとしてグラフィカルに表されているが、当業者は、ストレージモジュール110は任意のストレージメディアデバイスとして構成され得ることを理解するであろう。たとえば、ストレージモジュール110は、フロッピー(登録商標)ディスクドライブ、ハードディスクドライブ、光ディスクドライブまたは光磁気ディスクドライブなどのディスクドライブ、あるいはフラッシュメモリ、RAM、ROM、および/またはEEPROMなどの固体メモリを含み得る。ストレージモジュール110はまた複数のメモリユニットを含み得、メモリユニットのうちのいずれか1つは、画像キャプチャデバイス100内にあるように構成されてもよく、画像キャプチャデバイス100の外部にあってもよい。たとえば、ストレージモジュール110は、画像キャプチャデバイス100内に記憶された含むシステムプログラム命令を含むROMメモリを含み得る。ストレージモジュール110はまた、カメラから取り外し可能であり得る、キャプチャされた画像を記憶するように構成されたメモリカードまたは高速メモリを含み得る。
【００３４】
図1は、プロセッサ、撮像センサ、およびメモリを含むために別個の構成要素を有するデバイスを表しているが、当業者は、これらの別個の構成要素は特定の設計目標を達成するために様々な方法で組み合わせられ得ることを認識するであろう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し性能を改善するためにプロセッサ構成要素と組み合わされ得る。さらに、図1は、いくつかのモジュールと別個の作業メモリ105とを含むメモリ構成要素130を含む2つのメモリ構成要素を示しているが、他の実施形態は、異なるメモリアーキテクチャを利用し得る。たとえば、ある設計は、メモリ130に含まれるモジュールを実装するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用し得る。プロセッサ命令は、画像プロセッサ120による実行を容易にするためにRAMにロードされ得る。たとえば、作業メモリ105はRAMメモリを備え得、命令はプロセッサ120によって実行される前に作業メモリ105にロードされている。
【００３５】
局所的強度平坦化を使用する例示的な立体画像生成の概要
図2は、画像キャプチャ段階240、画像処理段階245、および立体マッチング段階250を含む、局所的強度平坦化を使用して立体画像を生成するための段階を実行するために使用され得るモジュールのある実施形態のブロック図を示している。
【００３６】
画像キャプチャ段階240で、画像データA205と画像データB210は、単一の画像シーン(たとえば、同一の単一の画像シーン、あるいは同じ時間または異なる時間に撮影された単一の画像シーンの一部)をキャプチャした画像情報を表してもよく、画像シーンのうちの少なくともいくつかの重複部分(同じ時間または異なる時間に撮影された)をキャプチャした画像情報を表してもよい。画像データA205と画像データB210は、たとえば、撮像システムによって感知された画素の強度または明度値(または測定された信号)などの画像に含まれる画素に関連付けられる情報を含む。いくつかの実施形態では、画像データAおよび/またはB内の画素はまた、たとえば色または別の画像特性に関する情報などの、それに関連付けられる画素に関する他の情報を有し得る。
【００３７】
上述したように、画像データA205と画像データB210は、非対称センサを使用して、または照明が変化する単一のセンサによってキャプチャされ得、画像内のキーポイント特徴に局所的強度変化をもたらす。画像データA205と画像データB210は、一実施形態では、わずかに異なる視点から撮影されて、立体画像を構成するために使用され得る。別の実施形態では、画像データA205と画像データB210は、光スペクトルの異なる部分からでよく、マルチスペクトル画像を構築するために、または他のマルチスペクトル撮像アプリケーションのために使用され得る。
【００３８】
画像処理段階245で、キャプチャされた画像データA205と画像データB210は、画像データ内のキーポイント特徴での正確な領域マッチングを可能にするために、局所的強度平坦化を使用して処理され得る。たとえば、画像処理段階245は、キーポイントの独特の特徴を決定するように構成された(または、命令を含む)特徴検出モジュール215を実装し得る。独特の特徴は、画像データA205と画像データB210の各々から抽出され得る。そのような特徴は、高い精度で一致され得る画像内の点に対応し得る。たとえば、独特の特徴は、これに限定されないが、周囲の画素領域と比較した大きさ、形状、寸法、明るさまたは色を含む特性の異なるエッジまたは線、コーナー、隆起部、あるいはブロブの存在によって少なくとも部分的に特徴付けられ得る。上述したように、そのようなキーポイント特徴は、たとえば、いくつか例を挙げると、差の二乗和、ラプラシアンオブガウシアン(LoG)、ガウシアンの差(DoG)、およびヘッセ行列式(DoH)などの任意の知られている特徴検出技法によって識別され得る。
【００３９】
画像処理段階245はまた、画像データA205と画像データB210を識別されたキーポイントに基づいて画素ブロックを備える領域に分割するように構成された(または、命令を含む)重要な領域決定モジュール220を実装し得る。領域の大きさは、それぞれの画像キャプチャシステムの光学および撮像パラメータから決定され得る。ブロックの大きさは、局所的変化を捕捉して、キーポイント特徴を包含するために十分に小さく、また局所的強度確率密度関数を十分にサンプリングするために十分に大きくてよい。いくつかの実施形態では、画像を4個、8個、および16個のブロックに分割することは、平坦化されたブロックを使用する領域マッチングの良好な性能をもたらし得る。いくつかの実施形態は、キーポイント特徴に基づいてブロックの大きさを適応的に決定し得、また強度平坦化および適応的に大きさを決定されたブロックを使用する領域マッチングにおける性能向上を達成し得る。たとえば、画素ブロックの位置、形状、および大きさは、識別されたキーポイントの位置、形状、および大きさに基づいて決定され得る。いくつかの立体位置合わせアプリケーションなどのいくつかの実施形態では、画素ブロックの大きさは、視差値よりも大きく、ロールオフ変化値よりも小さい範囲内にあり得る。重要な領域決定モジュール220はまた、同じキーポイント特徴を表す画素ブロックのペアを識別するために、画像データA205と画像データB210の領域間の一般的な対応を決定するために使用され得る。
【００４０】
画像処理段階245はまた、領域の各々のヒストグラムを生成して解析するように構成された(または、命令を含む)局所的強度平坦化モジュール225を実装し得る。局所的強度平坦化モジュール225は、たとえば、ヒストグラム解析に少なくとも部分的に基づいて、画像データAと画像データBの対応する領域のペアの強度平坦化関数を生成し得る。一実施形態では、局所的強度を平坦化するために各ブロックの確率質量関数(PMF)が決定され得、累積質量機能(CMF)を計算するためにPMFにおける質量が合計され得、CMFは第1の画像内の画素から第2の画像内の画素に強度値をマッピングするために使用され得る。したがって、対応する領域間の強度平坦化は、領域内のキーポイントの強度構造を構成する。
【００４１】
立体マッチング段階250は、領域マッチングを使用して画像を位置合わせして、対応するキーポイントを使用して奥行きマップを構築するために、適応局所的強度平坦化によって生成されたデータを使用する立体奥行きマップ構築の一実施形態を示している。領域マッチングモジュール230で、強度平坦化画像データAと画像データBは、画像データAと画像データBとの間のキーポイントで対応する画素を決定するために使用され得る。特徴は、異なる位置、向き、およびスケールで表示される可能性があるため、強度一致領域データは、対応するキーポイント間の正確な幾何学的変換を決定するために使用される。奥行きマップ構築モジュール235は、画像内の対応するキーポイントの位置の間の距離に基づいて決定される視差値に基づいて、各画素の奥行きレベルを決定し得る。たとえば、画像データA内のキーポイントと、画像データB内の対応するキーポイントとの間の幾何学的変換は、マッチングされたキーポイントを使用して推定され得、キーポイントを表す画素の奥行き値を決定するために使用され得る。図示されていないが、立体画像生成のいくつかの実施形態は、構築された奥行きマップを使用して立体画像を生成するために使用され得る強度平坦化画像を使用し得る。他の実施形態では、元の画像は、構築された奥行きマップを使用して立体画像を生成するために使用され得る。
【００４２】
例示的な平坦化モジュールの概要
図3は、2つ以上の画像を含む画像データに、本明細書に記載の局所的強度平坦化技法を実行するために使用され得る平坦化モジュール300のある実施形態のブロック図を示している。いくつかの実施形態では、平坦化モジュール300は、上述したデバイス100のヒストグラムモジュール144に組み込まれ得る。
【００４３】
図示された実施形態では、画像A305を表すデータは第1の画像センサから受信され得、画像B310を表すデータは第2の画像センサから受信され得、第1の画像センサと第2の画像センサは非対称である。したがって、画像A305と画像B310は、たとえば、キーポイント特徴に、およびその周囲に画素強度値などの局所的強度値の変化を有し得る。図示された実施形態は、2つの画像の局所的強度値を平坦化するために実装されているが、他の実施形態では、3つ以上の画像が平坦化モジュール300に送信され得る。3つ以上の画像間の強度を平坦化するいくつかの実施形態では、他の画像の強度値を参照画像の強度値にマッチングするために1つの画像が参照として識別され得る。いくつかの実施形態では、第1の画像センサと第2の画像センサは非対称ではない。
【００４４】
画像Aは、分割モジュールA315で受信され得、画素ブロックのK個の領域に分割される。画像Bは、分割モジュールB320で受信され得、画素ブロックの同じ数のK個の領域に分割される。上述したように、画素ブロックの数、大きさ、位置、および形状は、いくつかの実施形態では、画像Aおよび画像Bにおけるキーポイントの識別に基づき得る。いくつかの実施形態では、画像はあらかじめ定められたブロックの数および構成に応じて分割され得る。
【００４５】
分割された画像データAはヒストグラム解析モジュールA325で受信され得、分割された画像データBはヒストグラム解析モジュールB330で受信され得る。別個のモジュールとして表されているが、いくつかの実施形態では、ヒストグラム解析モジュールAとヒストグラム解析モジュールBは単一のモジュールとして実装され得る。画像A、およびBの各々におけるK個のブロックのブロックごとに、ヒストグラム解析モジュールAとヒストグラム解析モジュールBは、
【００４６】
【数１】
2017520050.tif 000003
【００４７】
を計算することができ、iの値は1〜Kであり、j=0,1..255であり、これはブロックNあたりの要素の総数によって分割されたレベルjの値の数である。したがって、hiはブロックの確率質量関数(PMF)である。これは、レベルjが、領域内の空間的構造内容についての情報を提供するブロック内で発生する可能性を示している。
【００４８】
平坦化関数H1は、平坦化モジュール335によって、ヒストグラム解析モジュールA325によるヒストグラム出力のために決定され得る。たとえば、平坦化モジュールA335は、累積質量関数(CMF)を計算するために、PMFにおける質量を
【００４９】
【数２】
2017520050.tif 000004
【００５０】
に従って合計することができる。平坦化モジュールB340は、ヒストグラム解析モジュールB330によって、ヒストグラム出力のための同様の関数H2を計算し得る。CMFは、たとえばキーポイント特徴構造のために空間的強度値がブロック内でどのように変化するかを示し得る。
【００５１】
強度マッチングモジュール345は、平坦化モジュールAおよびBによって決定される累積質量関数に基づいて、画像Aと画像Bの強度間に空間マッピングを実行し得る。いくつかの実施形態では、一旦すべてのブロックとすべてのセンサのためのCMFが決定されると、平坦化関数は、
【００５２】
【数３】
2017520050.tif 000005
【００５３】
に従って提供され得る。これは、画像Bが画像Aのヒストグラムに密接に類似している、または一致するヒストグラムを有するように変換されるように、画像B内の強度値を画像A内の強度値にマッピングし得る。その結果、領域は非常に類似しているように見える場合があり、たとえ非対称センサで生成されていても、後続の処理によって、各画像内の対応する領域として識別され得る。結果として得られる強度一致画像AおよびBは、
【００５４】
【数４】
2017520050.tif 000006
【００５５】
に従って表され得る。
【００５６】
いくつかの実施形態では、画像Bの画素の新しい強度値を決定するために、マッチングモジュールは双線形ヒストグラム補間を実行し得る。たとえば、画素ごとに、ロードされたヒストグラムからのテーブルルックアップによって4つの新しい輝度値(luma value)が決定され得る。次いで、対象となる画素の新しい輝度値は、近隣のヒストグラム情報から平坦化画素値を生成するために、適切な補間技法、たとえば双線形によって決定され得る。
【００５７】
例示的な局所的強度平坦化プロセスの概要
図4は、局所的強度平坦化プロセス400のある実施形態を示している。いくつかの実施形態では、プロセス400のブロック405〜425は、平坦化モジュール300または上述したデバイス100のヒストグラムモジュール144によって実行され得る。マッチングモジュール146は、いくつかの実施形態では、プロセス400のブロック430を実行するために使用され得る。
【００５８】
ブロック405で、平坦化モジュール300は、非対称センサによってキャプチャされた少なくとも第1の画像および第2の画像の画像データを受信し得る。したがって、第1の画像および第2の画像は、他の位置のうちでも、キーポイントの領域の、またはその周囲の局所的強度変化を示し得る。
【００５９】
ブロック410で、分割モジュールAおよびB(また、いくつかの実施形態では、第3、第4、またはより多数の画像に対応する図示されていない追加の分割モジュール)は、正確に一致され得る構造に対応する第1および第2の画像におけるキーポイントを識別し得る。キーポイントは、周囲の画素領域と比較した明るさまたは色などの特性の異なるエッジまたは線、コーナー、隆起部、あるいはブロブの存在によって少なくとも部分的に特徴付けられ得る。しかしながら、局所的強度変化のために、第1および第2の画像内の対応するキーポイント特徴での強度値が異なり得る。
【００６０】
ブロック415で、分割モジュールAおよびBは、第1の画像と第2の画像とを画素ブロックを含むいくつかの領域に分割し得る。いくつかの実施形態では、第1の画像および第2の画像は、同じ数のブロックに分割され得る。画素ブロック数、位置、大きさ、および形状は、いくつかの実施形態では、ブロック410で識別されたキーポイントに少なくとも部分的に基づき得る。
【００６１】
ブロック420で、分割モジュールA315およびB320(図3)は、第1の画像と第2の画像との間のブロック対ブロックの対応を決定し得る。ブロック対ブロックの対応は、一般的にブロックのペアを示し得、第1の画像内に含まれるペア内の1つのブロックと、第2の画像内に含まれるペア内の1つのブロックとが、対象となる画像シーンからの同じキーポイント特徴を表す。ブロック対ブロックの対応は、局所的強度解析と、キーポイント特徴の周囲の平坦化を可能にし得る。
【００６２】
ブロック425で、平坦化モジュール300は、第1および第2の画像内の一部またはすべてのブロック内の画素の局所的強度値を平坦化し得る。たとえば、上述したように、ヒストグラムモジュールA325およびB330は、第1の画像と第2の画像の両方におけるブロックごとにPMFを計算し得る。平坦化モジュールA335およびB340は、CMFを計算するために、PMF内の質量を合計することによって平坦化関数を計算し得る。対応するブロックのペアごとにCMF関数を使用して、強度マッチングモジュール345は、キーポイント特徴の構造を維持しながら、第1の画像の強度値に一致または近似させるために、第2の画像の強度値をマッピングするために双線形補間を実行し得る。
【００６３】
ブロック430で、マッチングモジュール146は、画像データに適用された適応局所的強度平坦化を有する第1および第2の画像のデータを受信し得る。マッチングモジュール146は、領域マッチングを実行し、キーポイント特徴の画素間の対応と変換を決定するために、このデータを使用し得る。
【００６４】
例示的な結果比較
図5Aおよび図5Bは、従来の領域マッチング、および局所的強度平坦化プロセスのある実施形態を含む領域マッチングの平均二乗誤差の結果の比較を示す。
【００６５】
図5Aは、局所的強度値に関して一致していない第1の画像505と第2の画像510との間の領域マッチングへの従来の手法を表している。そのような手法は、高い平均二乗誤差515を生成し得る。たとえば、画像505、510内のキーポイント間の対応は、強度分布の最小平均二乗誤差の決定に基づき得る。キーポイントの周囲のミスマッチな局所的強度値のために、最小平均二乗誤差は、マッチング誤差のために画像505、510間に不適切または不正確な位置合わせを引き起こすのに十分に高い場合がある。これは不正確な奥行きマップ、視覚品質の低い位置合わせまたは立体画像、および他の望ましくない下流処理効果につながる場合がある。
【００６６】
図5Bは、本明細書に記載の領域マッチングへの平坦化された手法を表しており、第1の画像505および第2の画像510は、ブロック520で局所的強度平坦化プロセスを経る。結果として、いくつかの実施形態では、第1の画像505は、ヒストグラムマッチングを有する、または第2の画像510のヒストグラムに実質的に対応する強度平坦化画像525に変換される。これは、低い平均二乗誤差530を生成し得、キーポイント特徴間の適切な位置合わせをもたらし、また立体アプリケーションでは、正確な奥行きマップの構築をもたらす。
【００６７】
システムおよび用語の実装
本明細書に開示される実装形態は、領域マッチング技法における局所的強度平坦化のためのシステム、方法、および装置を提供する。当業者は、これらの実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装され得ることを認識するであろう。
【００６８】
いくつかの実施形態では、上述の回路、プロセス、およびシステムは、ワイヤレス通信デバイスで利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレスに通信するために使用される電子デバイスの一種であり得る。ワイヤレス通信デバイスの例は、セルラ電話、スマートフォン、携帯情報端末(PDA)、電子書籍リーダ、ゲームシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイス等を含む。
【００６９】
ワイヤレス通信デバイスは、1つまたは複数の画像センサ、1つまたは複数の画像信号プロセッサ、および上述の局所的強度平坦化技法を実行するための命令またはモジュールを含むメモリを含み得る。デバイスはまた、データ、プロセッサロード命令および/またはメモリからのデータ、1つまたは複数の通信インターフェース、1つまたは複数の入力デバイス、ディスプレイデバイスなどの1つまたは複数の出力デバイス、および電源/インターフェースを有し得る。ワイヤレス通信デバイスは、送信機および受信機をさらに含み得る。送信機および受信機は、合同でトランシーバと呼ばれ得る。トランシーバは、ワイヤレス信号を送信および/または受信するための1つまたは複数のアンテナに結合され得る。
【００７０】
ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続し得る。ワイヤレス通信デバイスは、代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器(UE)、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニット等と呼ばれ得る。ワイヤレス通信デバイスの例は、ラップトップまたはデスクトップコンピュータ、セルラ電話、スマートフォン、ワイヤレスモデム、電子書籍リーダ、タブレットデバイス、ゲームシステム等を含む。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP)などの1つまたは複数の業界標準に従って動作し得る。したがって、「ワイヤレス通信デバイス」という一般的な用語は、業界標準に応じて変化する命名法を使用して説明したワイヤレス通信デバイス(たとえば、アクセス端末、ユーザ機器(UE)、遠隔端末等)を含み得る。
【００７１】
本明細書で説明される機能は、プロセッサ可読またはコンピュータ可読媒体上に1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく、例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージデバイスまたは他の磁気ストレージデバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するために使用可能であり、かつコンピュータによってアクセス可能な任意の他の媒体を含み得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイディスク(登録商標)(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。コンピュータ可読媒体は、有形でもよく、非一時的でもよい点に留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理、または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わせて、コンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能な、ソフトウェア、命令、コード、またはデータを指し得る。
【００７２】
ソフトウェアまたは命令はまた、伝送媒体を介して伝送され得る。たとえば、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してソフトウェアが送信される場合、上記の同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、送信媒体の定義に含まれる。
【００７３】
本明細書で開示される方法は、記載された方法を達成するための1つまたは複数のステップあるいは動作を備える。方法ステップおよび/または動作は、特許請求の範囲を逸脱することなく互いに交換されてよい。言い換えれば、説明されている方法の適切な動作のために特定の順序のステップまたは動作が必要とされない限り、特定のステップおよび/または動作の順序および/または使用は、特許請求の範囲から逸脱することなしに変更され得る。
【００７４】
「結合」、「結合する」、「結合される」という用語、またはこの語の組の他の変形形態は、本明細書で使用される場合、間接的な接続または直接的な接続を示す場合があることに留意されたい。たとえば、第1の構成要素が第2の構成要素に「結合される」場合、第1の構成要素は第2の構成要素に間接的に接続されていてもよく、第2の構成要素に直接接続されていてもよい。本明細書中で使用される場合、「複数」という用語は、2つ以上を示す。たとえば、複数の構成要素は、2つ以上の構成要素を示す。
【００７５】
「決定すること」という用語は、幅広い種類の動作を包含し、したがって、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、検索すること(たとえば、表、データベース、または別のデータ構造を検索する)、確認することなどを含み得る。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。
【００７６】
「〜に基づいて」という句は、明示的に指定されていない限り、「〜のみに基づいて」を意味するものではない。言い換えれば、「〜に基づいて」という句は、「〜のみに基づいて」と「少なくとも〜に基づいて」の両方を表す。
【００７７】
前述の説明では、実施例の完全な理解を提供するために具体的な詳細が与えられている。しかしながら、実施例がこれらの具体的な詳細なしに実施され得ることが当業者には理解されよう。たとえば、不必要な詳細で実施例を不明瞭にしないために、電気の構成要素/デバイスがブロック図で示される場合がある。他の事例では、実施例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示される場合がある。
【００７８】
本明細書では、見出しは、参照のために、および様々なセクションを配置するのを助けるために含まれる。これらの見出しは、それに関して説明した概念の範囲を限定することを意図するものではない。そのような概念は明細書全体を通して適用性を有し得る。
【００７９】
実施例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として表されるプロセスとして説明され得る点にも留意されたい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは並列、または同時に実行され得、プロセスは繰り返され得る。また、動作の順序は並べ替えられてよい。プロセスは、その動作が完了したとき、終了する。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェアの関数に対応する場合、その終了は、呼出し関数またはメイン関数への関数のリターンに対応する。
【００８０】
開示された実装形態の前の説明は、任意の当業者が本発明を作成または使用することを可能にするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになることになり、本明細書に定義する一般原理は、本発明の趣旨または範囲を逸脱することなしに他の実装形態に適用され得る。したがって、本発明は、本明細書に示される実装形態に限定されることを意図するものではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。
【符号の説明】
【００８１】
100  画像キャプチャデバイス(またはシステム)、撮像システム、撮像デバイス
105  作業メモリ
110  ストレージ、ストレージモジュール
115A  画像センサアセンブリ、撮像センサアセンブリ、センサアセンブリ
115B  画像センサアセンブリ、撮像センサアセンブリ、センサアセンブリ
120  画像プロセッサ
125  ディスプレイ
130  メモリ
135  キャプチャ制御モジュール
140  位置合わせモジュール
142  特徴検出器
144  ヒストグラムモジュール
146  マッチングモジュール
150  オペレーティングシステム、オペレーティングシステムモジュール、オペレーティングシステム構成要素
160  デバイスプロセッサ
205  画像データA
210  画像データB
215  特徴検出モジュール
220  重要な領域決定モジュール
225  局所的強度平坦化モジュール
230  領域マッチングモジュール
235  奥行きマップ構築モジュール
240  画像キャプチャ段階
245  画像処理段階
250  立体マッチング段階
300  平坦化モジュール
305  画像A
310  画像B
315  分割モジュールA
320  分割モジュールB
325  ヒストグラム解析モジュールA、ヒストグラムモジュールA
330  ヒストグラム解析モジュールB、ヒストグラムモジュールB
335  平坦化モジュールA
340  平坦化モジュールB
345  強度マッチングモジュール
400  局所的強度平坦化プロセス
505  第1の画像
510  第2の画像
515  高い平均二乗誤差
520  ブロック
525  強度平坦化画像
530  低い平均二乗誤差
【図１】
2017520050.tif 000007
【図２】
2017520050.tif 000008
【図３】
2017520050.tif 000009
【図４】
2017520050.tif 000010
【図５Ａ】
2017520050.tif 000011
【図５Ｂ】
2017520050.tif 000012
【手続補正書】
【提出日】平成28年12月20日(2016.12.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第1の画像センサと、
第2の画像センサと、
前記第1の画像センサからの第1の画像と、前記第2の画像センサからの第2の画像とを含む画像データを受信することであって、前記第1の画像および前記第2の画像が、画像シーンの少なくとも一部を表し、相互に関する局所的強度変化を示すことと、
前記第1の画像を複数の第1のブロックに分割することと、
前記第2の画像を画素の複数の第2のブロックに分割することと、
対応するブロックのペアを決定することであって、対応するブロックの前記ペアが、前記複数の第1のブロックの識別された第1のブロックと、前記複数の第2のブロックの識別された第2のブロックとを含むことと、
前記第1の画像の前記識別された第1のブロックと、前記第2の画像の前記識別された第2のブロックとに含まれる画素の平坦化された局所的強度値を生成することであって、前記第1のブロック内の画素の強度値を前記第2のブロック内の画素の強度値にマッピングすることを含むことと
を行うように構成された画像プロセッサと
を備える、画像キャプチャデバイス。
【請求項２】
前記第1の画像センサが第1の強度応答を有し、前記第2の画像センサが第2の強度応答を有し、前記第1の強度応答が前記第2の強度応答とは異なる、請求項1に記載のデバイス。
【請求項３】
前記第1の画像および前記第2の画像が前記局所的強度変化を示すことが、前記第1の画像がNIR画像を備えることと、前記第2の画像がRGB画像を備えることとに少なくとも部分的に基づく、請求項1に記載のデバイス。
【請求項４】
前記第1の画像および前記第2の画像が前記局所的強度変化を示すことが、前記第1の画像のキャプチャ中の前記画像シーンの第1の照明条件が、前記第2の画像のキャプチャ中の前記画像シーンの第2の照明条件とは異なることに少なくとも部分的に基づく、請求項1に記載のデバイス。
【請求項５】
前記識別された第1のブロックと前記識別された第2のブロックとに含まれる前記画素の前記平坦化された局所的強度値に少なくとも部分的に基づいて領域マッチングを実行するように、前記画像プロセッサを構成する命令を含むマッチングモジュールをさらに備える、請求項1に記載のデバイス。
【請求項６】
前記領域マッチングの結果に少なくとも部分的に基づいて奥行きマップを生成するように前記画像プロセッサを構成する命令を含む奥行きマップ構築モジュールをさらに備える、請求項5に記載のデバイス。
【請求項７】
前記第1の画像内の複数のキーポイントを識別するために、および前記第2の画像内の複数のキーポイントを識別するように、前記画像プロセッサを構成する命令を含む特徴検出モジュールをさらに備える、請求項1に記載のデバイス。
【請求項８】
前記第1の画像内の前記複数のキーポイントに少なくとも部分的に基づいて前記第1の画像を分割するために、および前記第2の画像内の前記複数のキーポイントに少なくとも部分的に基づいて前記第2の画像を分割するように前記画像プロセッサを構成する命令を含む重要な領域決定モジュールをさらに備える、請求項7に記載のデバイス。
【請求項９】
前記第1の画像センサと前記第2の画像センサとが、立体撮像システムまたはマルチスペクトル撮像システムのうちの1つの少なくとも一部として構成される、請求項1に記載のデバイス。
【請求項１０】
画像のセットを処理するための方法であって、
画像シーンの第1の画像を表す画像データを受信するステップと、
前記画像シーンの少なくとも一部の第2の画像を表す画像データを受信するステップであって、前記第2の画像が、前記第1の画像の局所的強度値に関する局所的強度値における変化を示す、ステップと、
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するステップと、
対応するブロックのペアを決定するステップであって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記第1の画像を表す前記画像データに含まれ、前記第2のブロックが前記第2の画像を表す前記画像データに含まれる、ステップと、
前記第1の画像の前記第1のブロックに含まれる画素と、前記第2の画像の前記第2のブロックに含まれる画素との平坦化された局所的強度値を生成するステップであって、前記第1のブロック内の画素の強度値の、前記第2のブロック内の画素の強度値へのマッピングを生成するステップを備える、ステップと
を備える、方法。
【請求項１１】
非対称センサのペアから前記第1の画像と前記第2の画像とを受信するステップをさらに備える、請求項10に記載の方法。
【請求項１２】
NIR画像センサから前記第1の画像を受信し、前記第2の画像をRGB画像センサから受信するステップをさらに備える、請求項10に記載の方法。
【請求項１３】
平坦化された局所的強度値を生成するステップが、前記第1のブロックおよび前記第2のブロックごとに確率質量関数を決定するステップを備える、請求項10に記載の方法。
【請求項１４】
平坦化された局所的強度値を生成するステップが、前記第1のブロックおよび前記第2のブロックごとに累積質量関数を計算するために、前記第1のブロックおよび前記第2のブロックごとに前記確率質量関数における質量値を合計するステップを備える、請求項13に記載の方法。
【請求項１５】
平坦化された局所的強度値を生成するステップが、前記第2のブロック内の画素の強度値への前記第1のブロック内の画素の強度値の前記マッピングを生成するために、前記第1のブロックおよび前記第2のブロックごとに前記計算された累積質量関数を使用するステップを備える、請求項14に記載の方法。
【請求項１６】
平坦化された局所的強度値を生成するステップが、前記第1のブロックの前記画素の各々のために新しい輝度値を生成するために、前記強度値の前記マッピングに双線形補間を実行するステップをさらに備える、請求項15に記載の方法。
【請求項１７】
前記第1の画像および前記第2の画像の各々における複数のキーポイントを識別するステップをさらに備える、請求項10に記載の方法。
【請求項１８】
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するステップが、前記複数のキーポイントの位置、大きさ、形状、および数のうちの1つまたは複数に少なくとも部分的に基づく、請求項17に記載の方法。
【請求項１９】
対応するブロックの前記ペアを決定するステップが、前記第1のブロックおよび前記第2のブロックは、前記複数のキーポイントの同じキーポイントを表すと決定するステップを備える、請求項18に記載の方法。
【請求項２０】
前記平坦化された局所的強度値に少なくとも部分的に基づいて領域マッチングを実行するステップをさらに備える、請求項10に記載の方法。
【請求項２１】
前記領域マッチングの結果に少なくとも部分的に基づいて奥行きマップを構築するステップをさらに備える、請求項20に記載の方法。
【請求項２２】
実行されると、画像プロセッサに、
第1の画像センサと第2の画像センサとによってキャプチャされた2つ以上の画像を表す画像データを受信することと、
前記2つ以上の画像の各々を画素の複数のブロックに分割することと、
対応するブロックのペアを決定することであって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記2つ以上の画像のうちの第1の画像内に含まれ、前記第2のブロックが前記2つ以上の画像のうちの第2の画像内に含まれることと、
前記第1の画像の前記第1のブロックに含まれる画素と、前記第2の画像の前記第2のブロックに含まれる画素との平坦化された強度値を生成することであって、前記第1のブロック内の画素の強度値を前記第2のブロック内の画素の強度値にマッピングすることを含むことと
を備える動作を実行させる命令を記憶する、非一時的コンピュータ可読記憶媒体。
【請求項２３】
前記動作が、前記第1の画像および前記第2の画像の各々における複数のキーポイントを識別するステップをさらに備える、請求項22に記載の非一時的コンピュータ可読記憶媒体。
【請求項２４】
前記動作が、前記平坦化された強度値に少なくとも部分的に基づいて領域マッチングを実行するステップをさらに備える、請求項22に記載の非一時的コンピュータ可読記憶媒体。
【請求項２５】
前記動作が、前記領域マッチングの結果に少なくとも部分的に基づいて立体奥行きマップを構築するステップをさらに備える、請求項24に記載の非一時的コンピュータ可読記憶媒体。
【請求項２６】
画像シーンの第1の画像を表す画像データを受信するための手段と、
前記画像シーンの少なくとも一部の第2の画像を表す画像データを受信するための手段であって、前記第2の画像が、前記第1の画像の局所的強度値に関する局所的強度値における変化を示す、手段と、
前記第1の画像および前記第2の画像の各々を画素の複数のブロックに分割するための手段と、
対応するブロックのペアを決定するための手段であって、対応するブロックの前記ペアが、画素の前記複数のブロックの第1のブロックと、画素の前記複数のブロックの第2のブロックとを含み、前記第1のブロックが前記第1の画像を表す前記画像データに含まれ、前記第2のブロックが前記第2の画像を表す前記画像データに含まれる、手段と、
前記第1のブロックに含まれる画素と、前記第2のブロックに含まれる画素との平坦化された局所的強度値を生成するための手段であって、平坦化された局所的強度値を生成するための前記手段が、前記第2のブロック内の画素の強度値への前記第1のブロック内の画素の強度値のマッピングを生成するための手段を備える、手段とを備える、撮像装置。
【請求項２７】
前記第1の画像を表す画像データを受信するための前記手段がNIRセンサを備え、前記第2の画像を表す画像データを受信するための前記手段がRGBセンサを備える、請求項26に記載の装置。
【請求項２８】
前記第1の画像を表す画像データを受信するための前記手段と、前記第2の画像を表す画像データを受信するための前記手段とが、非対称画像センサのペアを備える、請求項26に記載の装置。
【請求項２９】
前記第1の画像を表す画像データを受信するための前記手段と、前記第2の画像を表す画像データを受信するための前記手段とが、単一の画像センサを備える、請求項26に記載の装置。
【請求項３０】
前記単一の画像センサが、異なる照明条件下で前記第1の画像と前記第2の画像とをキャプチャする、請求項29に記載の装置。
【国際調査報告】
2017520050.tif 000013
2017520050.tif 000014
2017520050.tif 000015