(57)【特許請求の範囲】
【請求項１】
オブジェクトの電子画像を得るステップと、
前記電子画像に対してエッジ検出アルゴリズムを遂行して、前記オブジェクトに対応するエッジの第1の組を取得するステップと、
前記エッジの第1の組に対してエッジプールアルゴリズムを遂行して、前記エッジの第1の組より少数の、エッジの第2の組を取得するステップと、
前記電子画像をサンプリングして、前記エッジの第2の組に基づくエッジパッチの組を取得するステップと、
前記電子画像をサンプリングして、前記電子画像から色パッチの組を取得するステップと、
前記電子画像をサンプリングして、前記電子画像からテクスチャパッチの組を取得するステップと、
パッチの組のi番目のパッチと(i番目+1)のパッチの間のユークリッド距離が、前記i番目のパッチと他のすべてのパッチの間のユークリッド距離以上であるとき、前記(i番目+1)のパッチが前記パッチの組に入るように選択することによって、前記エッジパッチの組、前記色パッチの組および前記テクスチャパッチの組から前記パッチの組を選択するステップと、
前記選択されたパッチの組に対して部分選択アルゴリズムを遂行して、部分の第1の組を取得するステップと、
前記部分の第1の組に対して部分プールアルゴリズムを遂行して、前記部分の第1の組より少数の、部分の第2の組を取得するステップであって、前記部分プールアルゴリズムが、(i)  前記部分の第1の組のそれぞれを複数のサブ部分に分割するステップ、および(ii)  前記サブ部分のそれぞれに対してMAX演算を遂行するステップを含むステップと、
前記部分の第2の組を前記オブジェクトに記録するステップと
を含む、コンピュータで実施される方法。
【請求項２】
オブジェクトの電子画像を得るステップと、
前記電子画像に対してエッジ検出アルゴリズムを遂行して、前記オブジェクトに対応するエッジの第1の組を取得するステップと、
前記エッジの第1の組に対してエッジプールアルゴリズムを遂行して、前記エッジの第1の組より少数の、エッジの第2の組を取得するステップと、
前記電子画像をサンプリングして、前記エッジの第2の組に基づくエッジパッチの組を取得するステップと、
前記電子画像をサンプリングして、前記電子画像から色パッチの組を取得するステップと、
前記電子画像をサンプリングして、前記電子画像からテクスチャパッチの組を取得するステップと、
パッチの組のi番目のパッチからの、前記エッジパッチの組、前記色パッチの組および前記テクスチャパッチの組のそれぞれに対するユークリッド距離に基づいて、(i番目+1)のパッチが前記パッチの組に入るように選択することによって、前記エッジパッチの組、前記色パッチの組および前記テクスチャパッチの組から、前記パッチの組を選択するステップと、
前記選択されたパッチの組に対して部分選択アルゴリズムを遂行して、部分の第1の組を取得するステップと、
前記部分の第1の組に対して部分プールアルゴリズムを遂行して、前記部分の第1の組より少数の、部分の第2の組を取得するステップと、
前記部分の第2の組を前記オブジェクトに記録するステップと
を含む、コンピュータで実施される方法。
【請求項３】
前記i番目のパッチからの前記ユークリッド距離に基づいて前記(i番目+1)のパッチを選択するステップが、前記i番目のパッチと前記(i番目+1)のパッチの間の前記ユークリッド距離が前記i番目のパッチと他のすべてのパッチの間のユークリッド距離以上である場合に前記(i番目+1)のパッチを選択するステップを含む、請求項2に記載の、コンピュータで実施される方法。
【請求項４】
前記部分の第1の組に対して前記部分プールアルゴリズムを遂行して前記部分の第2の組を取得するステップが、前記部分の第1の組に対してMAX演算を遂行するステップを含む、請求項2に記載の、コンピュータで実施される方法。
【請求項５】
前記MAX演算が、(i)  前記部分の第1の組のそれぞれを複数のサブ部分に分割するステップと、(ii)  前記サブ部分のそれぞれに対してMAX演算を遂行するステップとを含む、請求項4に記載の、コンピュータで実施される方法。
【請求項６】
サブ部分の数が4である、請求項5に記載の、コンピュータで実施される方法。
【請求項７】
前記部分の第2の組を前記オブジェクトに記録するステップが監督下の学習によって遂行される、請求項2に記載の、コンピュータで実施される方法。
【請求項８】
前記エッジの第1の組に対して前記エッジプールアルゴリズムを遂行して前記エッジの第2の組を取得するステップが、前記エッジの第1の組に対してMAX演算を遂行するステップを含む、請求項2に記載の、コンピュータで実施される方法。
【請求項９】
電子画像のオブジェクトに対応するエッジの第1の組を求めるエッジ検出モジュールと、
前記エッジの第1の組から、前記エッジの第1の組より少数の、エッジの第2の組を求めるエッジプールモジュールと、
前記エッジの第2の組に基づいてエッジパッチの組をサンプリングするエッジパッチサンプリングモジュールと、
前記電子画像から色パッチの組をサンプリングする色パッチサンプリングモジュールと、
前記電子画像からテクスチャパッチの組をサンプリングするテクスチャパッチサンプリングモジュールと、
パッチの組のi番目のパッチからの、前記エッジパッチの組、前記色パッチの組および前記テクスチャパッチの組のそれぞれに対するユークリッド距離に基づいて、(i番目+1)のパッチが前記パッチの組に入るように選択することによって、前記エッジパッチの組、前記色パッチの組および前記テクスチャパッチの組から前記パッチの組を選択するパッチ選択モジュールと、
前記パッチの選択された組に基づいて部分の第1の組を選択する部分選択モジュールと、
前記部分の第1の組に基づいて、前記部分の第1の組より少数の、部分の第2の組を求める部分プールモジュールと、
前記部分の第2の組を前記オブジェクトに記録するオブジェクト記録モジュールと
を備える、特徴抽出システム。
【請求項１０】
前記i番目のパッチからの前記ユークリッド距離に基づいて前記(i番目+1)のパッチを選択するステップが、前記i番目のパッチと前記(i番目+1)のパッチの間の前記ユークリッド距離が、前記i番目のパッチと他のすべてのパッチの間のユークリッド距離以上である場合に前記(i番目+1)のパッチを選択するステップを含む、請求項9に記載の特徴抽出システム。
【請求項１１】
前記部分の第1の組に対して部分プールアルゴリズムを遂行して前記部分の第2の組を取得するステップが、前記部分の第1の組に対してMAX演算を遂行するステップを含む、請求項9に記載の特徴抽出システム。
【請求項１２】
前記MAX演算が、(i)  前記部分の第1の組のそれぞれを複数のサブ部分に分割するステップと、(ii)  前記サブ部分のそれぞれに対してMAX演算を遂行するステップとを含む、請求項11に記載の特徴抽出システム。
【請求項１３】
サブ部分の数が4である、請求項12に記載の特徴抽出システム。
【請求項１４】
前記部分の第2の組を前記オブジェクトに記録するステップが監督下の学習によって遂行される、請求項9に記載の特徴抽出システム。
【請求項１５】
前記エッジの第1の組に対してエッジプールアルゴリズムを遂行して前記エッジの第2の組を取得するステップが、前記エッジの第1の組に対してMAX演算を遂行するステップを含む、請求項9に記載の特徴抽出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に電子画像からの特徴抽出に関し、より詳細には、電子画像上で特徴を抽出するためのモデルベースのアルゴリズムおよびデータ駆動型アルゴリズムの両方を利用する技法に関する。
【背景技術】
【０００２】
この節は、必ずしも従来技術ではない本開示に関連する背景情報を提供する。
【０００３】
特徴抽出は、例えば画像分類、物体認識といった多くの画像処理タスクの基礎をもたらす。従来の特徴抽出技法は、モデルベースの手法、データ駆動型手法またはモデルベースの手法とデータ駆動型手法の何らかの組合せとして分類することができる。特徴抽出のモデルベースの手法は、一般に、未知の画像の中のオブジェクトに特徴を対応付けるのに、トレーニング画像から得られたルールを利用する。特徴抽出のデータ駆動型手法は、一般に比較的多数のトレーニング画像を利用して、そこから特徴のオブジェクトへの対応付けの例を導出する。組合せまたは「ハイブリッドの」手法は、ルールと特徴のオブジェクトへの対応付けの例との組合せを利用する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、例えば画像分類および物体認識においてモデルベースの手法およびデータ駆動型手法の両方を利用して性能を改善する、特徴抽出のための技法を提供するものである。
【課題を解決するための手段】
【０００５】
この節は、本開示の全般的な要約を提供するものであり、その全範囲またはその特徴のすべての包括的な開示ではない。
【０００６】
本開示の種々の実施形態において、コンピュータで実施される技法が開示される。この技法は、オブジェクトの電子画像を取得するステップと、電子画像に対してエッジ検出アルゴリズムを遂行して、オブジェクトに対応するエッジの第1の組を取得するステップとを含む。この技法は、エッジの第1の組に対してエッジプールアルゴリズム（edge pooling algorithm）を遂行して、エッジの第1の組より少数の、エッジの第2の組を取得するステップをさらに含む。電子画像は、エッジの第2の組、色パッチの組およびテクスチャパッチの組に基づいて、エッジパッチの組を取得するようにサンプリングされる。この技法は、パッチの組のi番目のパッチと(i番目+1)のパッチの間のユークリッド距離が、i番目のパッチと他のすべてのパッチの間のユークリッド距離以上であるとき、(i番目+1)のパッチがパッチの組に入るように選択することによって、エッジパッチの組、色パッチの組およびテクスチャパッチの組からパッチの組を選択するステップも含む。さらに、この技法は、パッチの選択された組に対して部分選択アルゴリズムを遂行して部分の第1の組を取得するステップと、部分の第1の組に対して部分プールアルゴリズムを遂行して部分の第2の組を取得するステップを含む。部分の第2の組は、部分の第1の組より少数である。部分プールアルゴリズムは、(i)  部分の第1の組のそれぞれを複数のサブ部分に分割するステップと、(ii)  サブ部分のそれぞれに対してMAX演算を遂行するステップとを含む。この技法は、部分の第2の組をオブジェクトに記録する（registering）ステップをさらに含む。
【０００７】
本開示の種々の実施形態において、特徴抽出が開示される。特徴抽出技法は、電子画像のオブジェクトに対応するエッジの第1の組を求めるエッジ検出モジュールを含む。特徴抽出技法は、エッジの第1の組から、エッジの第1の組より少数の、エッジの第2の組を求めるエッジプールモジュールも含む。さらに、特徴抽出技法は、エッジの第2の組に基づいてエッジパッチの組をサンプリングするサンプリングモジュールと、電子画像から色パッチの組をサンプリングする色パッチサンプリングモジュールと、電子画像からテクスチャパッチの組をサンプリングするテクスチャパッチサンプリングモジュールとを含む。特徴抽出技法のパッチ選択モジュールは、パッチの組のi番目のパッチと(i番目+1)のパッチの間のユークリッド距離が、i番目のパッチと他のすべてのパッチの間のユークリッド距離以上であるとき、(i番目+1)のパッチがパッチの組に入るように選択することによって、エッジパッチの組、色パッチの組およびテクスチャパッチの組からパッチの組を選択する。特徴抽出技法は、パッチの選択された組に基づいて部分の第1の組を選択する部分選択モジュールをさらに含む。また、特徴抽出技法は、部分の第1の組に基づいて、部分の第1の組より少数の、部分の第2の組を求める部分プールモジュールを含み、部分プールアルゴリズムは、(i)  部分の第1の組のそれぞれを複数のサブ部分に分割するステップと、(ii)  サブ部分のそれぞれに対してMAX演算を遂行するステップとを含む。それに加えて、特徴抽出技法は、部分の第2の組をオブジェクトに記録するオブジェクト記録モジュールを含む。
【０００８】
本開示の種々の実施形態において、コンピュータで実施される技法が開示される。この技法は、オブジェクトの電子画像を取得するステップと、電子画像に対してエッジ検出アルゴリズムを遂行して、オブジェクトに対応するエッジの第1の組を取得するステップとを含む。この技法は、エッジの第1の組に対してエッジプールアルゴリズムを遂行して、エッジの第1の組より少数の、エッジの第2の組を取得するステップをさらに含む。電子画像は、エッジの第2の組、色パッチの組およびテクスチャパッチの組に基づいて、エッジパッチの組を取得するようにサンプリングされる。さらに、この技法は、パッチの組のi番目のパッチからの、エッジパッチの組、色パッチの組およびテクスチャパッチの組のそれぞれに対するユークリッド距離に基づいて、(i番目+1)のパッチがパッチの組に入るように選択することによって、エッジパッチの組、色パッチの組およびテクスチャパッチの組から、パッチの組を選択するステップを含む。この技法は、パッチの選択された組に対して部分選択アルゴリズムを遂行して部分の第1の組を取得するステップと、部分の第1の組に対して部分プールアルゴリズムを遂行して部分の第2の組を取得するステップも含む。部分の第2の組は、部分の第1の組より少数である。さらに、この技法は、部分の第2の組をオブジェクトに記録するステップを含む。
【０００９】
本開示の種々の実施形態において、特徴抽出が開示される。特徴抽出技法は、電子画像のオブジェクトに対応するエッジの第1の組を求めるエッジ検出モジュールを含む。特徴抽出技法は、エッジの第1の組から、エッジの第1の組より少数の、エッジの第2の組を求めるエッジプールモジュールも含む。さらに、特徴抽出技法は、エッジの第2の組に基づいてエッジパッチの組をサンプリングするサンプリングモジュールと、電子画像から色パッチの組をサンプリングする色パッチサンプリングモジュールと、電子画像からテクスチャパッチの組をサンプリングするテクスチャパッチサンプリングモジュールとを含む。特徴抽出技法のパッチ選択モジュールは、パッチの組のi番目のパッチからの、エッジパッチの組、色パッチの組およびテクスチャパッチの組のそれぞれに対するユークリッド距離に基づいて、(i番目+1)のパッチがパッチの組に入るように選択することによって、エッジパッチの組、色パッチの組およびテクスチャパッチの組からパッチの組を選択する。特徴抽出技法は、パッチの選択された組に基づいて部分の第1の組を選択する部分選択モジュールをさらに含む。また、特徴抽出技法は、部分の第1の組に基づいて、部分の第1の組より少数の、部分の第2の組を求める部分プールモジュールを含む。それに加えて、特徴抽出技法は、部分の第2の組をオブジェクトに記録するオブジェクト記録モジュールを含む。
【００１０】
本明細書で提供される説明から、適用可能な他の分野が明らかになるであろう。この要約における説明および具体例は、説明の目的のみが意図されており、本開示の範囲を限定するように意図されたものではない。
【００１１】
本明細書で説明される図面は、すべての可能な実装形態ではなく、選択された実施形態のみを説明するためのものであって、本開示の範囲を限定するようには意図されていない。
【図面の簡単な説明】
【００１２】
【図１】本開示のいくつかの実施形態による例示的特徴抽出アーキテクチャを表すブロック図である。
【図２】本開示のいくつかの実施形態による特徴抽出技法が遂行される例示的電子画像の図である。
【図３】本開示の種々の実施形態による例示的特徴抽出技法の流れ図である。
【図４】本開示の種々の実施形態による例示的特徴抽出技法のブロック図である。
【図５】図4に示された特徴抽出技法のパッチサンプリングモジュールの実例のブロック図である。
【発明を実施するための形態】
【００１３】
対応する参照数字は、図面のいくつかの視野の全体にわたって、対応する部分を示す。
【００１４】
次に、例示的実施形態が、添付図面を参照しながらより十分に説明される。
【００１５】
次に図1を参照すると、本開示のいくつかの実施形態による例示的特徴抽出アーキテクチャ10を表すブロック図が示されている。特徴抽出アーキテクチャ10は、電子画像40に示される1つまたは複数のオブジェクトに対応付けられるかまたは記録される1組の特徴50を取得するために、少なくとも1つの電子画像40に対して特徴抽出を遂行するための技法をもたらす。例示的特徴抽出アーキテクチャ10は、エッジ選択11、エッジプール12、色パッチおよびテクスチャパッチ13、スパース正則化(sparsity regularization)14、部分選択15、部分プール16および監督下の学習17を含む。エッジ選択11およびエッジプール12は特徴抽出のためのモデルベースのアルゴリズム20の一部分を構成し、一方、色およびテクスチャのパッチ13は特徴抽出のためのデータ駆動型アルゴリズム30を構成する。特徴抽出アーキテクチャ10の要素のそれぞれが、以下でより十分に説明される。
【００１６】
次に図2を参照すると、特徴抽出が遂行される例示的電子画像40が示されている。電子画像40は、この実例では水上を航海するヨットであるオブジェクト45の表現を含む。特徴抽出は電子画像40から種々の特徴(エッジ、色、テクスチャなど)を検出することができ、次いで、これらがオブジェクト45に対応付け(または記録)され得る。次いで、これらの特徴が、未確認オブジェクトを検出してそれに分類するように、未知の画像の中の特徴と比較され得る。
【００１７】
次に図3を参照すると、本開示の種々の実施形態による例示的特徴抽出技法100が示されている。特徴抽出技法100は、図4に示された例示的特徴抽出技法200などの適切に構成されたコンピュータまたは他のコンピュータデバイスによって遂行され得ることを理解されたい。ステップ102で電子画像40が取得される。電子画像40は、例えば電子記憶媒体(データベース、ハードディスク、FLASHメモリデバイスなど)、デジタルカメラおよび/またはデジタルスキャナから、といった任意数のやり方で取得することができるデジタル画像である。電子画像40は、この技法100が特徴を記録することになるオブジェクト45(図2に示されたヨットなど)の表現を含むことができる。画像分類、物体認識などのための技法を訓練するのに用いられることになる電子画像40に関して、オブジェクト45がユーザによって分類され得る。図2に示された電子画像40の図示の実例において、ユーザは、オブジェクト45を、「ヨット」、「ボート」、「船」および/または他の適切な分類として分類してよい。
【００１８】
ステップ104で、オブジェクト45に対応するエッジの第1の組を取得するために、電子画像40に対してエッジ検出アルゴリズムが遂行される。ステップ104で、種々のエッジ検出アルゴリズムのうちの任意のものを利用することができる。単なる実例として、本開示の種々の実施形態において、エッジの第1の組を取得するのにガボールフィルタが利用されてよい。これらの実例では、電子画像40は濃淡画像「I」に伝送される。濃淡画像Iを処理するのに、次式を用いて、様々なサイズのガボールフィルタが畳み込みカーネルとして適用されてよく、
【００１９】
【数１】
0005755810.tif 000002
【００２０】
ここで、
x0=xcosθ+ysinθおよびy0=-xsinθ+ycosθ
であって、γは縦横比であり、θは(0°、45°、90°、および135°の値をとる)方向であり、σは有効幅であり、λは波長であり、Fs(x、y)はガボールフィルタによって位置(x、y)に形成された2次元マトリクスの値である。ガボールフィルタによって生成されるマトリクスサイズ(s×s)は、2つのピクセルの間隔の7×7ピクセルから37×37ピクセルの範囲である。エッジ検出アルゴリズムの出力(すなわちエッジの第1の組)は、次式による、電子画像40と複数のガボールフィルタの2次元の畳み込み(「conv2」)によって生成され、
【００２１】
【数２】
0005755810.tif 000003
【００２２】
ここで、
iF=(ib×ns+is)×nf+if
であって、
【００２３】
【数３】
0005755810.tif 000004
【００２４】
はエッジの第1の組であり、nb、nsおよびnfは、帯域、スケールおよびフィルタの数を意味する定数である。
【００２５】
この技法はステップ106に進み、ここで、オブジェクト45に対応するエッジの第2の組を取得するために、エッジの第1の組に対してエッジプールアルゴリズムが遂行される。エッジプールアルゴリズムは、エッジの第1の組から雑音があるエッジおよび冗長なエッジを切り捨てるために遂行される。したがって、エッジの第2の組は、このような雑音のあるエッジ/冗長なエッジが一旦除去されると、エッジの第1の組より少数になるはずである。種々の実施形態において、エッジプールアルゴリズムは、エッジの第1の組からエッジの第2の組を取得するのにMAX演算を利用する。単なる実例として、MAX演算は次式を利用することができ、
【００２６】
【数４】
0005755810.tif 000005
【００２７】
ここで、(xm、ym)は、位置(x、y)でのエッジ検出結果を意味し、
【００２８】
【数５】
0005755810.tif 000006
【００２９】
はエッジの第2の組である。MAX演算は、同一方向の同一空間の近傍内の2つのスケールに対して使用することができる。
【００３０】
1組のエッジパッチ(ステップ108)、1組の色パッチ(ステップ110)および1組のテクスチャパッチ(ステップ112)を取得するために電子画像40がサンプリングされる。「パッチ」は、電子画像40の特定位置において、複数の分解能で4つの方向にサンプリングされたピクセルの領域である。電子画像40からの例示的パッチ47-1、47-2および47-3が図2に表されている。オブジェクト45を表すパッチが十分にサンプリングされている場合には、オブジェクト45は十分に表され得る。ステップ114で、エッジパッチの組、色パッチの組およびテクスチャパッチの組から1組のパッチが選択される。これらのステップ108、110、112および114は、図1に示された特徴抽出アーキテクチャ10のスパース正則化14に対応する。スパース正則化14とは、特徴抽出のためのモデルベースのアルゴリズム20とデータ駆動型アルゴリズム30がマージされる箇所である。
【００３１】
エッジパッチ、色パッチおよびテクスチャパッチの組をそれぞれ取得するのに、種々のサンプリング技法のうち任意の1つまたは複数を、ステップ108、110および112で利用することができる。単なる実例として、エッジパッチは、エッジの第2の組からサンプリングされた任意数のピクセルであり得る。色パッチは、種々の分解能(粗い分解能、中位の分解能、微細な分解能など)でサンプリングすることができ、それだけではないが、色、色ヒストグラム、(Hチャネル、SチャネルおよびVチャネルにおける)色平均、(Hチャネル、SチャネルおよびVチャネルにおける)色分散、ならびに伸びおよび広がりなどの形状特性を含む相当量の色情報の特徴を含むことができる。テクスチャパッチは、サンプリングすることができ、それだけではないが、構造、スケール、方向、ならびに伸びおよび広がりなどの形状特性を含む相当量のテクスチャ情報を含むことができる。
【００３２】
種々の実施形態において、パッチの組を取得するためにエッジパッチ、色パッチおよびテクスチャパッチの組のそれぞれからパッチのサブセットを選択するのにユークリッド距離を用いるグリーディアルゴリズムに基づいて、パッチの組が選択される(ステップ114)。単なる実例として、パッチの組がzパッチを含んでいる場合、zパッチの第1のパッチは、ランダムに選択するか、または他の技法によって選択することができ、また、それぞれの後続のパッチ(z番目までのパッチ)は前のパッチからのユークリッド距離に基づいて選択することができる(すなわち、第2のパッチは第1のパッチに基づくものであり、第3のパッチは第2のパッチに基づくものであり、以下同様である)。これを包括的に表すと、種々の実施形態のステップ114において、(i番目+1)のパッチは、i番目のパッチからのユークリッド距離に基づいてパッチの組に入るように選択される。
【００３３】
いくつかの実施形態では、(第1のパッチを除く)各パッチは、(1)パッチの組に既に含まれているパッチではなく、(2)直前のパッチからユークリッド距離によって「最も遠い」パッチを求めることにより選択することができる。すなわち、これを包括的に表すと、ステップ114では、i番目のパッチと(i番目+1)のパッチの間のユークリッド距離が、i番目のパッチとまだパッチの組に含まれていない他のすべてのパッチの間のユークリッド距離以上である場合にパッチの組に入れるように(i番目+1)のパッチを選択する。
【００３４】
この技法はステップ116まで継続し、ここで、パッチの組に対して部分選択アルゴリズムが遂行されて部分の第1の組が取得される。部分の第1の組のそれぞれが、エッジパッチ、色パッチおよびテクスチャパッチより、オブジェクト45の大きな領域を描くことができる。いくつかの実施形態では、部分の第1の組は、この技法を訓練するのに用いられる複数の電子画像40-1、40-2 ... 40nから取得されたパッチの組のそれぞれで選択されたパッチを調べることによって取得される。選択されたパッチが、パッチの組の中で十分頻繁に現われる場合には、これらのパッチを、オブジェクト45を表す部分として選択することができる。この試験を遂行するやり方の1つに、調べられているそれぞれのトレーニング画像に関して、そのパッチの組を、前もって解析されたトレーニング画像に関するパッチのすべての記憶されている組と照合することを試みるものがある。
【００３５】
いくつかの実施形態では、パッチの組からの部分の選択は次式に基づくことができ、
【００３６】
【数６】
0005755810.tif 000007
【００３７】
ここで、βはチューニングの尖鋭度(sharpness of the tuning)であり、
【００３８】
【数７】
0005755810.tif 000008
【００３９】
はパッチの組のパッチのうちの1つであり、
【００４０】
【数８】
0005755810.tif 000009
【００４１】
はエッジ
【００４２】
【数９】
0005755810.tif 000010
【００４３】
の変換であって、すべての方向が、
【００４４】
【数１０】
0005755810.tif 000011
【００４５】
のサイズに適合するように合流される。この実例では、各プロトタイプパッチの画像のnb個の測定値が得られる。したがって、この部分選択ステップで行なわれる測定回数の合計は、パッチの組の中のパッチの数(np)に帯域の数を掛けたもの(np×nb)になる。
【００４６】
ステップ118で、部分の第2の組を取得するために、部分の第1の組に対して部分プールアルゴリズムが遂行される。部分プールアルゴリズムは、部分の第1の組から雑音がある部分および冗長な部分を切り捨てるために遂行される。したがって、部分の第2の組は、このような雑音のある部分/冗長な部分が一旦除去されると、部分の第1の組より少数になるはずである。上記で説明されたエッジプールアルゴリズム(ステップ106)に類似して、部分プールアルゴリズムは、部分の第1の組から部分の第2の組を取得するのにMAX演算を利用することができる。
【００４７】
いくつかの実施形態では、部分の第1の組のそれぞれが、4つの(または任意数の)サブ部分に分割され、すなわち、部分の第1の組の中の各部分に対応するマトリクスが、4つの(または任意数の)サブマトリクスに分割される。これらのサブ部分に対してMAX演算を遂行することができ、それによって、部分に関する情報(例えば空間的情報)の保持力が向上する。
【００４８】
この技法はステップ120まで継続し、ここで、部分の第2の組がオブジェクト45に記録される(または対応付けられる)。この記録(または対応付け)は、部分の第2の組の、この技法を訓練するのに利用された複数の電子画像40-1、40-2 ... 40nの中のオブジェクト45のサンプリングされた部分との照合の度合いに基づくものであり得る。単なる実例として、部分の第2の組のオブジェクト45への記録は、サポートベクトルマシン(「SVM」)などの監督下の学習によって遂行することができる。
【００４９】
例示的技法100の利点の1つには、大規模データセットに対する処理の規模設定が容易であることがある。上記で説明された技法100によって抽出される特徴は、互いに独立したものである。したがって、抽出された特徴の解析および適用は、分散コンピューティング環境で遂行することができる。さらに、(例えば追加のトレーニング画像を取得して解析することから)追加のパッチ、部分および他の情報が得られるので、これらのパッチ、部分および情報は、この技法の性能を改善するために、パッチ、部分などの組に簡単に追加することができる。
【００５０】
次に図4〜図5を参照すると、本開示の種々の実施形態による例示的特徴抽出技法200が示されている。特徴抽出技法200は、例えば技法のステップ104に関して上記で説明された技法の1つまたは複数によって電子画像40のオブジェクト45に対応するエッジの第1の組を求めるエッジ検出モジュール202を含む。エッジ検出モジュール202は、エッジの第1の組をエッジプールモジュール204に出力する。エッジプールモジュール204は、エッジの第1の組からエッジの第2の組を求める。エッジプールモジュール204は、それだけではないが、上記のステップ106に関して説明されたものを含む種々のエッジプールアルゴリズムのうち任意のものを遂行することができる。
【００５１】
パッチサンプリングモジュール206は、エッジプールモジュール204からのエッジの第2の組、ならびに技法200を訓練するのに用いられる複数の電子画像40-1、40-2 ... 40-nを受け取る。図5に示されるように、パッチサンプリングモジュール206は、色パッチサンプリングモジュール270、テクスチャパッチサンプリングモジュール280およびエッジパッチサンプリングモジュール290を含む。説明を容易にするために、図5では、矢印205が、エッジプールモジュール204からのエッジの第2の組の入力ならびにパッチサンプリングモジュール208への複数の電子画像40-1、40-2 ... 40-nの入力を示す。色パッチサンプリングモジュール270は、エッジの第2の組に基づいて、電子画像40-1、40-2 ... 40-nからの1組の色パッチをサンプリングする。同様に、エッジの第2の組に基づいて、電子画像40-1、40-2 ... 40-nから、テクスチャパッチサンプリングモジュール280が1組のテクスチャパッチをサンプリングし、エッジパッチサンプリングモジュール290が1組のエッジパッチをサンプリングする。次いで、色パッチの組、テクスチャパッチの組およびエッジパッチの組がパッチ選択モジュール208に供給される。
【００５２】
パッチ選択モジュール208は、例えばステップ114に関して上記で説明された技法/アルゴリズムのうちの任意ものによって、エッジパッチの組、色パッチの組およびテクスチャパッチの組から1組のパッチを選択する。次いで、選択されたパッチの組が部分選択モジュール210に供給され、部分選択モジュール210は、このパッチの組に基づいて部分の第1の組を求める。上記(ステップ116)で説明された部分選択の技法はどれでも、部分選択モジュール210によって部分の第1の組を求めるのに利用され得る。
【００５３】
部分プールモジュール212は、部分選択モジュール210から部分の第1の組を受け取り、(例えばステップ118に関して上記で説明された技法のうち任意のものによって)部分の第1の組に基づいて部分の第2の組を求める。部分プールモジュール212は、部分の第2の組をオブジェクト記録モジュール214へ出力し、オブジェクト記録モジュール214は、前述のように部分の第2の組をオブジェクト45に記録する。部分の第2の組をオブジェクト45に関連付ける記録情報は、将来用いるように、例えばデータベース250といった任意の電子記憶媒体に記憶することができる。データベース250は、コンピュータデバイス260が、例えば未知の画像に関する画像分類および物体認識をもたらすために、データベース250に記憶された記録情報および他の情報を利用することができるように、コンピュータデバイス260(パーソナルコンピュータ、サーバ、サーババンクなど)に動作可能に接続することができる。さらに、特徴抽出技法200は、コンピュータデバイス260から分離したものとして示されているが、コンピュータデバイス260と完全に、または部分的に一体化され得ることを当業者なら理解するであろう。
【００５４】
例示的実施形態は、この開示が十分であるように提供されており、当業者に対してその範囲を十分に伝えるはずである。本開示の実施形態の十分な理解を提供するために、特定の構成要素、デバイスおよび技法の実例などの多くの特定の詳細が説明されている。特定の詳細は採用しなければならないわけではなく、例示的実施形態はいろいろな形態で実施されてよく、また、いずれも本開示の範囲を限定するように解釈されるべきではないことが当業者には明らかであろう。いくつかの例示的実施形態では、周知のプロシージャ、周知のデバイス構造および周知の技術には詳細な説明はない。
【００５５】
本明細書で用いられる用語は、特定の例示的実施形態のみを説明するためのものであって、限定するようには意図されていない。単数形「1つの(a)」、「1つの(an)」、および「この(the)」は、本明細書で用いられたとき、文脈によってそうでないことが明瞭に示された場合を除けば、複数形も含むように意図されていることがある。用語「および/または」は、関連する列挙された項目の1つまたは複数のいずれか、またはすべての組合せを含む。用語「備える(comprises)」、「備える(comprising)」、「含む」、および「有する」は包括的であり、したがって、明示された特徴、整数、ステップ、演算、要素、および/または構成要素の存在を明示するが、1つまたは複数の他の特徴、整数、ステップ、演算、要素、構成要素および/またはそれらのグループの存在や追加を排除するものではない。本明細書で説明された技法のステップ、プロセス、および演算の、論じられた、または図示された特定の順番は、実行の順番として特定された場合を除けば、それらの性能にとって必須のものではないと解釈されたい。追加または代替のステップが採用されてよいことも理解されたい。
【００５６】
本明細書では、種々の要素、構成要素、領域、層および/または部分を説明するために、第1、第2、第3などの用語が用いられることがあるが、これらの要素、構成要素、領域、層および/または部分は、これらの用語によって限定されるべきではない。これらの用語は、ある要素、構成要素、領域、層または部分を、別の領域、層または部分から区別するためにのみ用いられ得る。「第1」、「第2」などの用語および他の数値的用語は、本明細書で用いられたとき、文脈によって明瞭に示された場合を除けば、順序また序列を意味するものではない。したがって、以下で論じられる第1の要素、第1の構成要素、第1の領域、第1の層または第1の部分は、例示的実施形態の教示から逸脱することなく、第2の要素、第2の構成要素、第2の領域、第2の層または第2の部分と称されることがある。
【００５７】
本明細書で用いられるモジュールという用語は、特定用途向け集積回路(ASIC)、電子回路、組合せ論理回路、フィールドプログラマブルゲートアレイ(FPGA)、コードまたはネットワーク接続されたクラスタもしくはデータセンタにおけるプロセッサと記憶デバイスの分散ネットワークによって実行されるプロセスを実行する(共用、専用、またはグループの)プロセッサ、説明された機能をもたらす他の適切な構成要素、あるいはシステムオンチップなどにおける上記のいくつかまたはすべての組合せの一部分であると称されてよく、またはこれらを含むと称されてもよい。モジュールという用語は、1つまたは複数のプロセッサによって実行されるコードを記憶する(共用、専用、またはグループの)メモリを含んでよい。
【００５８】
上記で用いられたコードという用語は、ソフトウェア、ファームウェア、バイトコードおよび/またはマイクロコードを含んでよく、また、プログラム、手順、関数、クラス、および/またはオブジェクトを指してもよい。上記で用いられた「共用の」という用語は、複数のモジュールからのいくつかまたはすべてのコードが、単一の(共用の)プロセッサを使用して実行されてよいことを意味する。それに加えて、複数のモジュールからのいくつかまたはすべてのコードが、単一の(共用の)メモリによって記憶されてよい。上記で用いられたグループという用語は、単一モジュールからのいくつかまたはすべてのコードが、プロセッサのグループを使用して実行されてよいことを意味する。それに加えて、単一モジュールからのいくつかまたはすべてのコードが、一群のメモリを使用して記憶されてよい。
【００５９】
本明細書で説明された技法は、1つまたは複数のプロセッサによって実行される1つまたは複数のコンピュータプログラムによって実施されてよい。コンピュータプログラムは、非一時的な有形のコンピュータ可読媒体に記憶されたプロセッサ実行可能命令を含んでいる。コンピュータプログラムは記憶データも含んでよい。非一時的な有形のコンピュータ可読媒体の限定的でない実例には、不揮発性メモリ、磁気記憶装置、および光学式記憶装置がある。
【００６０】
上記の説明のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号による表示に関して本明細書で説明された技法を示している。これらのアルゴリズムの記述および表現は、データ処理技術の当業者が、業務の中味を他の当業者に最も効率的に伝えるのに用いる手段である。これらの操作は、機能的に、または論理的に記述される一方で、コンピュータプログラムによって実施されるものと理解されている。さらに、操作のこれらの段取りをモジュールと称すること、または機能名で参照することは、一般性を損なうことなく、時には好都合であるとも判明している。
【００６１】
特にそれ以外の明記がない限り、上記の議論から明らかなように、説明を通じて、「処理」または「算定」または「計算」または「割出し」または「表示」などの用語を利用する議論は、コンピュータシステムのメモリもしくはレジスタまたは他のこのような情報記憶デバイス、情報伝送デバイスもしくは情報表示デバイスの内部の物理的(電子的)量として表されたデータを処理し、かつ変換するコンピュータシステムまたは類似の電子計算デバイスの作用およびプロセスを指すことが理解される。
【００６２】
説明された技法の特定の態様は、本明細書でアルゴリズムの形で説明されたプロセスステップおよび命令を含む。説明されたプロセスステップおよび命令は、ソフトウェア、ファームウェアまたはハードウェアで実施することが可能であって、ソフトウェアで実施された場合には、リアルタイムのネットワークオペレーティングシステムによって使用される様々なプラットフォームに常駐して動作するようにダウンロードされ得ることに留意されたい。
【００６３】
本開示は、本明細書の操作を遂行するための装置にも関するものである。この装置は、必要とされる目的のために特に構成されてよく、あるいは、コンピュータによるアクセスが可能なコンピュータ可読媒体に記憶されたコンピュータプログラムによって選択的に活性化されるかまたは再構成される汎用コンピュータを含んでよい。このようなコンピュータプログラムは、それだけではないが、フロッピー（登録商標）ディスク、光ディスク、CD-ROM、光磁気ディスク、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カードもしくは光カード、特定用途向け集積回路(ASIC)、または電子的命令を記憶するのに適切な、それぞれコンピュータシステムバスに結合された任意のタイプの媒体を含む任意のタイプのディスクなど、有形のコンピュータ可読記憶媒体に記憶されてよい。さらに、本明細書で参照されたコンピュータはシングルプロセッサを含んでよく、または計算能力を向上させるように複数のプロセッサ設計を採用しているアーキテクチャでもよい。
【００６４】
本明細書で提示されたアルゴリズムおよび操作は、元来、いかなる特定のコンピュータまたは他の装置にも関連するものではない。本明細書の教示に従って、種々の汎用システムがプログラムとともに用いられてよく、または、必要な技法のステップを遂行するのに、より特化された装置を構成するのが好都合であると判明することもある。いろいろなこれらのシステムに必要な構造は、等価な変形形態とともに、当業者には明らかであろう。それに加えて、本開示を説明するのに、いかなる特定のプログラミング言語も参照されていない。本明細書で説明された本開示の教示を実施するのにいろいろなプログラミング言語が用いられてよく、特定言語への何らかの参照は、本発明の可能性および最善のモードの開示のために提供されることが理解される。
【００６５】
本開示は、多数の接続形態にわたって多種多様なコンピュータネットワークシステムに適している。この分野では、大きなネットワークの構成および管理は、インターネットなどのネットワークを通じて、非類似のコンピュータおよび記憶装置に通信で結合されている記憶装置およびコンピュータを備える。
【００６６】
各実施形態の前述の説明は、例証および説明のために提供されたものである。前述の説明は、本開示を網羅したり限定したりするようには意図されていない。特定の実施形態の個々の要素または特徴は、一般に、その特定の実施形態に限定されず、特に示されたり説明されたりしなくても、適用可能な場合には互換性があり、選択された実施形態で用いることができる。特定の実施形態の個々の要素または特徴が、多くのやり方で変更されてもよい。このような変更は本開示からの離脱と見なされるべきではなく、このような修正はすべて本開示の範囲内に含まれるように意図されている。
【符号の説明】
【００６７】
202  エッジ検出モジュール
204  エッジプールモジュール
206  パッチサンプリングモジュール
208  パッチ選択モジュール
210  部分選択モジュール
212  部分プールモジュール
214  オブジェクト記録モジュール
250  データベース
260  コンピュータデバイス
270  色パッチサンプリングモジュール
280  テクスチャパッチサンプリングモジュール
290  エッジパッチサンプリングモジュール
【図１】
0005755810.tif 000012
【図２】
0005755810.tif 000013
【図３】
0005755810.tif 000014
【図４】
0005755810.tif 000015
【図５】
0005755810.tif 000016