(57)【要約】  本発明は、ホログラムまたはホログラフィック強度データの処理方法およびシステムに関する。当該システムは、伝搬空間における別個の場所のホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信するステップを含む方法を実行し、伝搬空間は、ホログラフィック強度パターンを形成する光波または照射が伝搬する三次元空間を含む。当該方法は、受信したホログラフィック強度データ内の、少なくとも１つの可能性のある注目オブジェクト（１９）の１つ以上のデータキーポイントを判定するステップと、判定された１つ以上のデータキーポイントを、オブジェクトと関連付けられた少なくとも１つの所定の伝搬空間不変オブジェクトディスクリプタと比較してマッチングを判定し、オブジェクトを識別または検出して、伝搬空間におけるその場所を判定するステップとを含む。
2015505984.tif 000002
【特許請求の範囲】
【請求項１】
ホログラフィック強度データを処理するための方法であって、
伝搬空間における別個の場所のホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信するステップを備え、前記伝搬空間は、前記ホログラフィック強度パターンの生成と関連付けられた照射が、前記ホログラフィック強度データの生成を容易にするように少なくとも伝搬する空間を含み、さらに、
受信した前記ホログラフィック強度データを処理して、受信した前記ホログラフィック強度データ内の、少なくとも１つの可能性のある注目オブジェクトの１つ以上のデータキーポイントを判定するステップと、
判定された前記１つ以上のデータキーポイントを、オブジェクトと関連付けられた少なくとも１つの所定のオブジェクトディスクリプタと比較してマッチングを判定するステップとを備え、前記オブジェクトディスクリプタは伝搬空間不変量である、方法。
【請求項２】
複数のオブジェクトディスクリプタを供給するステップを備え、各オブジェクトディスクリプタは、前記伝搬空間における複数の所望の別個の場所とそれぞれ関連付けられた複数のディスクリプタサブセットを含み、各ディスクリプタサブセットは、１つ以上のディスクリプタキーポイントを含む、請求項１に記載の方法。
【請求項３】
可能性のある注目オブジェクトの判定された１つ以上のデータキーポイントと、オブジェクトディスクリプタのディスクリプタキーポイントとのマッチング上の、前記可能性のある注目オブジェクトの識別および検出と、識別された前記オブジェクトの前記伝搬空間に対する場所の判定との１つ以上を容易にするステップを備える、請求項２に記載の方法。
【請求項４】
受信した前記ホログラフィック強度パターンと関連付けられた画素の強度値を分析することによって前記データキーポイントを判定するステップを備える、先行する請求項のうちいずれか１項に記載の方法。
【請求項５】
オブジェクトの画像を受信するステップと、
前記伝搬空間全体に亘る複数の別個の場所について、受信した前記画像に波形伝搬アルゴリズムを適用し、それにより、前記伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターンを生成するステップと、
前記伝搬空間全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定するステップと、
判定された前記ディスクリプタキーポイントおよび前記伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、前記オブジェクトと関連付けられたオブジェクトディスクリプタを生成するステップとを備える、請求項２から４のうちいずれか１項に記載の方法。
【請求項６】
前記オブジェクトの画像は、前記オブジェクトの顕微鏡画像を含む、請求項５に記載の方法。
【請求項７】
判定された前記ディスクリプタキーポイントと前記伝搬空間における対応する別個の場所とを関連付けることによって、ディスクリプタサブセットを生成するステップと、
前記オブジェクトに対応する、生成された各ディスクリプタサブセットを関連付けることによって、前記オブジェクトと関連付けられたオブジェクトディスクリプタを生成するステップと、
生成された前記オブジェクトディスクリプタをデータベースに格納するステップとを備える、請求項５または６に記載の方法。
【請求項８】
前記オブジェクトディスクリプタはさらに、スケール空間全体に亘るスケール空間不変量である、請求項５から７のうちいずれか１項に記載の方法。
【請求項９】
生成された前記ホログラフィック強度パターンの各々にぼかしアルゴリズムを適用し、それによりぼかし画像を生成することによって、前記伝搬空間全体に亘って生成された前記複数のホログラフィック強度パターンの各々についてスケール空間を生成するステップと、
生成された前記ぼかし画像間の差異を、互いから減算することによって判定するステップと、
極値のスケール不変キーポイントを判定された前記差異に配置するステップと、
前記スケール不変キーポイントを用いて、スケール空間不変オブジェクトディスクリプタを生成するステップとを備える、請求項８に記載の方法。
【請求項１０】
受信した前記ホログラフィック強度データに復元アルゴリズムを適用して、受信した前記ホログラフィック強度データを、マッチングするキーポイントと関連付けられた前記伝搬空間における別個の場所に復元すること、
前記伝搬空間におけるこの場所のキーポイントを導出すること、および
導出された新たな前記キーポイントを、前記データベース内の前記オブジェクトディスクリプタと比較して、マッチングの信頼度を高めること
によって、前記マッチングの精度を判定するステップを備える、先行する請求項のうちいずれか１項に記載の方法。
【請求項１１】
ホログラフィック強度データを処理するためのシステムであって、
データを格納するデータベースと、
伝搬空間における別個の場所のホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信するように構成されたデータレシーバモジュールとを備え、前記伝搬空間は、前記ホログラフィック強度パターンの生成と関連付けられた照射が、前記ホログラフィック強度データの生成を容易にするように少なくとも伝搬する空間を含み、さらに、
受信した前記ホログラフィック強度データを処理して、受信した前記ホログラフィック強度データ内の、少なくとも１つの可能性のある注目オブジェクトの１つ以上のデータキーポイントを判定するように構成されたデータキーポイント抽出モジュールと、
判定された前記１つ以上のデータキーポイントを、前記データベースに格納され、かつオブジェクトと関連付けられた、少なくとも１つの所定のオブジェクトディスクリプタと比較してマッチングを判定するように構成されたコンパレータモジュールとを備え、前記オブジェクトディスクリプタは伝搬空間不変量である、システム。
【請求項１２】
前記データベースは複数のオブジェクトディスクリプタを格納し、各オブジェクトディスクリプタは、前記伝搬空間における複数の所望の別個の場所とそれぞれ関連付けられた複数のディスクリプタサブセットを含み、各ディスクリプタサブセットは、１つ以上のディスクリプタキーポイントを含む、請求項１１に記載のシステム。
【請求項１３】
可能性のある注目オブジェクトの判定された１つ以上のデータキーポイントと、前記データベースに格納されたオブジェクトディスクリプタのディスクリプタキーポイントとの、前記コンパレータモジュールによって判定されたマッチング上の、前記可能性のある注目オブジェクトの識別および検出と、識別された前記オブジェクトの前記伝搬空間に対する場所の判定との１つ以上を実行するように構成された分類器モジュールを備える、請求項１２に記載のシステム。
【請求項１４】
前記データキーポイント抽出モジュールは、受信した前記ホログラフィック強度パターンと関連付けられた画素の強度値を分析することによって前記データキーポイントを判定するように構成される、請求項１１から１３のうちいずれか１項に記載のシステム。
【請求項１５】
ディスクリプタ判定モジュールを備え、前記ディスクリプタ判定モジュールは、
オブジェクトの画像を受信するように構成されたトレーニングデータレシーバモジュールと、
前記伝搬空間全体に亘る複数の別個の場所について、受信した前記画像に波形伝搬アルゴリズムを適用し、それにより、前記伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターンを生成するように構成された波形伝搬モジュールと、
前記伝搬空間全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定するように構成されたトレーニングキーポイント抽出モジュールとを含み、
前記ディスクリプタ判定モジュールは、判定された前記ディスクリプタキーポイントおよび前記伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、前記オブジェクトと関連付けられたオブジェクトディスクリプタを生成するように構成される、請求項１２から１４のうちいずれか１項に記載のシステム。
【請求項１６】
前記オブジェクトの画像は、前記オブジェクトの顕微鏡画像を含む、請求項１５に記載のシステム。
【請求項１７】
前記ディスクリプタ判定モジュールは、
判定された前記ディスクリプタキーポイントと前記伝搬空間における対応する別個の場所とを関連付けることによって、オブジェクトディスクリプタサブセットを生成し、
前記オブジェクトに対応する、生成された各ディスクリプタサブセットを関連付けることによって、前記オブジェクトと関連付けられたオブジェクトディスクリプタを生成し、
生成された前記オブジェクトディスクリプタを前記データベースに格納するように構成される、請求項１５に記載のシステム。
【請求項１８】
前記オブジェクトディスクリプタはさらに、スケール空間不変量であり、前記ディスクリプタ判定モジュールは、
生成された前記ホログラフィック強度パターンの各々にぼかしアルゴリズムを適用し、それによりぼかし画像を生成することによって、前記伝搬空間全体に亘って生成された前記複数のホログラフィック強度パターンの各々についてスケール空間を生成し、
生成された前記ぼかし画像間の差異を、互いから減算することによって判定し、
極値のスケール不変キーポイントを判定された前記差異に配置し、
前記スケール不変キーポイントを用いて、スケール空間不変オブジェクトディスクリプタを生成するように構成される、請求項１５から１７のうちいずれか１項に記載のシステム。
【請求項１９】
前記分類器モジュールは、
受信した前記ホログラフィック強度データに復元アルゴリズムを適用して、受信した前記ホログラフィック強度データを、マッチングするキーポイントと関連付けられた前記伝搬空間における別個の場所に復元するステップ、
前記伝搬空間におけるこの場所のキーポイントを導出するステップ、および
導出された前記キーポイントを前記オブジェクトディスクリプタと比較して、マッチングを判定するステップ
を少なくとも実行することによって、前記マッチングの精度を判定するように構成される、請求項１３に記載のシステム。
【請求項２０】
ホログラフィック強度データ取込手段を備え、前記ホログラフィック強度データ取込手段は、
照射を生成するように構成された照射手段と、
前記照射手段から所定の距離に配置された空間フィルタとを含み、前記空間フィルタは、前記照射手段からの照射を通過させるために、少なくとも１つの照射開口を含み、前記ホログラフィック強度データ取込手段はさらに、
前記空間フィルタから所定の距離に取外し可能に配置可能なサンプルホルダを含み、前記サンプルホルダは、前記照射開口からの照射の前記伝搬空間に物質のサンプルを保持するように構成され、前記ホログラフィック強度データ取込手段はさらに、
前記サンプルホルダからの照射の前記伝搬空間において前記サンプルホルダから所定の距離に配置された画像記録手段を含み、前記画像記録手段は、前記サンプルホルダ内の物質のデジタルホログラフィック強度パターンを少なくとも生成するように構成される、請求項１１から１９のうちいずれか１項に記載のシステム。
【請求項２１】
コンピューティング装置によって実行されると以下のステップを含む方法を前記コンピューティング装置に行わせる一組の命令を含む、非一時的なコンピュータ読取可能な記憶媒体であって、以下のステップとは、
伝搬空間における別個の場所のホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信するステップであり、前記伝搬空間は、前記ホログラフィック強度パターンの生成と関連付けられた照射が、前記ホログラフィック強度データの生成を容易にするように少なくとも伝搬する空間を含み、以下のステップはさらに、
受信した前記ホログラフィック強度データを処理して、受信した前記ホログラフィック強度データ内の、少なくとも１つの可能性のある注目オブジェクトの１つ以上のデータキーポイントを判定するステップと、
判定された前記１つ以上のデータキーポイントを、オブジェクトと関連付けられた少なくとも１つの所定のオブジェクトディスクリプタと比較してマッチングを判定するステップとであり、前記オブジェクトディスクリプタは伝搬空間不変量である、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の背景
本発明は、ホログラム処理方法およびシステムに関する。
【背景技術】
【０００２】
デジタルホログラフィック顕微鏡法（オフアキシス（ｏｆｆ−ａｘｉｓ）、インライン等）などのホログラフィック用途では、光源からの参照波および物体波の干渉によって注目オブジェクトのホログラムが記録手段（たとえばＣＣＤまたはＣＭＯＳ記録手段）の表面上に生成される。結果として得られるオブジェクトのホログラム、特にホログラムを表わすホログラフィック強度パターンを次いで用いて、当初のオブジェクトの位置にオブジェクトの仮想画像が復元される。これらの復元仮想画像は次いで従来のやり方で分析され、オブジェクト、たとえばオブジェクトの特性が調査される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ホログラフィック強度パターンはそれぞれのオブジェクトと関連付けられた大量の情報を典型的に含むが、この情報は活用されないことが多いか、または十分に活用されない。したがって、本発明の目的は、この状況に少なくとも対処することである。
【課題を解決するための手段】
【０００４】
発明の概要
発明の第１の局面によれば、方法が提供され、当該方法は、伝搬空間における別個の場所のホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信するステップを含み、伝搬空間は、ホログラフィック強度パターンの生成と関連付けられた照射が、ホログラフィック強度データの生成を容易にするように少なくとも伝搬する空間、たとえば３次元空間を含み、さらに、受信したホログラフィック強度データを処理して、受信したホログラフィック強度データ内の、少なくとも１つの可能性のある注目オブジェクトの１つ以上のデータキーポイントを判定するステップと、判定された１つ以上のデータキーポイントを、オブジェクトと関連付けられた少なくとも１つの所定のオブジェクトディスクリプタと比較してマッチングを判定するステップとを含み、オブジェクトディスクリプタは伝搬空間不変量である。
【０００５】
当該方法は、複数のオブジェクトディスクリプタを供給するステップを含んでもよく、各オブジェクトディスクリプタは、伝搬空間における複数の所望の別個の場所とそれぞれ関連付けられた複数のディスクリプタサブセットを含んでもよく、各ディスクリプタサブセットは、１つ以上のディスクリプタキーポイントを含んでもよい。
【０００６】
言い換えて定義すると、キーポイントは伝搬空間に亘って収集されてもよく、したがって伝搬空間にローカライズされる。収集されたキーポイントは、注目オブジェクトについてのオブジェクトディスクリプタを形成し得る。したがって、オブジェクトディスクリプタは伝搬空間不変量となり、伝搬空間不変のやり方で注目オブジェクトの検出および／または識別を可能にし得る一方、検出につながるキーポイントのサブセットは、伝搬空間における注目オブジェクトのローカリゼーションを追加的に可能にし得る。
【０００７】
当該方法は、可能性のある注目オブジェクトの判定されたデータキーポイントと、オブジェクトディスクリプタのディスクリプタキーポイントとのマッチング上の、可能性のある注目オブジェクトの識別と、識別されたオブジェクトの伝搬空間に対する場所の判定との一方または両方を容易にするステップを含んでもよい。
【０００８】
当該方法は、受信したホログラフィック強度パターンと関連付けられた画素の強度値を分析することによってデータキーポイントを判定するステップを含んでもよい。
【０００９】
当該方法は、オブジェクトの画像を受信するステップと、伝搬空間全体に亘る複数の別個の場所について、受信した画像に波形伝搬アルゴリズムを適用し、それにより、伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターンを生成するステップと、伝搬空間全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定するステップと、判定されたディスクリプタキーポイントおよび伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、オブジェクトと関連付けられたオブジェクトディスクリプタを生成するステップとを含んでもよい。
【００１０】
なお、複数の生成されたホログラフィック強度パターンは、波形伝搬方程式によって人為的に生成してもよい。当該方法は、人為的なホログラムを自動的に生成してトレーニングすることを含むが、いくつかの実施形態例では、当該方法は、複数の物理的なホログラムを手作業で生成してトレーニングすることによって、オブジェクトディスクリプタ判定のためのディスクリプタキーポイントを判定することを含んでもよいと認識される。
【００１１】
オブジェクトの画像は、オブジェクトの顕微鏡画像を含んでもよい。
当該方法はさらに、判定されたディスクリプタキーポイントと伝搬空間における対応する別個の場所とを関連付けることによって、オブジェクトディスクリプタサブセットを生成するステップと、オブジェクトに対応する、生成された各ディスクリプタサブセットを関連付けることによって、オブジェクトと関連付けられたオブジェクトディスクリプタを生成するステップと、生成されたオブジェクトディスクリプタをデータベースに格納するステップとを含んでもよい。
【００１２】
一実施形態例では、オブジェクトディスクリプタはさらに、スケール空間不変量であり、当該方法はしたがって、生成されたホログラフィック強度パターンの各々にぼかしアルゴリズムを適用し、それによりぼかし画像を生成することによって、伝搬空間全体に亘って生成された複数のホログラフィック強度パターンの各々についてスケール空間を生成するステップと、生成されたぼかし画像間の差異を、互いから減算することによって判定するステップと、極値のスケール不変キーポイントを判定された差異に配置するステップと、スケール不変キーポイントを用いて、スケール空間不変オブジェクトディスクリプタを生成するステップとを含んでもよい。
【００１３】
なお、当該方法は、受信したホログラフィック強度データに復元アルゴリズムを適用して、受信したホログラフィック強度データを、マッチングするキーポイントと関連付けられた伝搬空間における別個の場所に復元すること、伝搬空間におけるこの場所のキーポイントを導出すること、および導出された新たなキーポイントをオブジェクトディスクリプタと比較してマッチングの信頼度を判定することによって、マッチングの精度を判定するステップを含んでもよい。
【００１４】
一実施形態例では、当該方法は、ホログラフィック強度データを取込むステップを含んでもよい。
【００１５】
発明の第２の局面によれば、ホログラフィック強度データを処理するためのシステムが提供され、当該システムは、データを格納するデータベースと、伝搬空間における別個の場所のホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信するように構成されたデータレシーバモジュールとを含み、伝搬空間は、ホログラフィック強度パターンの生成と関連付けられた照射が、ホログラフィック強度データの生成を容易にするように少なくとも伝搬する三次元空間を含み、当該システムはさらに、受信したホログラフィック強度データ内の、少なくとも１つの可能性のある注目オブジェクトの１つ以上のデータキーポイントを判定するように構成されたデータキーポイント抽出モジュールと、判定された１つ以上のデータキーポイントを、データベースに格納され、かつオブジェクトと関連付けられた、少なくとも１つの所定のオブジェクトディスクリプタと比較してマッチングを判定するように構成されたコンパレータモジュールとを含み、オブジェクトディスクリプタは伝搬空間不変量である。
【００１６】
データベースは複数のオブジェクトディスクリプタを格納してもよく、各オブジェクトディスクリプタは、伝搬空間における複数の所望の別個の場所とそれぞれ関連付けられた複数のディスクリプタサブセットを含んでもよく、各ディスクリプタサブセットは、１つ以上のディスクリプタキーポイントを含んでもよい。各ディスクリプタサブセットは、伝搬空間における関連付けられた別個の場所を示す情報を含んでもよい。
【００１７】
当該システムは、可能性のある注目オブジェクトの判定されたデータキーポイントと、オブジェクトディスクリプタのディスクリプタキーポイントとの、コンパレータモジュールによって判定されたマッチング上の、可能性のある注目オブジェクトの識別と、識別されたオブジェクトの伝搬空間に対する場所の判定との一方または両方を実行するように構成された分類器モジュールを含んでもよい。
【００１８】
キーポイント抽出モジュールは、受信したホログラフィック強度パターンと関連付けられた画素の強度値を分析することによってデータキーポイントを判定するように構成されてもよい。
【００１９】
当該システムは、ディスクリプタ判定モジュールを含んでもよく、ディスクリプタ判定モジュールは、オブジェクトの画像を受信するように構成されたトレーニングデータレシーバモジュールと、伝搬空間全体に亘る複数の別個の場所について、受信した画像に波形伝搬アルゴリズムを適用し、それにより、伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターンを生成するように構成された波形伝搬モジュールと、伝搬空間全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定するように構成されたトレーニングキーポイント抽出モジュールとを含み、ディスクリプタ判定モジュールは、判定されたディスクリプタキーポイントおよび伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、オブジェクトと関連付けられたオブジェクトディスクリプタを生成するように構成される。
【００２０】
ディスクリプタ判定モジュールは、判定されたディスクリプタキーポイントと伝搬空間における対応する別個の場所とを関連付けることによって、オブジェクトディスクリプタサブセットを生成し、オブジェクトに対応する、生成された各ディスクリプタサブセットを関連付けることによって、オブジェクトと関連付けられたオブジェクトディスクリプタを生成し、生成されたオブジェクトディスクリプタをデータベースに格納するように構成されてもよい。
【００２１】
一実施形態例では、ディスクリプタ判定モジュールは、生成されたホログラフィック強度パターンの各々にぼかしアルゴリズムを適用し、それによりぼかし画像を生成することによって、伝搬空間全体に亘って生成された複数のホログラフィック強度パターンの各々についてスケール空間を生成し、生成されたぼかし画像間の差異を、互いから減算することによって判定し、極値のスケール不変キーポイントを判定された差異に配置し、スケール不変キーポイントを用いて、スケール空間不変オブジェクトディスクリプタを生成するように構成されてもよい。
【００２２】
オブジェクトは、伝搬空間全体に亘って形状および他の仮想特性が異なってもよく、サイズが異なってもよい。本発明は、特に伝搬空間全体に亘る変化に有利に対処する。顕微鏡スケールのオブジェクトについては、伝搬空間全体に亘るオブジェクト特性の変化がサイズの変化よりも通常は大きい。
【００２３】
分類器モジュールは、受信したホログラフィック強度データに復元アルゴリズムを適用して、受信したホログラフィック強度データを、マッチングするキーポイントと関連付けられた伝搬空間における別個の場所に復元するステップ、伝搬空間におけるこの場所のキーポイントを導出するステップ、および導出されたキーポイントをオブジェクトディスクリプタと比較して、マッチングを判定するステップを少なくとも実行することによって、マッチングの精度を判定するように構成されてもよい。
【００２４】
当該システムはさらに、ホログラフィック強度データ取込手段を含んでもよい。
ホログラフィック強度データ取込手段は、照射を生成するように構成された照射手段と、照射手段から所定の距離に配置された空間フィルタとを含み、空間フィルタは、照射手段からの照射を通過させるために、少なくとも１つの照射開口を含み、ホログラフィック強度データ取込手段はさらに、空間フィルタから所定の距離に取外し可能に配置可能なサンプルホルダを含み、サンプルホルダは、照射開口からの照射の伝搬空間に物質のサンプルを保持するように構成され、ホログラフィック強度データ取込手段はさらに、サンプルホルダからの照射の伝搬空間においてサンプルホルダから所定の距離に配置された画像記録手段を含み、画像記録手段は、サンプルホルダ内の物質のデジタルホログラフィック強度パターンを少なくとも生成するように構成されてもよい。
【００２５】
発明の第３の局面によれば、コンピューティング装置によって実行されると上記のような方法のステップをコンピューティング装置に行わせる一組のコンピュータ読取可能な命令を含む、非一時的なコンピュータ読取可能な媒体が提供される。
【図面の簡単な説明】
【００２６】
【図１】発明の実施形態例に係るホログラフィック強度データを処理するためのシステムの概略ブロック図である。
【図２】発明の実施形態例に係るホログラフィック強度データ取込手段を示す図である。
【図３（ａ）】複数のオブジェクトを含むサンプルの当初の画像例を示す図である。
【図３（ｂ）】生成されたホログラフィック強度パターンの画像を示す図である。
【図３（ｃ）】（ｂ）のホログラフィック強度パターンの復元画像を示す図である。
【図４】実施形態例に係るヒストグラムを示す図である。
【図５】実施形態例に係るベクトルの場所を示すディスクを示す図である。
【図６】実施形態例に係るホログラフィック強度データを処理する方法のハイレベルフローチャートの図である。
【図７】実施形態例に係る方法の別のフローチャートの図である。
【図８】実施形態例に係る方法のさらに別のフローチャートの図である。
【図９】以下で論じる方法のいずれか１つ以上をマシンに行わせるための一組の命令が実行され得るコンピュータシステムの形態例におけるマシンの模式図である。
【発明を実施するための形態】
【００２７】
好ましい実施形態の説明
以下の説明では、本開示の実施形態の十分な理解をもたらすために、多くの具体的な詳細を説明の目的で記載する。しかし、本開示はこれらの具体的な詳細なしに実施され得ることが当業者にとっては明白となる。
【００２８】
発明の実施形態例に係るシステムが全体的に参照番号１０で示される図面の図１を参照する。システム１０は、典型的に、たとえばデジタルホログラフィック顕微鏡法で注目オブジェクトを識別する目的で、さまざまな用途でホログラフィック強度データを処理するための処理システム１０である。
【００２９】
システム１０は、非一時的データを格納するデータベースまたはメモリ装置１２を含む。データベース１２は、１つ以上の場所に配置されているが互いにデータ通信して情報をデジタルに記憶するための手段を提供する１つ以上の好適な装置であってもよい。
【００３０】
なお、システム１０は、コンピュータによって実現または作動されるシステムであってもよく、非一時的なコンピュータ読取可能な媒体、たとえば本明細書に記載されるシステム１０の動作を指示する命令またはソフトウェアを格納するデータベース１２を有する１つ以上のプロセッサを含んでもよい。本明細書に開示される方法を参照して説明されるステップは、本明細書に記載される説明と関連付けられた１つ以上の処理ステップの適用によって典型的に実現される。
【００３１】
言い換えて定義すると、システム１０は、システム１０によって行われる機能的タスクに対応する複数の構成要素またはモジュールを含む。明細書の文脈における「モジュール」という用語は、特定の機能、動作、処理、または処理手順を実現するためにコード、計算可能もしくは実行可能な命令、データ、または計算可能なオブジェクトの識別可能な部分を含むものと理解される。したがって、モジュールはソフトウェアで実装する必要はなく、モジュールはソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組合せで実装してもよい。さらに、モジュールは、必ずしも１つの装置に一体化する必要はなく、複数の装置に亘って分散されてもよい。いくつかのモジュールは機能の面で重複してもよく、実際には１つのモジュールを含んでもよい。しかし、説明を簡単にするために、それらは場合によっては別個に説明および参照される。
【００３２】
図２および図３を参照して、システム１０は、例を図３（ｂ）に示すホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信するように構成されたデータレシーバモジュール１４を含む。簡潔にするために、説明では、「ホログラム」、「ホログラフィック強度パターン」および「ホログラフィック画像」という用語は同じものを指すと理解される。
【００３３】
一実施形態例では、データレシーバモジュール１４は、図２に示されるホログラフィック強度データ取込手段１６からホログラフィック強度データを受信するように構成されてもよく、手段１６はホログラフィック強度データを取込むように構成される。したがって、モジュール１４は、配線によってまたは無線通信チャネルを介して無線で、データ取込手段１６とデータ通信する。ホログラフィック強度パターンは、複数の注目オブジェクト１９、たとえば血球を内部に含む注目物質と典型的に関連付けられる。いくつかの実施形態例では、システム１０はデータ取込手段１６を任意に含んでもよく、システム１０はそれによってインライン（または場合によってはオフアキシス）デジタルホログラフィック顕微鏡システムを含むと理解される。
【００３４】
図２において、データ取込手段１６は、照射を生成するように構成された照射手段または照射源１８を含む。照射手段１８は、ダイオード光源、たとえば赤外線レーザダイオード（８０８ｎｍ）またはブルーレーザダイオード（４０８ｎｍ）を含む。平面空間フィルタ２０は、照射手段から所定の距離に配置され、空間フィルタ２０は、照射手段１８からの照射を通過させるために、直径がおよそ５０μｍの少なくとも１つの円形の照射開口２０．１を含む。照射開口２０．１の形状および／または寸法は、照射手段１８からの光または照射のコリメーションを向上させるように有利に選択される。換言すると、開口２０．１の機能は、光波がオブジェクトと相互作用する前に平行ビームを生成することである。
【００３５】
フィルタ２０は、照射手段１８からの照射の伝搬方向を横切って配置される。開口２０．１から発せられた照射は、伝搬空間Ｚを伝搬する回折光波を典型的に含む。伝搬空間Ｚは、手段１８からの光またはフィルタ２０からの回折光が伝搬してホログラムの生成を容易にする空間として大まかに規定され得る。伝搬空間Ｚは、三次元物理空間であってもよい。しかし本記載では、伝搬空間Ｚは照射手段１８からの照射または光波の伝搬の主軸に平行な１つの次元に対応してもよく、これはＺでパラメータ表示することができる。
【００３６】
伝搬空間は、特定のシステム１０または手段１６と一意に関連付けられ得る。
いずれにせよ、手段１６は、空間フィルタ２０から所定の距離に取外し可能に配置可能なサンプルホルダ２２をさらに含み、サンプルホルダ２２は、照射開口２０．１からの照射の伝搬空間Ｚに物質のサンプルを保持するように構成される。スライド内の物質は、注目オブジェクト１９、たとえば血球を典型的に含む。サンプルホルダ２２は、ガラスで構成される透明な顕微鏡スライドを含んでもよい。
【００３７】
最後に、手段１６は、サンプルホルダ２２からの照射の伝搬空間Ｚにおいてサンプルホルダ２２から所定の距離に配置された画像記録手段または画像センサ２４を含む。画像記録手段２４は、伝搬空間Ｚ全体に亘って手段１８からその上への照射の入射に応答してサンプルホルダ２２内の物質のデジタルホログラフィック強度パターンを少なくとも生成するように典型的に構成される。したがって、手段２４は、照射伝搬空間Ｚを実質的に横切って配備される電荷結合素子（ＣＣＤ）または好ましくは相補型金属酸化膜半導体（ＣＭＯＳ）画像センサから選択されてもよい。
【００３８】
言い換えて定義すると、伝搬空間Ｚは、手段１８からの照射もしくは光波またはフィルタ２０からの回折光がサンプルホルダ１８中のサンプルを通って伝搬し、手段２４に達してサンプルホルダ１８中のサンプルのホログラムを形成する空間である。
【００３９】
手段１６は典型的にレンズがなく、ＣＭＯＳ画像センサによって生成されたデジタルホログラフィック強度パターンは、ホログラフィック強度データと関連付けられた、画素強度等のパラメータに対応する画素値を有する画素のマトリックスを含んでもよい。いくつかの実施形態例では、画素値は、画像強調の目的で１つ以上の隣接画素の値から算出され得る。なお、画素値をより良く推定するには、隣接画素からの情報を使用することができる。超解像技術によってさらなる精度を実現することができる。この場合、超解像技術は、照射手段１８とセンサまたは画像記録手段２４との間の（単独でまたはともに）変化する位相、波長、および相対的な空間移動に基づくことができる。
【００４０】
いずれにせよ、図１に戻って、モジュール１４によって受信されたホログラフィック強度パターンは、伝搬空間Ｚ内の１つの別個の場所に実質的に対応する。
【００４１】
システム１０はさらに、受信したホログラフィック強度パターンを処理し、受信したホログラフィック強度画像内の少なくとも１つの可能性のある注目オブジェクトの１つ以上のデータキーポイントを判定するように構成されたデータキーポイント抽出モジュール２６を含む。一実施形態例では、モジュール２６は、受信したホログラフィック強度画像の画素を横断し、注目強度値を有する画素、たとえば従来のやり方で極大および極小位置の配置等を選択する。なお、判定されたデータキーポイントは、モジュール２６によって選択された１つ以上の注目画素に対応する。いくつかの実施形態例では、極値点はスケール空間を介して２つの隣接するスナップショットの相違から抽出されてもよい。これにより、検出されるキーポイントの数がより顕著なものに減少され得る。
【００４２】
システム１０はさらに、判定された１つ以上のデータキーポイントを、データベース１２に格納された複数の所定のオブジェクトディスクリプタと比較してマッチングを判定するように構成されたコンパレータモジュール２８を含む。各オブジェクトディスクリプタは、特定のオブジェクト、たとえば白血球などの血球と関連付けられる。さらに、より重要なことに、オブジェクトディスクリプタは有利には伝搬空間Ｚ不変量である。この目的で、オブジェクトに対応する各オブジェクトディスクリプタは、複数のディスクリプタサブセットを典型的に含み、各ディスクリプタサブセットは、ディスクリプタキーポイントと、伝搬空間Ｚにおける関連付けられた別個の場所を示す情報とを少なくとも含む。
【００４３】
ディスクリプタキーポイントは、構成の面でデータキーポイントと同様であってもよく、したがって、注目画素と関連付けられたデータ、たとえば画素強度値をさらに含んでもよい。コンパレータモジュール２８はしたがって、可能性のある注目オブジェクトの判定されたデータキーポイントをオブジェクトディスクリプタのディスクリプタキーポイントと比較してマッチングまたは実質的なマッチングを少なくとも判定するように構成されてもよい。コンパレータモジュール２８は、実質的なマッチングを判定するために、判定されたデータキーポイントをデータベース１２に格納されたすべてのオブジェクトディスクリプタのディスクリプタキーポイントと比較すると認識される。
【００４４】
システム１０は、受信したホログラムと関連付られた画素または画素と関連付けられた情報を本質的に処理するが、説明を簡単にするために、１つ以上の注目画素、または注目画素と関連付けられた情報を含むキーポイントおよび注目領域について述べる。
【００４５】
一実施形態例では、各ディスクリプタキーポイントは、たとえば、伝搬空間Ｚ全体に亘るその特定の別個の場所または点におけるディスクリプタキーポイントと関連付けられた画素強度値を格納するベクトルを含む。したがって、ディスクリプタサブセットは、キーポイントと関連付けられたベクトルを含み得るが、それぞれのキーポイントと関連付けられた伝搬空間Ｚ内の別個の場所を示す情報をさらに含む。言い換えて定義すると、伝搬空間不変オブジェクトディスクリプタはディスクリプタキーポイントのディスクリプタサブセットを含み、各ディスクリプタサブセットは伝搬空間内の別個の場所から導出されると理解される。データベース１２内で特定のディスクリプタサブセットとのマッチングがある場合、このディスクリプタサブセットは伝搬空間内の場所を示す。ゆえに、オブジェクトディスクリプタまたはオブジェクトディスクリプタベクトルにおいて、サブセットは、（所望の伝搬空間の寸法に応じて）ベクトル内の第１の要素のうちのディスクリプタサブセットが伝搬空間の一端に対応し、ベクトルの端におけるディスクリプタサブセットが伝搬空間の他端に対応するように順序付けることもできる。
【００４６】
しかし、計算上のリソースおよび効率などのさまざまな要因に依存して、各キーポイントはベクトルを含む必要がなく、１つの画素値、または平均値等を含み得ると認識される。
【００４７】
いずれにせよ、伝搬空間Ｚ内のさまざまな別個の場所について複数のディスクリプタサブセットを有するようにオブジェクトディスクリプタをトレーニングすることによって、結果として得られるオブジェクトディスクリプタを伝搬空間Ｚに対して有利には不変量とすることができる。トレーニングは通常、同一または同様の手段１６を用いて行われ、手段１６は次に識別および／または検出を実行する。
【００４８】
システム１０は、コンパレータモジュール２８によって判定されたマッチング上の、受信されたホログラフィック強度パターン内の可能性のある注目オブジェクト１９を識別するように構成された分類器モジュール３０を典型的に含む。
【００４９】
当然の結果、分類器モジュール３０は、モジュール２８によるマッチング上の、伝搬空間Ｚに対する、識別されたオブジェクトの別個の場所を判定するようにも構成される。ディスクリプタサブセット内のディスクリプタキーポイントは、伝搬空間Ｚ内のそれぞれの別個の場所と関連付けられるからである。この後者は、伝搬空間Ｚの離散化によって可能となる解像度内で行われ得る。実際の用途では、これは、ホログラフィック復元によって再び合焦させサーチして第一にオブジェクトを見つける必要なしに、ホログラム（ホログラフィック強度データ）の１つのスナップショットからオブジェクトを識別することが可能となることによって、検出速度が向上することを意味する。
【００５０】
オブジェクトディスクリプタの判定は、注目オブジェクトの識別のためにシステム１０を作動する前に行われてもよい。
【００５１】
この点に関して、システム１０は、上記したやり方でシステム１０によって使用されるオブジェクトディスクリプタを生成するように構成されたディスクリプタ判定モジュール３２を含む。オブジェクトディスクリプタはシステム１０によって生成される必要はなく、外部で生成され、かつシステム１０によって使用されるだけでもよいことが理解される。
【００５２】
特に、モジュール３２はさらに、オブジェクトの画像を受信するように構成されたトレーニングデータレシーバモジュール３４を含む。この場合、モジュール３４によって受信された画像は従来の顕微鏡画像、たとえば図３（ａ）に示されるような画像であって、ホログラムではない。いくつかの実施形態例では、モジュール３４は、従来の画像と同様のやり方で使用されるように復元され得るホログラムを受信する。
【００５３】
モジュール３２はさらに、モジュール３４によって受信された画像に波形伝搬アルゴリズムを適用して、伝搬空間Ｚ全体に亘る異なる別個の場所に対応する複数のホログラフィック強度パターンを生成するように構成された波形伝搬モジュール３６を含む。特に、モジュール３６は、伝搬空間Ｚを離散化し、離散化された伝搬空間Ｚ全体に亘る各所望の別個の場所について波形伝搬アルゴリズムを適用することにより、伝搬空間Ｚ内の別個の場所にホログラムを生成するように構成される。
【００５４】
モジュール３６は、たとえば計算上の効率、解像度、および精度の点などの基準に依存して、上記の目的で伝搬空間を所定数の場所またはゾーンに離散化するように構成され得る。この目的で、モジュール３２は少なくとも伝搬空間Ｚの寸法を示す情報を受信するように有利に構成されると解釈される。
【００５５】
好ましい実施形態例では、波形伝搬アルゴリズムは、以下の波形伝搬式（１）によって説明される方法を典型的に行うかまたは適用する：
【００５６】
【数１】
2015505984.tif 000003
【００５７】
順方向では、ホログラム生成に使用される場合、撮像／センサ面において形成された複雑な回折パターンであるＩ（α′，β′）が式１によって得られる。
‐この複雑な回折パターンは、次いで参照波と組合わせられ、ホログラフィック強度パターンが得られる。
‐次いでｈ（ｘ，ｙ）が注目オブジェクトの画像として処理される。
‐ＥＲ（ｘ，ｙ）は参照波である。
‐ｒ′は、オブジェクトの面内の点から、ホログラムを形成するのに使用される複雑な回折パターンの面内の点までの直線距離である。
‐λは光源波長である。
‐ｚは伝搬軸である。
‐（ｘ，ｙ）は、オブジェクトが存在する面である。
‐（α′，β′）は、ホログラムを形成するのに使用される回折図形が存在する面である。
【００５８】
逆方向では、オブジェクトの復元に使用される場合、当初のオブジェクトがあった場所での注目オブジェクトの復元であるＩ（α′，β′）が式１によって得られる。
‐次いでｈ（ｘ，ｙ）がホログラフィック強度パターンとして処理される。
‐ＥＲ（ｘ，ｙ）は参照波である。
‐ｒ′は、ホログラムの面内の点から注目オブジェクトの面内の点までの直線距離である。
‐λは光源波長である。
‐ｚは伝搬軸である。
‐（ｘ，ｙ）は、ホログラムが存在する面である。
‐（α′，β′）は注目オブジェクトが存在する面である。
【００５９】
式（１）は、モジュール３４によって受信された画像を入力として、ホログラフィック強度パターンまたは伝搬空間Ｚ全体に亘る特定の別個の場所に対応するスナップショットを生成するためにモジュール３６によって使用される。
【００６０】
オブジェクトディスクリプタを判定する文脈での伝搬空間Ｚは、オブジェクトを識別することに関して上記した説明と実質的に同様であると理解される。換言すると、オブジェクトディスクリプタを判定する際に使用される同じハードウェアセットアップは、オブジェクトを識別する際に使用されるハードウェアセットアップと理想的には実質的に同様であってもよく、このように、伝搬空間Ｚの容積はシステム１０によって認識される。
【００６１】
モジュール３６によって使用される式（１）の選択に関し、波形伝搬式（１）はある意味ではレンズとして機能すると解釈される。これによりオブジェクトを合焦させる。（典型的なレンズでのように）オブジェクトが合焦すると、光波が合焦点と一致させられる一方、他の点では、光波は互いに様々な分離度で存在する。これは、埋込まれた位相情報によって深さの復元が可能になるためであり、異なる距離にあるオブジェクトを分離することができることを意味する。
【００６２】
別の重要な点は、式（１）が、三次元伝搬空間内の任意の点におけるすべての光波の関係を説明していることである。伝搬光のサンプルが三次元空間のいくつかの点において取込まれた場合、式（１）により、別の場所における点の復元が可能となる。
【００６３】
換言すると、波形伝搬式（１）は、伝搬空間Ｚを通る光波の関係を第１に維持し、第２にレンズとして機能（または光波上で変形）し、光波を互いに分離し（またはそれらを合焦させ）、これらの２つの動作が組合せられ（かつ活用され）て、伝搬空間Ｚに変化を生じさせる。
【００６４】
モジュール３２はさらに、伝搬空間Ｚ全体に亘って生成されたホログラフィック強度パターンごとに注目ディスクリプタキーポイントまたは安定したディスクリプタキーポイントを判定するように構成されたトレーニングキーポイント抽出モジュール３８を含む。これは、モジュール２６を参照した上記のやり方で行われてもよい。代わりに、またはさらに、多様なサリエンシー（saliency）検出器を伝搬空間Ｚに対して適用してもよい。伝搬空間Ｚ全体に亘って生じる顕著な点（salient point）は、伝搬空間Ｚ全体に亘って変化しない点として識別される。この特定のサブセットは、検出または識別プロセスのみではあるが安定したやり方で貢献する。
【００６５】
モジュール３２は次いで、判定されたディスクリプタキーポイントおよび伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、オブジェクト、たとえばオブジェクト１９と関連付けられたオブジェクトディスクリプタを生成するように構成される。これは、波形伝搬モジュール３６によって生成された各スナップショットについて上記したやり方で、ベクトルによって識別されたディスクリプタキーポイントを、伝搬空間Ｚ内のそれぞれのまたは対応する別個の場所と関連付けることによってディスクリプタサブセットを生成することによって行われ得る。伝搬空間Ｚ全体に亘って特定のオブジェクトについて複数のディスクリプタサブセットが生成されると、モジュール３２はこれをオブジェクトディスクリプタとしてデータベース１２と関連付けかつ格納し、伝搬空間Ｚ内のそれぞれの場所にかかわらず、オブジェクトをシステム１０によって識別するのに使用される。
【００６６】
実際の用途では、本発明により、ホログラフィック復元によって再び合焦させサーチして第一にオブジェクトを見つける必要なしに、ホログラムの１つのスナップショットからオブジェクトを有利に識別することが可能となるため、検出速度が向上し、これは処理リソースが重要である用途において有利である。
【００６７】
さらに詳しくは記載されないいくつかの実施形態例では、システム１０は上記の原理を用いて、統計的マシンを実装してもよい。統計的マシンは、自動的に特徴を導出し、さらにこれらを使用して、より離散的な特徴またはディスクリプタの組の導出なしに識別するためのオブジェクトディスクリプタを（自動的に）生成するようにトレーニングすることができる学習アルゴリズム、たとえばニューラルネットワークを適用するように構成される。システム１０は、統計的マシンをトレーニングさせるためのホログラムを生成するように構成されてもよい。
【００６８】
好ましい実施形態例では、伝搬空間Ｚ不変量であるのに加え、オブジェクトディスクリプタをスケール空間不変量とすることにより、伝搬空間およびスケール空間Ｓ全体に亘って注目オブジェクトを識別することができる。
【００６９】
伝搬空間Ｚおよびスケール空間Ｓの両方に対して不変量であるオブジェクトディスクリプタを有することは有利である。第一に、フレネル領域において、撮像面と注目オブジェクトとの距離ｚが増大するにつれて小さなオブジェクトの回折パターンのサイズが大きくなるからである。これによって、特定の注目オブジェクトについてのホログラフィック情報が撮像面上に広まる。伝搬空間全体に亘る特徴の空間的変化を追跡することによって、この変化が説明される。第二に、オブジェクトは使用される倍率によって異なるサイズで生じることがあり、トレーニングサンプルと観察下のサンプルとはサイズが異なることがあり、スケール空間不変を取入れることによってこの変化が説明されるからである。さらに、顕微鏡レベルでは、伝搬空間全体に亘る変化はスケール空間全体に亘る変化よりも大きくてもよく、この点に関し、本発明のスケール空間の局面は発明の付加的な特徴として説明されるに過ぎない。
【００７０】
ディスクリプタ判定モジュール３２は、したがって、伝搬空間全体に亘ってモジュール３６によって生成された各スナップショットのスケール空間Ｓ全体に亘って（注目オブジェクトについての）極値キーポイントを探し出し、かつこれらのディスクリプタキーポイントを用いて回転不変オブジェクトディスクリプタを構成するように全体的に構成される。換言すると、モジュール３２は、伝搬空間全体に亘るいずれかの関連スケールでの注目オブジェクトの識別を可能にする、一組の一意のディスクリプタキーポイントを生成する。この点に関して、オブジェクトのホログラフィックパターンは、伝搬空間全体に亘って変化する。
【００７１】
いずれにせよ、ディスクリプタ判定モジュール３２は、生成されたホログラフィック強度パターンの各々にぼかしアルゴリズムを適用し、それによりぼかし画像を生成することによって、伝搬空間Ｚ全体に亘って生成された複数のホログラフィック強度パターンの各々についてスケール空間を生成するように構成され得る。ぼかしアルゴリズムは、各々が（スケールを近似する）異なる分散を有する一連のガウス関数を用いて、生成された各スナップショットをコンボリューションすることを含んでもよい。当初の画像は次いでダウンサンプリングされ、一連のガウス関数を用いて再びコンボリューションされる。
【００７２】
モジュール３２は次いで、生成されたぼかし画像間の差異を、互いから減算することによって判定するように、換言すると、スケール空間全体に亘ってガウス関数の差（ＤｏＧ）を判定するように構成される。モジュール３２は次いで、たとえば、変化スケール全体に亘って注目キーポイントを配置するための上記したのと同様のやり方で、極値のスケール不変キーポイントをＤｏＧに配置するように構成される。線分の一部であり、かつコントラストが低いキーポイントは、これに従って除去されると理解される。
【００７３】
モジュール３２は次いで、スケール空間内の各別個の場所について、配置されたスケール不変キーポイントを用いて、スケール空間不変オブジェクトディスクリプタを生成するように構成される。
【００７４】
図４および図５を参照して、方位不変オブジェクトディスクリプタを生成する際、モジュール３２は、配置されたキーポイントの周りの注目画素近傍、たとえば７×７近傍を判定するように構成される。モジュール３２は次いで、以下の方程式を適用することによって、近傍内の各画素における勾配を判定する。
【００７５】
【数２】
2015505984.tif 000004
【００７６】
式中、ｍ（ｘ，ｙ）は、画像内のキーポイントの局所近傍内の勾配の大きさであり、Ｌ（ｘ，ｙ）、Θ（ｘ，ｙ）は局所近傍内の勾配の方位である。
【００７７】
図４に示される方位のヒストグラムは次いで、配置されたキーポイントの周りの近傍について、モジュール３２によって典型的に生成される。図５に示されるディスクは次いで離散化され、セクタについて同じ方位に該当するすべての勾配が互いに加算され（絶対値（magnitudes））、そのセクタの方向に割当てられる。
【００７８】
モジュール３２は次いで、６個の要素のベクトルを生成するように動作可能である。モジュール３２によって最大セクタと最少セクタとのより小さな角度差が判定され、セクタ距離の推定値が判定される。モジュール３２は次いで、（近似セクタ内の）その差を６要素ベクトル内の最初の要素に割当てる。
【００７９】
モジュール３２は次いで、最大セクタ方位と次の最少セクタ方位とのセクタ差を取り、そのセクタ差をベクトル内の次の要素に割当て、そのようにしてすべてのベクトルに割当てる。ベクトルがなくなると、残りの要素にはゼロが割当てられる。たとえば、図５では、配置されたキーポイントについてベクトル［３，４，５，０，０，０］が与えられる。モジュール３２は、生成された各スナップショット内のすべてのキーポイントについて同様に実行する。これによって回転不変性が生じる。こうして、各キーポイントが６要素ベクトルによって識別される。
【００８０】
配置された各キーポイントは割当てられたベクトルを有し、これは伝搬空間内の別個の場所を示す情報と関連付けられると、上記した別個のサブセットを形成する。上記のベクトルによってスケール空間における変化が説明されるが、当該ベクトルは任意のパラメータとして、および本明細書に記載される発明の付加物として、伝搬空間不変ディスクリプタ内にある。
【００８１】
すべてのキーポイント、特にディスクリプタサブセットを用いて、有利にスケール空間および伝搬空間の両方に対して不変量であるオブジェクトについてのオブジェクトディスクリプタが生成され得る。
【００８２】
なお、分類器モジュール３０は、モジュール１４によって受信されたホログラフィック強度パターンを、（オブジェクトディスクリプタとのマッチングによって判定される）伝搬空間内の判定された点に復元し、かつ当該場所のキーポイントを導出することによって、マッチングの精度を判定するように構成されてもよい。復元画像の例を図３（ｃ）に示す。これらの導出されたキーポイントは、データベース１２と再びマッチングされ得る。同一の注目オブジェクトとの一致によって、システム１０による識別が強化される。これらのステップが利用する本質的な概念は、（第１の検出から判定される）その注目オブジェクトと一貫性があるより多くのキーポイントを探し出すことによって、検出／識別またはその精度の信頼度が向上することであると認識される。
【００８３】
実施形態例を図６〜図８を参照してさらに説明する。図６〜図８に示す方法例を図１〜図５を参照して説明するが、方法例は他のシステム（図示せず）にも適用可能であってもよいと認識される。
【００８４】
図６には、発明の実施形態例に係る方法のハイレベルフローチャートが全体的に参照番号５０で示される。
【００８５】
方法５０はプロセッサまたはシステム、たとえば上記したそれぞれのモジュールによってホログラムを処理するためのシステム１０によって典型的に実行される。この点に関して、方法５０は、ホログラムを処理してその内部の１つ以上の注目オブジェクトを識別する方法であってもよい。説明を簡単にするために、方法５０は、血液サンプルのホログラム中の白血球を識別する用途を参照して説明する。
【００８６】
方法５０は、ブロック５２において、伝搬空間Ｚにおける別個の場所の血液サンプルのホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信することを典型的に含む。画像は、典型的に、ＣＭＯＳ画像取込装置またはセンサ２４からデータレシーバモジュール１４によって電子的に受信されたデジタルホログラフィック画像である。
【００８７】
方法５０は、ブロック５４において、受信したホログラフィック強度データを処理して、可能性のある注目オブジェクトのデータキーポイント、すなわち受信したホログラフィック強度画像内の白血球を判定することを含んでもよい。いくつかの実施形態例では、図４および図５を参照して上記したのと同様のやり方で、データキーポイントの判定は、ガウス分布の相違からの極値点の抽出と、たとえばモジュール２６による判定された注目データキーポイントごとにベクトルの生成とを伴ってもよい。
【００８８】
方法５０は次いで、ブロック５６および５８において、たとえばモジュール２８によって、判定されたデータキーポイントを、データベース１２に格納された少なくとも１つの所定のオブジェクトディスクリプタと比較することを含む。方法５０は、マッチングを判定するために、判定された各データキーポイント、特にそれと関連付けられた情報を、上記のディスクリプタキーポイントと比較することを含み、ディスクリプタは伝搬空間不変量であり、任意にスケール空間不変量である。
【００８９】
比較ステップ５６／５８がマッチングという結果になれば、次いで方法５０は、これに対応して、判定されたデータキーポイントと関連付けられたオブジェクトが白血球であることをブロック６０においてモジュール３０によって上記のように識別する。オブジェクトディスクリプタのマッチングするディスクリプタキーポイントは、この場合は白血球であるオブジェクトと典型的に関連付けられるからである。
【００９０】
方法５０は、受信したホログラフィック画像の注目データキーポイントごとに繰返してもよい。
【００９１】
図７には、実施形態例に係る方法の別のフローチャートが全体的に参照番号７０で示される。方法７０は、典型的に、特定のオブジェクトについてオブジェクトディスクリプタを生成または作成するために使用される方法である。方法７０は、したがって、識別が望まれる注目オブジェクトごとに、たとえば白血球、赤血球などごとに繰返してもよい。方法７０は、オブジェクトディスクリプタ判定モジュール３２によって典型的に実行される。
【００９２】
方法７０は、ブロック７２においてモジュール３４によって、オブジェクトディスクリプタの生成が望まれる注目オブジェクトの画像を受信することを含む。上記のように、受信した画像は典型的にオブジェクトの顕微鏡画像、たとえば白血球の光学顕微鏡画像である。
【００９３】
方法７０は、ブロック７４において、伝搬空間Ｚ全体に亘る複数の別個の場所について、受信した画像に波形伝搬アルゴリズムを適用し、それにより、伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターン、スナップショットまたは画像を生成することを含む。したがって、方法７０は、伝搬空間Ｚの寸法を示す情報を先でない限り受信し、かつ伝搬空間Ｚを離散化する先のステップを含んでもよい。
【００９４】
方法７０は次いで、ブロック７６において、伝搬空間Ｚ全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定することを含む。換言すると、方法７０は、伝搬空間Ｚ全体に亘って生成されたホログラムの各々を横断して、安定したディスクリプタキーポイントを抽出する。
【００９５】
方法７０は次いで、ブロック７８において、判定されたディスクリプタキーポイントおよび伝搬空間Ｚ全体に亘って関連付けられた別個の場所を示す情報を使用して、オブジェクトと関連付けられたオブジェクトディスクリプタを生成することを含む。このように、オブジェクトディスクリプタは少なくとも伝搬空間Ｚ不変量である。
【００９６】
図８には、発明の実施形態例に係る方法の別のフローチャートが全体的に参照番号８０で示される。上記のように、発明の好ましい実施形態例では、オブジェクトディスクリプタは伝搬空間Ｚおよびスケール空間Ｓの両方に対して不変量である。図８の方法は、所望のオブジェクト識別子を実現する際のステップのうちの少なくともいくつかを提供し、図８はスケール空間不変性を生じさせるための１つの従来の態様を示しているに過ぎない。本明細書に言及されるように、本発明におけるオブジェクトディスクリプタのスケール空間不変性は任意である。
【００９７】
特に、方法８０は第一に、伝搬空間を離散化する図示しないステップを含む。
方法８０は次いで、上記の波形伝搬方程式（１）を具現化する波形伝搬アルゴリズムを注目オブジェクトの画像に適用して、一連のホログラフィックデータスナップショットを投影する。各スナップショットは伝搬空間Ｚ内の場所に対応する。画像は、図７を参照して説明した画像と同一ではないとしても同様である。
【００９８】
方法８０は次いで、ブロック８２においてスナップショット（ホログラフィック画像）ごとに判定することと、ブロック８４においてスケール空間を生成することとを含む。上に簡単に説明したように、これは、各々が（スケールを近似する）異なる分散を有する一連のガウス関数を用いて画像をコンボリューションすることによって画像をぼかすことによってなされる。当初の画像は、実質的に従来のやり方でダウンサンプリングされ、一連のガウス関数を用いて再びコンボリューションされる。
【００９９】
方法８０は、ブロック８６において、スケール空間全体に亘るガウス関数の差（ＤｏＧ）を取ることと、ブロック８８において、極値のキーポイントをＤｏＧに配置することとを含む。
【０１００】
線分の一部であり、かつコントラストが低いキーポイントは、ブロック９０において除外される。
【０１０１】
方法８０は次いで、ブロック９２において、各キーポイントについて、方位不変一意ディスクリプタキーポイントを作成または生成することを含む。
【０１０２】
方法８０は次いで、ブロック９４において、すべてのホログラフィックスナップショットについて方法８０を繰返すステップを含む。
【０１０３】
なお、方法８０は、図４および図５を参照して説明したやり方でモジュール３２を作動させて、スケール不変キーポイントに対応するベクトルを生成することを含んでもよい。
【０１０４】
図９は、本明細書で論じた方法のいずれか１つ以上をマシンに行わせるための一組の命令が実行され得るコンピュータシステム１００の例におけるマシンの模式図を示す。他の実施形態例では、マシンはスタンドアロン装置として動作するか、または他のマシンに接続（たとえばネットワーク接続）され得る。ネットワーク接続された実施形態例では、マシンは、サーバクライアントネットワーク環境においてサーバもしくはクライアントマシンの容量で、またはピアツーピア（または分散）ネットワーク環境においてピアマシンとして動作し得る。マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ウェブ機器、ネットワークルータ、スイッチもしくはブリッジ、または当該マシンによって行われるべきアクションを特定する一組の命令（シーケンシャルなど）を実行することが可能ないずれかのマシンであり得る。さらに、便宜上１つのマシンのみが例示されているが、「マシン」という用語は、一組（または複数組）の命令を個々にまたは共同で実行して本明細書で論じた方法のいずれか１つ以上を行ういずれかのマシンの集合体を含むとも見なされるものとする。
【０１０５】
いずれにせよ、例示的なコンピュータシステム１００は、バス１０８を介して互いに通信するプロセッサ１０２（たとえば中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）または双方）、メインメモリ１０４、およびスタティックメモリ１０６を含む。コンピュータシステム１００は、映像表示装置１１０（たとえば液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））をさらに含んでもよい。コンピュータシステム１００は、文字数字入力装置１１２（たとえばキーボード）、ユーザインターフェイス（Ｕｌ）ナビゲーションデバイス１１４（たとえばマウスまたはタッチパッド）、ディスクドライブユニット１１６、信号発生装置１１８（たとえばスピーカ）、およびネットワークインターフェイスデバイス１２０も含む。
【０１０６】
ディスクドライブユニット１６は、本明細書で説明された方法または機能のいずれか１つ以上によって具体化または利用される一組以上の命令とデータ構造（たとえばソフトウェア１２４）とを格納する機械読取可能な媒体１２２を含む。ソフトウェア１２４は、コンピュータシステム１００によるその実行中は、完全にまたは少なくとも部分的に、メインメモリ１０４内および／またはプロセッサ１０２内にも存在してもよい。メインメモリ１０４およびプロセッサ１０２も機械読取可能な媒体を構成する。
【０１０７】
ソフトウェア１２４は、多くの周知の転送プロトコル（たとえばＨＴＴＰ）のうちのいずれか１つを利用するネットワークインターフェイスデバイス１２０を介してネットワーク１２６を通じてさらに送受信されてもよい。
【０１０８】
機械読取可能な媒体１２２は１つの媒体であるものとして実施形態例に示されているが、「機械読取可能な媒体」という用語は、一組以上の命令を格納する１つの媒体または複数の媒体（たとえば集中型または分散型データベース、および／または関連付けられたキャッシュおよびサーバ）を指し得る。「機械読取可能な媒体」という用語は、マシンに実行させるために一組の命令を格納し、コード化し、もしくは搬送することが可能であり、かつ本発明の方法のうちのいずれか１つ以上をマシンに行なわせるか、またはそのような一組の命令によって利用されるかもしくは関連付けられたデータ構造を格納し、コード化し、もしくは搬送することが可能ないずれかの媒体を含むものとも見なされ得る。「機械読取可能な媒体」という用語はしたがって、限定はしないが、固体記憶装置、光学および磁気媒体、ならびに搬送波信号を含むものと見なされ得る。
【０１０９】
上記した発明は、伝搬空間、および（任意に）スケール空間全体に亘って注目オブジェクトを識別および／または検出する手段を有利に提供し、これは単に１つのデジタル的に取込まれたホログラムを用いることによって体積内のオブジェクトを検出および配置する際に有利に応用され得る。いくつかのケースでは、これは、ホログラフィック原理を用いたオブジェクトの配置に伴う計算の煩わしさおよび非効率性を低くすることを試みる。発明によれば、抽出されるべき特徴の安定した組を注目オブジェクトの分類に使用することが可能となる。このため、当該発明によって、ホログラム署名を得るための既存の技術よりもはるかに広い範囲を包含する全変換空間に亘って安定した特徴が見出され、伝搬軸に沿った１点または１つのスナップショットのみが使用される。ホログラム署名を抽出するためにより広い空間を使用することにより、本発明は、１つのスナップショットだけを使用するよりもよりロバストな識別子を、より高い許容差で提供する。
【０１１０】
本発明の特徴抽出プロセスは、首尾よく実現されるべきいずれの種類の深さ測定にも有利である。当該プロセスは、オブジェクトが伝搬軸に沿って存在する場所とは無関係であるからである。ゆえに、注目オブジェクトは体積内の異なる深さまたは層に存在する可能性があるが、体積内の位置に関わらず、個別の署名をオブジェクトごとに抽出することが可能である。多層のサンプルを解析するために、本発明はゆえに、向上した、よりロバストなオブジェクト分類器を提供する。
【０１１１】
本発明はさらに、注目オブジェクトを識別するための画像の復元および専門家の利用等の必要なしに、ホログラム中に提供された大量の情報を有利に使用して、ホログラム中のオブジェクトを電子的に識別する。
【図３（ａ）】
2015505984.tif 000005
【図３（ｂ）】
2015505984.tif 000006
【図３（ｃ）】
2015505984.tif 000007
【図４】
2015505984.tif 000008
【図５】
2015505984.tif 000009
【図１】
2015505984.tif 000010
【図２】
2015505984.tif 000011
【図６】
2015505984.tif 000012
【図７】
2015505984.tif 000013
【図８】
2015505984.tif 000014
【図９】
2015505984.tif 000015
【国際調査報告】
2015505984.tif 000016
2015505984.tif 000017