(57)【特許請求の範囲】
【請求項１】
対象画像が参照画像に対応する特徴を有するか否かを決定するように参照画像と対象画像とを処理する方法であって、
対象画像を取得する工程と、
対象画像をデジタル化する工程と、
少なくとも１つのデジタル化された参照画像を提供する工程と、
平行処理コンピュータ化プラットホームを提供する工程と、
重要な特徴を有する前記デジタル化された対象画像の少なくとも１つのセグメントを切り離すように、再帰階層的セグメンテーションアルゴリズムを前記平行処理コンピュータ化プラットホームで実行しかつ前記デジタル化された対象画像を前記再帰階層的セグメンテーションアルゴリズムで処理する工程と、
特定の画像データを前記切り離されたセグメントから抽出するように、該切り離されたセグメントをデータ採集アルゴリズムで処理する工程と、ならびに
前記抽出された画像データが前記デジタル化された参照画像と一致するか否かを決定するために、前記抽出された特定の画像データおよび前記デジタル化された参照画像を光認識アルゴリズムで処理する工程と、
を含む方法。
【請求項２】
前記抽出された画像データ、ならびに該抽出された画像データと前記デジタル化された参照画像との処理結果を表示する工程をさらに含む、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのデジタル化された参照画像が複数のデジタル化された参照画像を含み、前記方法は記憶された前記複数のデジタル化された参照画像を有するデータベースを提供する工程をさらに含む、請求項１に記載の方法。
【請求項４】
デジタル化された対象画像がデジタル化された参照画像に対応する特徴を有するか否かを決定するように、デジタル化された対象画像とデジタル化された参照画像とを処理するシステムであって、
記録された少なくとも１つのデジタル化された参照画像を有するデータベースと、
対象画像を取得するデバイスとおよび前記対象画像をデジタル化するデジタイザとを含み、かつ対象画像を提供するデバイスと、ならびに
（ｉ）重要な特徴を有するデジタル化された対象画像の少なくとも１つのセグメントを切り離すように、前記デジタル化された対象画像を再帰階層的セグメンテーションアルゴリズムで処理し、（ｉｉ）特定の画像データを前記切り離されたセグメントから抽出するように、前記切り離されたセグメントをデータ採取アルゴリズムで処理し、（ｉｉｉ）前記抽出された画像データが前記デジタル化された参照画像と一致するか否かを決定するために、前記抽出された特定の画像データおよび前記デジタル化された参照画像を光認識アルゴリズムで処理する画像処理リソースと、
を含むシステム。
【請求項５】
データおよび命令を前記画像処理リソースに入力するように構成された少なくとも１つのワークステーションコンピュータをさらに含み、前記ワークステーションは、前記抽出された画像データ、および該抽出された画像データと前記デジタル化された参照画像を前記光認識アルゴリズムで処理した結果を表示するデバイスを含む、請求項４に記載のシステム。
【請求項６】
前記画像処理リソースが、並行処理リソースを含む、請求項５に記載のシステム。
【請求項７】
前記画像処理リソースが、Ｂｅｏｗｕｌｆクラスターを含む、請求項５に記載のシステム。
【請求項８】
対象画像を提供する前記デバイスが、ビデオカメラを含む、請求項５に記載のシステム。
【請求項９】
対象画像を提供する前記デバイスが、デジタル化された対象画像を高めるデバイスを含む、請求項５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、同一人が所有しており、かつ同時係属中の、２００３年３月２７日出願の米国仮出願第６０／４５８，７６９号、および２００３年９月２５日出願の同第６０／５０５，９４４号の利益を主張する。
本発明は概して、病原体および異常な細胞を同定するためのシステムおよび方法に関する。
【背景技術】
【０００２】
病原体、細菌、異常な細胞および感染性疾患の適時的な診断はしばしば、細菌を同定する手段として培養を用いて、最適の処置を選択するという必要性によって困難である。現在のところ、病原体の同定はしばしば、日数がかかり、最適の抗生物質の適切な選択のような、有効な処置を過度に遅らせるかもしれない状況である、面倒な手順を包含する。食物、特に牛肉、家禽および魚類における細菌汚染を決定するのには同様の問題が存在する。食物中の有害な細菌の存在を同定するのが遅れれば、汚染された食物が流通および消費に流れて悲惨な結果を招きかねない。ある場合には、これらの遅れは、患者にとって致死的であることが証明されており、または不必要な苦痛を生じている。米国疾病管理センター（Ｃｅｎｔｅｒ  ｆｏｒ  Ｄｉｓｅａｓｅ  Ｃｏｎｔｒｏｌ）から提出された１９９９年の統計によれば、細菌によって生じた感染性疾患の報告が１，１９４，９５９例ある。さらに、疾病管理センターに強制的に報告する義務のない食中毒の例が多数あった。感染した患者を処置する慣行的診療は、広範なスペクトルの抗生物質の使用である。しかし、多くの抗生物質に対する細菌の耐性の問題に起因して、広域抗生物質は有効ではないかもしれない。感染性疾患のこれらの例の多くが、迅速かつ正確な診断が利用できれば、防止されるかまたは適切に処理されたであろう。病原体、細菌および異常な細胞の迅速な同定はまた、バイオテロおよび戦争時の生物剤を取り扱うのにも重要である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、病原体、細菌、ならびに他の異常なヒトおよび動物の細胞の迅速な同定を達成する。一実施形態では、本発明は、病原体を自動的かつ迅速に同定するための非侵襲性のシステムおよび方法に関する。本発明の一実施形態によれば、このシステムは、病原体、細菌または他の異常な細胞の試料の画像を取得して処理する第一のサブシステムと、この試料の画像を受容し、高度画像セグメンテーションを用いて各々の画像の特定の特徴を切り離し、次いで、この特定の切り離された特徴上でパターン認識プロセスを用いて、この病原体、細菌または異常な細胞の構造を迅速かつ正確に同定する第二のサブシステムとを含む。
【課題を解決するための手段】
【０００４】
一実施形態では、前述の説明に記載された第一のサブシステムは、顕微鏡およびビデオカメラを含む、画像取り込みシステムを含む。この画像取り込みシステムは、病原体、細菌または異常な細胞構造の試料の画像を取り込むかまたは取得し、次いで、この試料の取り込まれたかまたは取得された画像の妥当な部分を強化、デジタル化、そして一時的に記憶する。この第一のサブシステムはさらに、通信システムを備え、これが処理された画像を、種々の適切な通信スキームのうちのいずれか１つ、例えば、衛星中継、インターネットまたは電話線を介して第二のサブシステムに伝達する。好ましい実施形態では、この第一のサブシステムはさらに、第一のサブシステムの動作を制御するためのコンピューター、マイクロプロセッサーまたは他の制御装置を含む。好ましい実施形態では、この第一のサブシステムは、試料の画像を処理するのにおける手動の労力を最小限にするように自動操作を有するように構成される。
【０００５】
一実施形態では、この第二のサブシステムは代表的には、中央位置に位置する。この第二のサブシステムは、第一のサブシステムによって伝達される処理された画像を受け取る。この第二のサブシステムは、目的の試料の画像の特定の特徴を切り離すように、第一のサブシステムから受け取られた画像を処理する画像処理システムを含む。この画像プロセッサーは画像セグメンテーションが画像の前述の特徴を切り離すように機能する。この第二のサブシステムは、公知の参照画像を含むデータベースを含む。このようなデータベースは、既知の病原体細胞、細菌細胞および異常な細胞の画像のライブラリーとして機能する。各々の参照画像は、公知の病原体、細菌または異常細胞の構造と関連している。この画像処理システムは、切り離された特徴から特定の画像データを抽出するデータマイニングプログラム、およびこの抽出された画像データをデータベース中の既知の参照画像に対して比較するパターン認識プログラムを実行して、この切り離された特徴が任意の既知の参照画像と対応するかまたはマッチするかを決定する。
【０００６】
本発明のシステムおよび方法はまた、医学および歯科の領域での診断用放射線医学および画像化ツールとして用いることができる。詳細には、本発明のこのシステムおよび方法は、軟部組織の画像、乳房撮影像、ｘ線写真（骨および歯）、超音波、ＭＲＩ画像およびＣＡＴスキャンのような医学画像を分析するために構成され得る。
【０００７】
別の実施形態では、このシステムは、第一のサブシステムおよび第二のサブシステムが一緒に接続されて１つの位置に配置される１つのメインシステムを形成するように構成される。このような構成は、米国および世界中の、大型の都市病院または多くの医大付属病院のうちの１つに適切である。
【０００８】
従って、本発明は、一態様では、病原体を同定するための方法に関し、この方法は、画像を提供する工程と、この提供された画像を画像セグメンテーションアルゴリズムで処理して目的の特徴を有するこの提供された画像のうちの少なくとも１つのセグメントを切り離す工程と、この提供された画像の切り離されたセグメントを複数の参照画像に比較してこの切り離されたセグメントがこの参照画像のいずれかに対応するか否かを決定する工程とを含む。
【０００９】
関連の態様では、本発明は病原体を同定するためのシステムに関連するが、このシステムは、画像を提供するためのデバイスと、記憶された少なくとも１つの参照画像を有するデータベースと、（ｉ）提供された画像を、画像セグメンテーションアルゴリズムを用いて処理して、目的の特徴を有するこの提供された画像の少なくとも１つのセグメントを切り離し、そして（ｉｉ）この提供された画像の切り離されたセグメントを参照画像に比較して、この切り離されたセグメントが参照画像に対応するか否かを決定するための画像処理リソースと、を含む。
【００１０】
本発明の特徴は、新規であると考えられる。図面は、例示の目的のためだけであり、大きさについては記載していない。しかし、本発明自体は、操作の機構および方法の両方に関して、添付の図面と組み合わせて詳細な説明を参照すれば最もよく理解できる。
【発明を実施するための最良の形態】
【００１１】
図１を参照すれば、本発明による病原体、細菌および異常な細胞の構造の迅速な同定のためのシステムのブロック図が示されている。システム１００は概して、画像化サブシステム１００ａおよび画像管理診断用サブシステム１００ｂを含む。サブシステム１００ａは概して、コンピューターまたは制御装置１０１と、染色モジュール１０２と、顕微鏡１０４と、デジタルカラービデオカメラ１０６と、画像記憶装置１０８と、通信モジュール１１０とを含む。次の説明から明らかであるとおり、コンピューター１０１は、顕微鏡１０４、デジタルカラービデオカメラ１０６、画像記憶装置１０８および通信システム１１０の操作および操作順序を制御する。
【００１２】
図１を参照すれば、染色モジュール１０２は、スライドに固定されている病原体、細菌および異常な細胞の試料のスライドを染色する。このスライドは、顕微鏡１０４で見る前に染色される。好ましい実施形態では、染色モジュール１０２は市販の免疫染色手順のモジュールである。このような適切な市販の免疫染色手順モジュールの１つは、染色された細胞の正確なカラー画像化のための電動の蛍光フィルターとして当分野で公知である。好ましい実施形態では、これらのスライドの少なくとも１つが、受容可能な画像を生じるように染色された病原体、細菌または異常な細胞を有することを確実にするために、５〜１０個の異なる染色液を選択して、所与の試料について所定の数のスライドを染色する。
【００１３】
一実施形態では、統計学的解析を用いて、スライドの少なくとも１つが原因となる病原体、細菌などを含むことを確実にするために必要な試料スライドの十分な数を決定する。染色モジュール１０２は目的の病原体、細菌などの範囲をカバーするために標準的なセットの染色液を利用するように構成される。
【００１４】
図１に参照されるように、顕微鏡１０４は、十分な倍率を得るように構成され、オイル浸漬対物レンズと、ビデオカメラ１０６のための光学ポートと、自動ステージ機構と、自動焦点機構とを含む。この自動ステージ機構は、試料スライドの簡便な配置のための浅いウェルを含む。この自動ステージ機構によって、自動焦点機構が焦点に画像を保持したままで、各々のスライドのラスタスキャンが行なわれる。この自動ステージ機構は、画像を取得することを可能にするために、各々の工程で素早く停止するように構成される。各々の取得された画像は、この自動ステージ機構の位置のｘ−ｙ座標を割り当てられる。これらのｘ−ｙ座標は、試料の取得された画像に対して適切なフォーマットで自動的に加えられる。
【００１５】
図１を参照すれば、ビデオカメラ１０６は、顕微鏡１０４の自動ステージ機構の各々の停止で試料のカラー画像を取り込むかまたは取得するように、コンピューターまたは制御装置１０１によって制御される。ビデオカメラ１０６は十分な解像度および安定性を提供するように構成される。ビデオカメラ１０６は、取得された画像をデジタル化する。次いで、デジタル化された画像を画像記憶装置１０８に伝達する。画像記憶装置１０８は、ビデオカメラ１０６によって生成された取得された画像を一時的に記憶するのに十分なデータ記憶容量を有する一時記憶装置である。
【００１６】
好ましい実施形態では、顕微鏡１０４およびビデオカメラ１０６は、顕微鏡１０４およびビデオカメラ１０６の両方の機能を合わせた、単独の、市販のコンパクトユニットとして実現される。このような市販のユニットの１つはＬｅｉｃａ  Ｍｏｄｅｌ  ＤＭＲＸＡ２顕微鏡である。単独のユニットに顕微鏡とビデオカメラとを合わせた他の適切な市販のデバイスも同様に用いられ得る。
【００１７】
別の実施形態では、この取得された画像を、有用かつ該当する内容について、プレスクリーニングして、プレソートする。これは、画像記憶装置１０８と電気データ連絡されているスクリーニングプロセッサおよびディスプレイ装置（両方とも示していない）によって達成される。このプレスクリーニングおよびプレソート機能によって、該当の情報を有する画像でのみさらなる分析を行なうことが保証される。このスクリーニングプロセッサは、画像が該当の内容を有するか否かを決定するために予め決定された基準（記述子）を利用する。
【００１８】
図１を参照すれば、コンピューター１０１は、記憶されたデジタル化画像を通信モジュール１１０に伝達するように画像記憶装置１０８を制御する。一実施形態では、通信モジュール１１０は、ＲＦ（高周波）アンテナ１１１を含む。しかし、通信モジュール１１０は好ましくは、種々の適切な通信形態、例えば電話線、インターネット、専用回線またはＲＦ通信または衛星通信を通じた通信のうちのいずれか１つを介して第二のサブシステム１００ｂのデジタル化画像を伝達するように構成される。本発明によれば、第一のサブシステム１００ａと第二のサブシステム１００ｂとの間の通信リンクは、双方向性である。好ましい実施形態では、第一のサブシステム１００ａと第二のサブシステム１００ｂとの間の通信はリアルタイムである。一実施形態では、通信モジュール１１０はＤＳＬ  Ｓｐｅｅｄｓｔｒｅａｍ  Ｍｏｄｅｌ  ５２６０として実現される。
【００１９】
好ましい実施形態では、適切な市販のＰＣ（パーソナルコンピューター）の高性能システムが、制御モジュール１０１および画像記憶装置１０８を現実化するために用いられる。
【００２０】
別の実施形態では、サブシステム１００ａは、別々の適切な市販の構成要素によって実現可能である。例えば、顕微鏡１０４は、適切な市販の電子顕微鏡またはデジタル顕微鏡によって実現できる。同様に、ビデオカメラ１０６は、デジタル顕微鏡によって得られる画像に基づいてカラー画像を得ることができる適切なビデオカメラによって実現できる。
【００２１】
図２および３を参照すれば、本発明の別の実施形態による画像化サブシステム１００ａが示される。この実施形態では、サブシステム１００ａの全ての構成要素が、携帯可能でコンパクトで頑丈であり、移動式の操作または遠隔位置での操作を可能にするようにバッテリー電源での操作またはＡＣ電源で可能な、単独のユニットに組み合わされる。画像サブシステム１００ａのこの実施形態は、ハウジング１２０、コントロールパネル１２２および１２３、そしてインターフェース１２４を有する。インターフェース１２４は、ＲＳ  ２３２インターフェース１２６と、ビデオデータポート１２８および１３０と、ＵＳＢポート１３２と、外部電源入力１３４とを含む。再充電可能なバッテリーパック１３６は、全ての他の構成要素に電力を供給する。スクリーン１３８は、分析される空気サンプルの捕獲を可能にし、これによって風媒性の病原体、細菌などを分析することが可能になる。スライド挿入デバイス１４０によって、使用者は、試料スライド１４２をハウジング１２０に挿入することができる。流体インレット１４４および流体アウトレット１４６によって、分析される流体（例えば、水）の流入および流出が可能になる。別の実施形態では、図２および３に示されるサブシステム１００ａの特定の実施形態は、車両のバッテリーからの電力で作動するように構成される。
【００２２】
図１および４を参照すれば、画像化サブシステム１００ａの操作を図示するフローチャートが示される。工程１５０では、ユーザーがコンピューター１０１を起動する。工程１５２では、マスターシステム（示さず）に記憶された任意の必要なデータをコンピューター１０１にロードする。工程１５４では、サンプルまたは試料の整備、調製およびプロトコールが行なわれる。この工程では、試料は、染色モジュール１０２で染色される。工程１５６では、顕微鏡１０４およびビデオカメラ１０６は、コンピューター１０１によって起動され、そして染色された試料スライドが顕微鏡１０４に提供される。次に、工程１５８、１６０および１６２において、試料スライドの画像化が手動で（すなわち、局所的に）制御されるべきか否かが決定される。手動で制御されることが決定されれば、使用者はコンピューター１０１に手動入力コマンドを入力して、このようなコマンドによって規定されるデータに従って顕微鏡１０４およびビデオカメラ１０６を制御する。次に、工程１６４では、試料の画像が生成される。工程１６６では、試料の生成された画像が、コンピューター１０１またはビデオカメラ１０６のいずれかに接続され得る、コンピュータースクリーンまたはＬＣＤのような外部ディスプレイ装置（示さず）上で提示される。工程１６４および１６６に含まれるのは、画像が該当の情報を含むか否かを決定するための画像のプレスクリーニングおよびプレソーティングの工程である。一実施形態では、医療従事者が資格検査によって画像をプレスクリーニングする。工程１６８では、該当の画像を収集して、画像記憶装置１０８で整理する。工程１７０では、該当の画像を画像記憶装置１０８に、またはＲＯＭもしくはＣＤ−ＲＯＭのような外部データ記憶デバイス（示さず）に記憶する。一実施形態では、この外部データ記憶デバイスは、画像記憶装置１０８と電気的データ連絡されている外部デバイスである。工程１７２では、該当の収集および整理された画像を出力バッファ記憶装置に送り、次いで通信モジュール１１０に送る。工程１７４では、次にこれらの画像を、通信モジュール１１０を有する画像管理診断用サブシステム１００ｂと連絡させる。
【００２３】
図１を参照すれば、本発明の一実施形態では、画像管理診断用サブシステム１００ｂは中央に位置する。好ましい実施形態では、サブシステム１００ｂは、複数のサブシステム１００ａを駆動して、診断情報をほぼリアルタイムで提供するように構成される。サブシステム１００ｂは一般に、通信モジュール１８０と、アンテナ１８１と、一時画像記憶装置１８２と、画像処理システム１９０とを含む。通信モジュール１８０は、サブシステム１００ａの通信モジュール１１０によって伝えられるデジタル化された画像データを受け取る。一実施形態では、通信モジュール１８０は、前述の説明に記載される市販のＤＳＬ  Ｓｐｅｅｄｓｔｒｅａｍ  Ｍｏｄｅｌ  ５２６０によって実現される。次いで、この受け取られたデジタル化された画像データは、一時画像記憶装置１８２に伝えられる。次いで、この記憶されたデジタル化画像が、一時画像記憶装置１８２から画像処理システム１９０に伝えられる。図５を参照すれば、画像処理サブシステム１９０のブロック図が示される。画像処理システム１９０は、共通ハブ２０６と電気的データ連絡されているワークステーション２００、２０２および２０４を含む。一実施形態では、ワークステーション２００、２０２および２０４は、それぞれ、Ｌｉｎｕｘ（商標）、Ｓｕｎ（商標）、およびＭｉｃｒｏｓｏｆｔ（商標）によって製造される、市販のＰｅｎｔｉｕｍ（商標）クラスのコンピューターである。一実施形態では、共通ハブ２０６は、Ｈｅｗｌｅｔｔ  Ｐａｃｋａｒｄまたは互換性１０／１００／１０００ハブのような市販のスイッチとして構成される。画像処理システム１９０はさらに、マスターノード２０８と、マスターノード２０８と共通ハブ２０６との間のファイヤーウォール２１０とを含む。マスターノード２０８は、次の説明に記載される、特定の画像処理および分析コンピュータープログラムの実行および遂行を達成するデータ処理モジュールを含む。好ましい実施形態では、マスターノード２０８は、高速の並行処理を実施するように構成される。一実施形態では、マスターノード２０８は、６４ノードを含む並行プロセッサを有するＳｃｙｌｄ  Ｂｅｏｗｕｌｆ  Ｃｏｍｐｕｔｅｒ  Ｃｌｕｓｔｅｒを含む。このＳｃｙｌｄ  Ｂｅｏｗｕｌｆ  Ｃｏｍｐｕｔｅｒ  Ｃｌｕｓｔｅｒは、当分野で公知であり、ＮＡＳＡのＧｏｄｄａｒｄ  Ｓｐａｃｅ  Ｆｌｉｇｈｔ  Ｃｅｎｔｅｒによって開発された。画像処理サブシステム１９０はさらに、中央ハブ２１２を含む。一実施形態では、中央ハブ２１２は、Ｈｅｗｌｅｔｔ  Ｐａｃｋａｒｄまたは互換性１０／１００／１０００ハブのような市販のスイッチとして構成される。画像処理サブシステム１９０はさらに、中央ハブ２１２と電気的データ連絡されている複数のスレーブノード２１４を含む。一実施形態では、６４個のスレーブノード２１４があり、各々のスレーブノード２１４は、最低で１２８ＭＢのＲＡＭを有するＰＣ  Ｐｅｎｔｉｕｍクラスのコンピューターとして構成される。画像処理システム１９０はさらにデータベースサーバー２２０を含む。データベースサーバー２２０は、サブシステム１００ａ（図１を参照のこと）に由来しており、サブシステム１００ｂによって分析される画像データを記憶する。データベースサーバーは、当分野で公知であり、本明細書において詳細に考察する必要はない。画像処理システム１９０はさらに、十分なデータ記憶容量を有するファイルサーバー画像集積装置２２２を含む。集積装置２２２は、第一および第二の部分を有する。この第一部分は、公知の病原体、細菌および異常な細胞の画像を記憶するためである。詳細には、この第一部分は、回転および他の明確な相違の原因である各々のタイプのいくつかの異なる見方を有する、病原体、異常細胞構造、細菌などの参照画像の大きなライブラリーを含む。好ましくはこの参照された画像は、記憶の必要が最小限になるように圧縮される。各々の参照画像は、この参照画像についての情報を提供する、対応する特定情報、例えば、病原体、細菌、細胞などの名称を有する。集積装置２２２の第二の部分は、次の説明に記載される階層的セグメンテーション処理によって生成された画像のセグメントの記憶のためである。
【００２４】
図１および５を参照すれば、一時画像記憶装置１８２によって出力された画像が、データベースサーバー２２０に入力される。データベースサーバー２２０の画像は、ワークステーション２００、２０２および２０４のいずれかを用いることによって、マスターノード２０８に送られる。マスターノード２０８は、いくつかの機能を果たす。マスターノード２０８は、データベースサーバー２２０から受け取ったデジタル化画像のプレスキャンを行なって、このデジタル化画像が該当のかつ有用な情報を含むか否かを決定する。この画像が該当のかつ有用な情報を含まない場合、この画像は破棄される（すなわち、消去される）か、またはファイルサーバー画像集積装置２２２の指定の領域に記憶される。画像が該当かつ有用な情報を含む場合、次いでこの画像はさらなる処理に供される。詳細には、マスターノード２０８は、画像上でセグメンテーションを行なう。一実施形態では、マスターノード２０８は、その開示が参考として本明細書に組み込まれる、「Ｍｅｔｈｏｄ  Ｆｏｒ  Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  Ｏｆ  Ｒｅｃｕｒｓｉｖｅ  Ｈｉｅｒａｒｃｈｉｃａｌ  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｏｎ  Ｐａｒａｌｌｅｌ  Ｃｏｍｐｕｔｅｒｓ」と題された係属中の米国特許出願番号０９／８３９，１４７に記載されるセグメンテーションプロセスを実行するようにプログラムされる。前述の係属中の米国出願番号０９／８３９，１４７は、２００３年５月１日に公開され、特許出願公開番号ＵＳ２００３／００８１８３３を有する。公開番号ＵＳ２００３／００８１８３３は、参考として本明細書に組み込まれる。セグメンテーションプロセスは、デジタル化画像の特定の特徴を切り離す。詳細には、このセグメンテーションプロセスは、一連の設定の画像セグメンテーションを種々のレベルのセグメンテーションディテールで達成し、ここでは比較的粗いレベルのディテールのセグメンテーションが、それより微細なレベルのディテールのセグメンテーション由来の領域の単純な混同から生成される。階層的な画像セグメンテーションプロセスの固有の特徴は、このセグメント分けされた領域の境界が、この階層の全てのレベルのセグメンテーションディテールで完全な画像空間解像度で維持されることである。このプロセスの結果は、同様の特性の領域が切り離されて（セグメント分けされて）同定されるということである。従って、背景および砕片とは別個の特徴を有する病原体の画像は、特定の割り当てられた基準、例えば、色、形状、サイズなどを用いて切り離され得る。
【００２５】
次いで、マスターノード２０８は、切り離された特徴のサイズおよび形状のような２〜３の記述子に基づいて、切り離された特徴に対して高速の分析を行なう。マスターノード２０８は、切り離された特徴の特定の画像が有用な情報を有するか否かを決定するためのこの高速の分析で用いられるソーティング基準の記憶装置を含む。この特定の画像が有用な情報を有する場合、この特定の画像を保存してさらなる分析のために利用できるようにした。この特定の画像が有用な情報を有さないということが決定されれば、この特定の画像は破棄する。切り離された特徴の特定の画像が有用な情報を有する場合、マスターノード２０８は、その画像にさらなる処理を行なう。詳細には、マスターノード２０８は、視覚的認識およびデータマイニングを達成するコンピュータープログラムを実行して遂行する。一実施形態では、このコンピュータープログラムは、ＮＡＳＡ  Ｊｅｔ  Ｐｒｏｐｕｌｓｉｏｎ  ＬａｂｏｒａｔｏｒｉｅｓおよびＣａｌＴｅｃｈによって開発された「Ｃｏｎｔｉｎｕｏｕｓｌｙ  Ｓｃａｌａｂｌｅ  Ｔｅｍｐｌａｔｅ  Ｍａｔｃｈｉｎｇ（コンティニュアスリー・スケーラブル・テンプレート・マッチング）」と呼ばれるコンピュータープログラムとして構成される。このコンピュータープログラムは、データマイニングを達成する第一部分と、視覚的認識を達成する第二部分とを含む。このデータマイニング部分は、当分野で公知であり、ＮＡＳＡのＪｅｔ  Ｐｒｏｐｕｌｓｉｏｎ  Ｌａｂｏｒａｔｏｒｙによって開発された「Ｄｉａｍｏｎｄ  Ｅｙｅ（ダイヤモンド・アイ）」として公知のコンピュータープログラムとして構成される。この「Ｄｉａｍｏｎｄ  Ｅｙｅ」コンピュータープログラムは、画像マイニングサービスに対するプラットフォーム依存性のアクセスを提供する、分散型アプレット／サーバーアーキテクチャに基づく。「Ｄｉａｍｏｎｄ  Ｅｙｅ」コンピュータープログラムに関連するデータベースは、永続的な記憶を提供し、「マイニングされた（ｍｉｎｅｄ）」情報のクエリーを可能にする。この計算エンジンは、データマイニングのタスク：画像処理、物体認識、およびコンテンツ・オペレーションによるクエリー（ｑｕｅｒｙｉｎｇ−ｂｙ−ｃｏｎｔｅｎｔ  ｏｐｅｒａｔｉｏｎ）の最も要求の多い部分の並行した遂行を行なう。このデータマイニングプロセスの目的は、前述の説明に記載されたセグメンテーションプロセスから得られる、切り離された特徴、または対象の画像の特徴から、所望の特定の画像データを抽出することである。使用者は、切り離された特徴または対象の画像の特徴からマイニングされる画像データのパラメーターを規定する、特定のデータを入力する。
【００２６】
マスターノード２０８によって実行されるコンピュータープログラムの視覚的認識部分は、コンピュータープログラムのデータマイニング部分によって得られるマイニングされたデータがファイルサーバー画像集積装置２２２の参照ライブラリー部分の任意の参照画像にマッチするかまたは対応するかを決定するパターン認識プログラムを含む。光学認識プログラムは、サイズが異なるがそうでなければ特定の（参照）パターンと同様であるパターンを検出できる。マッチングまたは対応が存在する場合、参照画像、この参照画像にマッチまたは対応する対象の切り離された特徴、およびこの参照画像と関連する任意の情報が、ワークステーション２００、２０２および２０４のディスプレイ上に提示される。マスターノード２０８はまた、目的の領域を同定するために対象の切り離された特徴において統計学的分析を行ない、診断を行なう医療従事者を補助する、画像分析プログラムの遂行および実行を達成する。１つの適切な画像分析プログラムは、米国国立衛生研究所（Ｎａｔｉｏｎａｌ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｈｅａｌｔｈ）で開発されたＩｍａｇｅＪプログラムである。結果として、医療従事者は、ワークステーション２００、２０２および２０４のいずれかで、得られた情報を見る際に診断を行なうことができる。対象の切り離された特徴にマッチする参照画像も対応する参照画像もなければ、このような情報はワークステーション２００、２０２および２０４で提示される。
【００２７】
マスターノード２０８はまた、画像処理システム１９０のノードの全ての費用および時間効果的なスケジューリングを達成する、次の説明に詳しく記載される、スケジューリングプログラムを実行および遂行する。従って、画像処理システム１９０に１６、６４または１２８のいずれのノードが存在しようと、このノードは、費用効果的な方式で最適の操作を達成するために効果的に用いられる。
【００２８】
図５Ａ〜図５Ｄを参照すれば、画像処理システム１９０によって実行される画像処理方法のフローチャートが示される。この方法は、工程３００において、使用者によってワークステーション２００、２０２および２０４のいずれかにコマンドが入力された際に開始する。工程３０２では、使用者はワークステーション２００、２０２および２０４のいずれかを用いて、データベースサーバー２２０からの画像を検索する。この検索された画像が、マスターノード２０８によって処理されて分析されるべき画像である。前述の説明に記載されるとおり、この検索された画像は、ＪＰＥＧ、ＴＩＦＦまたは他の形式であってもよい。工程３０４では、マスターノード２０８は、この検索された画像を、マスターノード２０８によって処理するのに適切な生データに変換する。工程３０６では、使用者は、マスターノード２０８によって実行される階層的セグメンテーションプロセスによって、使用のためのパラメーターデータおよび再帰的レベルデータのような、コマンドをワークステーション２００、２０２および２０４に入力してもよい。パラメーターデータとしては、対象の画像が分割される領域の数が挙げられる。各々の領域は、医療従事者が分析の目的とする画像の特定の一部を規定する。この再帰的レベルデータによって、所望のビット解像度および画像を処理するのに必要な帯域幅を規定する。別の実施形態では、パラメーターデータおよび再帰的レベルデータは、使用者によって入力されるのではなく、そのソフトウェア内に存在する。次に、工程３０７によって、時間および費用効果的な操作、ならびにクラスターの使用を達成するために、マスターノード２０８内のクラスターの使用をスケジューリングする、クラスタースケジューリングプログラムの実行を達成する。従って、工程３０７によって、全てのクラスターが任意の所与の時点で常に実行タスクであること、およびアイドリング状態のクラスターがないことが確実にされる。工程３０７はまた、時間および効率的な操作、ならびにファイルサーバー画像集積装置２２２およびデータベースサーバー２２０の使用をスケジューリングする。スケジューリングプログラムは、次の説明で記載される。次に、工程３０８では、この方法を、階層的セグメンテーションプロセスで続行すべきか否かが決定される。この方法が、階層的なセグメンテーションで続行されるべきでないならば、この方法は工程３０９で終わる。この方法が階層的なセグメンテーションで続行されるべき場合、この方法は、工程３１０、３１２または３１４に進む。工程３１０は、検索された画像が階層的なセグメンテーションによってセグメント分けされる前にＲＧＢ（赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ））フォーマットにこの検索された画像がフォーマットされるべきか否かを決定する。ＲＧＢフォーマットが所望される場合、この方法は工程３１８にシフトし、ここで階層的セグメントプロセスが始まる。ＲＧＢフォーマットが所望されない場合、この方法は工程３１２にシフトする。工程３１２では、検索された画像が階層的セグメンテーションによってセグメント分けされる前にこの検索された画像が８ビットフォーマットにフォーマットされるべきか否かが決定される。８ビットが所望される場合、この方法は、工程３１８にシフトして、ここで階層的セグメンテーションプロセスが始まる。８ビットフォーマットが所望されない場合、この方法は工程３１４にシフトする。工程３１４では、検索された画像が階層的セグメンテーションによってセグメント分けされる前にこの検索された画像が１６ビットフォーマットにフォーマットされるべきか否かが決定される。１６ビットフォーマットが所望されないならば、この方法は、パラメーターをリセットする工程３１５にシフトする。次いでこの方法は、工程３１６にシフトして、この方法を開始工程３００に戻す。１６ビットフォーマットが所望される場合、この方法は工程３１８にシフトし、ここで階層的セグメンテーションプロセスが始まる。前述の説明から明らかであるとおり、工程３１０、３１２および３１４によって行なわれる決定プロセスは、工程３０６に入力された再帰的レベルに依存する。工程３１８では、階層的セグメンテーションプロセスが開始して、検索された画像をセグメントに分ける。各々のセグメントは検索された画像（工程３０２で検索された）の特定の領域を規定する。工程３２０では、このセグメントがさらなる処理を受けるべきか否か、またはこのセグメントが集積装置２２２に記憶されるべきか否かが決定される。工程３２０によって、特定の領域のセグメントがさらなる処理を受けるべきでないことが決定されるならば、工程３２２は、集積装置２２２における特定の領域のこれらの画像の貯蔵を達成する。工程３２０によって、このセグメントがさらなる処理を受けるべきであることが決定されれば、この方法は工程３２４にシフトして、ここでこのセグメントによって規定される領域がマッピングされる。詳細には、工程３２４は、各々の領域に対する標識のマッピングまたは割り当てを達成する。工程３２５では、標識された領域が集積装置２２２に記憶される。
【００２９】
次に、工程３２６において、使用者は、所望のＣＳＴＭ（Ｃｏｎｔｉｎｕｏｕｓｌｙ  Ｓｃａｌａｂｌｅ  Ｔｅｍｐｌａｔｅ  Ｍａｔｃｈｉｎｇ）モデルを画定するデータを、ワークステーション２００、２０２および２０４のいずれかを介してマスターノード２０８に入力する。詳細には、このデータは、画像集積装置２２２に記憶された参照画像に基づいて作製されるべき所望のモデルを規定する。これらのモデルは、特定の病原体、細菌または他の疾患の特定の特徴および特性に基づく。次に、工程３２７で、ＣＳＴＭモデルが集積装置２２２に記憶された標識された領域に存在するか否かを決定する。この工程は、前述の説明で記載された「Ｃｏｎｔｉｎｕｏｕｓｌｙ  Ｓｃａｌａｂｌｅ  Ｔｅｍｐｌａｔｅ  Ｍａｔｃｈｉｎｇ」プログラムの実行によって達成される。ＣＳＴＭモデルが、集積装置２２２に記憶された標識された領域に存在しないならば、この方法は、工程３２８にシフトして、これがデータをワークステーション２００、２０２および２０４に送り、これによってマッチングが見出されていないことが示される。工程３２７によって、集積装置２２２に記憶された標識された領域にマッチするかまたは対応するＣＳＴＭモデルが存在することが決定されれば、この方法は工程３３０にシフトして、これによってＣＳＴＭモデル（単数または複数）が対応する特定の領域（単数または複数）を画定する標識された画像の検索が達成される。工程３３２では、検索された標識された画像がワークステーション２００、２０２および２０４で提示されて、それによって医療従事者は検索された画像を再検討して診断を行なうことが可能になる。次いでこの方法は工程３３４で終わる。
【００３０】
図６を参照すれば、工程３０７のクラスタースケジューリングプログラムのフローチャートが示される。工程４００では、クラスタースケジューリングプログラムが実行されるべきか否かが決定される。このクラスタースケジューリングプログラムが開始されるべきでない場合、このクラスタースケジューリングプログラムは終了して、マスターノード２０８によって実行された方法は工程３０８にシフトする（図５Ａを参照のこと）。クラスタースケジューリングプログラムが実行されるべきであるならば、このプログラムは工程４０２にシフトする。工程４０２は、対象の画像を処理するのに必要であるノードの数を決定する。従って工程４０２は、４、１６、６４、１２８またはそれ以上のノードが要求されるかどうかを決定する。工程４０４では、対象の検索画像を処理するのに高速ノードが必要とされるか低速ノードが必要とされるかが決定される。高速のノードを用いるかまたは低速のノードを用いるかは、処理される画像の量および任意の特定の状況、例えば、救急、化学兵器のシナリオなどによって決定される時間の要因に依存する。工程４０６では、任意の必要なノードと関連する時間の遅れがあるか否かが決定される。詳細には、工程４０６は、特定のノードが対象の検索された画像を処理するのに利用可能である前に時間の遅延があるか否かを決定する。時間の遅延とは、その他のタスクを完了するためのそのノードによって必要とされる時間の長さである。従って、特定のノードが別のタスクでビジーである場合、マスターノード２０８は、そのような他のタスクを完了するためにそのノードによって必要とされる時間の長さの満了の際に、対象の検索された画像を処理するために用いられるようにそのノードをスケジューリングする。同様に、マスターノード２０８は、現在のタスクの完了の際に新しいタスクを開始するようにノードをスケジューリングする。時間の遅延があるかどうかは、再帰的レベル、ノードの所望の数、および高速ノードが要るか低速ノードが要るかのような多くの要因に依存する。次に、工程４０８は、この特定の処理タスクについてのコスト要因を算出する。費用の関数は、再帰的レベル、ノードの所望の数、高速ノードが要るか低速ノードが要るか、および任意の時間の遅延に依存する。従って、コスト要因は、これらの先行要因のいずれかが変化される場合に変化され得る。費用要因の情報は、ワークステーション２００、２０２および２０４のいずれかに提示される。当分野で公知の数学的アルゴリズムをコスト要因を決定するのに用いる。工程４１０では、クラスタースケジューリングプログラムが終わり、マスターノード２０８によって実行される全体的プロセスが工程３０８で再開する。
【００３１】
前述の説明に記載される特定の階層的セグメンテーションならびにテンプレートマッチングコンピュータープログラムおよびアルゴリズムは、本発明の実現および実施を容易にする適切なプログラムおよびアルゴリズムの例である。従って、他の適切なセグメンテーションおよびテンプレートマッチングプログラムも同様に用いられ得るということが理解されるべきである。
【００３２】
本発明によって、多くの利点および利益、例えば、
ａ）培養の必要性の排除；
ｂ）病原体、細菌、感染性疾患および異常な細胞の迅速かつ正確な同定を提供する；
ｃ）画像処理からの画像獲得サブシステムおよび同定サブシステムの分離を可能にし、困難な条件下での遠隔操作を可能にする；
ｄ）利用可能な通信システムを利用するために複数のデータ伝達経路を使用する；
ｅ）比較的低コストの並行処理コンピューターシステムを使用してほぼリアルタイムの操作を達成する；
ｆ）感染性疾患と闘い、疾病率および死亡率を低下させ、国内および世界の辺縁地域に高レベルの医薬を提供する；
ｇ）細菌に起因する感染性疾患の診断、および食物の細菌汚染の検出を達成する；
ｈ）サブシステム１００ａは、小さい病院および診療所に、特に田舎または辺縁の地域、例えばアパラチア地方およびインディアン保留地に、そして保険医療施設へのアクセスが限定されている第三世界の国々に置くことが可能である；
ｉ）サブシステム１００ａを、大規模な食肉処理場、食肉および家禽の処理施設、大型の酪農場および他の農業関連産業に置いて、このような食肉、家禽および酪農製品が消費者に運ばれる前に細菌を検出することが可能になる；そして
ｊ）サブシステム１００ａを研究実験施設、米国疾病管理センター（Ｃｅｎｔｅｒ  ｆｏｒ  Ｄｉｓｅａｓｅ  Ｃｏｎｔｒｏｌ）および製薬業者に置いて、新規な抗生物質の研究および開発を補助することができる；
ということが得られる。
【００３３】
前述の説明は、病原体、細菌および異常な細胞の迅速な同定に関する本発明に関しているが、本発明のシステムおよび方法は、医学および歯科の分野での診断用の放射線医学および画像化のツールとして用いられ得る。詳細には、本発明のシステムおよび方法は、軟部組織の画像、乳房撮影像、ｘ線写真（骨および歯）、超音波、ＭＲＩ画像およびＣＡＴスキャンのような医学画像を分析するために構成され得る。このような実施形態では、前述の画像は、前述の説明に記載されたデジタル顕微鏡画像と一般に同じ方式で同定のための領域を作成するようにセグメント分けされる。詳細には、画像は、画像処理システム１９０に移されて、ここでワークステーション２００、２０２、および２０４を用いて画像を圧縮する。好ましい実施形態では、当分野で公知のロスなしの圧縮ソフトウェアプログラムを用いる。好ましくは、圧縮ソフトウェアは、医学的画像の使用のために認証される。適切な圧縮ソフトウェアはＧＺＩＰおよびＢＺＩＴ２である。他の適切な圧縮ソフトウェアを用いてもよい。次に、圧縮された画像をファイルサーバー画像集積装置２２２に記憶する。この圧縮された画像は集積装置２２２に記憶されて、引き続いて検索され、そこで、セグメント分けされるか、および／または別の画像、セグメントまたは領域に対して比較され得る。圧縮された画像が集積装置２２２から検索された後、この圧縮された画像は、前述の説明に記載される再帰的階層的セグメンテーションプログラムを用いてセグメンテーションのために調製される。好ましくは、この前述の再帰的階層的セグメンテーションプログラムは、前述の説明に記載されるような並行コンピューティング・プラットオフォーム（例えば、マスターノード２０８）で行なわれる。本明細書において前に記載したとおり、画像セグメンテーションプロセスは、画像をセクションまたは領域に分割する工程を含む。これらの領域は、種々の組織において正常、異常または逸脱を引き続いて伴い得るが、このセグメンテーションプロセスは単に各々の領域に総称的な標識を与えるだけである。この領域は、同様のデータ特徴の値を有するマルチスペクトルまたはハイパースペクトルの画像ピクセルの群から構成される。これらのデータ特徴の値は、マルチスペクトルまたはハイパースペクトルのデータ値自体であってもよく、そして／または帯域比もしくはテクスチャーの特徴のような派生的な特徴であってもよい。同時に、それらのセクションまたは領域にセグメント分けされている局所的画像、および標識されているマスクされたセグメント分けされた画像が、集積装置２２０に記憶される。集積装置２２０に記憶された画像は、放射線医学の画像において正常、異常または逸脱を伴っている既知のまたは規定のセグメント分けされた領域を再検討またはマッチングするために、前述の説明に記載されたスケーラブル・テンプレート・マッチング・プログラムによってリコールされ得る。
【００３４】
本発明の操作のこの原理、好ましい実施形態および形態は、前述の説明に記載されている。しかし、本明細書において保護されることが意図される本発明は、開示された特定の形態に限定されると解釈されるべきではない。なぜならそれらは限定ではなく例示とみなされるべきであるからである。本発明の趣旨から逸脱することなく変異の変化を当業者によって行なうことができる。従って、前述の詳細な説明は、本質的に例示と解釈されるべきであり、添付の特許請求の範囲に記載される本発明の範囲および精神を限定はしない。
【図面の簡単な説明】
【００３５】
【図１】本発明のシステムのブロック図である。
【図２】図１に示される画像化サブシステムの一実施形態の斜視図である。
【図３】図２の画像化サブシステムの後ろ側の斜視図である。
【図４】図１に示される画像化サブシステムの操作を図示するフローチャートである。
【図５】図１に示される画像管理診断用サブシステムのブロック図である。
【図５Ａ】図５に示される画像管理診断用サブシステムの操作を図示するフローチャートを示す。
【図５Ｂ】図５に示される画像管理診断用サブシステムの操作を図示するフローチャートを示す。
【図５Ｃ】図５に示される画像管理診断用サブシステムの操作を図示するフローチャートを示す。
【図５Ｄ】図５に示される画像管理診断用サブシステムの操作を図示するフローチャートを示す。
【図６】図５に示される画像管理診断用サブシステムによって用いられるクラスタースケジューリングプロセスを図示するフローチャートである。
【符号の説明】
【００３６】
１００    システム
１００ａ    サブシステム
１００ｂ    サブシステム
１０６    ビデオカメラ
１１１    アンテナ
１２０    ハウジング
１２２    コントロールパネル
１２３    コントロールパネル
１２４    インターフェース
１２６    ＲＳ２３２インターフェース
１２８    ビデオデータポート
１３０    ビデオデータポート
１３２    ＵＳＢポート
１３４    外部電源入力
１３６    バッテリーパック
１３８    スクリーン
１４０    スライド挿入デバイス
１４２    試料スライド
１４４    流体インレット
１４６    流体アウトレット
【図１】
0004585511.tif 000002
【図２】
0004585511.tif 000003
【図３】
0004585511.tif 000004
【図４】
0004585511.tif 000005
【図５】
0004585511.tif 000006
【図５Ａ】
0004585511.tif 000007
【図５Ｂ】
0004585511.tif 000008
【図５Ｃ】
0004585511.tif 000009
【図５Ｄ】
0004585511.tif 000010
【図６】
0004585511.tif 000011