(57)【要約】本発明の方法、システム及び装置は、医療診断、予後及び治療に有用であるパターンの識別のために、サポートベクトルマシン及びＲＦＥ（反復特徴排除）を使用することを含む。ＳＶＭ−ＲＦＥは、変動データセットとともに使用することができる。
2005502097.tif 000002
【特許請求の範囲】
【請求項１】
データのパターンを識別するためのコンピュータ実施方法であって、以下を包含する。
（ａ）公知の結果を有する訓練セットを分類子内に入力する工程であって、前記分類子は、各々が重量値を有する複数の重量を有する決定関数を含み、前記訓練セットは前記データに対応する特徴を含み、各特徴は対応する重量を有する工程；
（ｂ）分類子エラーが最小限になるように前記複数の重量を最適化する工程；
（ｃ）前記最適化された複数の重量を使用してランキング基準を計算する工程；
（ｄ）最小ランキング基準に対応する少なくとも１つの特徴を排除する工程；
（ｅ）所定サイズの特徴のサブセットが残るまで、複数回反復で、工程（ａ）から（ｄ）を繰り返す；
（ｆ）データのライブセットを前記分類子に入力する工程であって、前記ライブセット内の特徴は前記特徴のサブセットに従って選択される。
【請求項２】
前記分類子はサポートベクトルマシンである請求項１に記載の方法。
【請求項３】
前記分類子はソフトマージンサポートベクトルマシンである、請求項１に記載の方法。
【請求項４】
特徴に対応する前記ランキング基準は、前記対応する特徴のために前記最適化された重量を、二乗することによって計算される、請求項１に記載の方法。
【請求項５】
前記決定関数は二次関数である請求項１に記載の方法。
【請求項６】
前記工程（ｄ）は、工程（ａ）から（ｄ）の単一反復で前記最小ランキング基準に対応する複数の特徴を排除することを含む、請求項１に記載の方法。
【請求項７】
前記工程（ｄ）は、工程（ａ）から（ｄ）の少なくとも第１の反復で前記最小ランキング基準に対応する複数の特徴を排除することと、後の反復において各反復で１つの特徴を排除することを含む、請求項１に記載の方法。
【請求項８】
前記工程（ｄ）は、特徴の数が各反復で２分の１に減少するように、前記最小ランキング基準に対応する複数の特徴を排除することを含む、請求項１に記載の方法。
【請求項９】
前記訓練セット及び前記ライブセットは、ＤＮＡマイクロアレイから得られた遺伝子発現データを含む、請求項１に記載の方法。
【請求項１０】
前記特徴が比較できるほど倍率変更されるように、前記訓練セット及び前記ライブセットを前処理する工程をさらに含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遺伝子、遺伝子産品、蛋白質、脂質及びこれらの組み合わせ等の生体系における関連パターンを識別する学習機械の使用に関する。生体系のこれらのパターンは、異常な生理状態を診断し予測するのに使用することができる。加えて、本発明を使用して検出することができるパターンは、治療剤を開発するために使用することができる。
【背景技術】
【０００２】
（発明の背景）
有機体に関する莫大な量のデータが、ゲノムのシーケンスに生成されている。この情報を使用して個人に治療及び療法を提供することは、集められた情報を徹底的に理解することを必要とする。ゲノム情報を使用する努力は既に遺伝子発現調査装置の開発に導いている。現在もっとも見込みのある装置の１つが、遺伝子チップである。遺伝子チップは、硬い基部構造物に取り付けられたオリゴヌクレオチドプローブのアレイを有する。そのような装置は、米国特許第５，８３７，８３２号及び第５，１４３，８５４号に記載されており、その全体が参照してここに組み込まれる。チップに存在するオリゴヌクレオチドプローブを使用して、ターゲットの核酸が特定の参照シーケンスと同一であるヌクレオチドシーケンスを有するかまたは異なるヌクレオチドシーケンスを有するかを決定することができる。プローブのアレイは、参照シーケンスに相補的であるプローブと、相補的プローブとは多くの塩基の１つが異なるプローブと、を備える。
【０００３】
遺伝子チップは、非常に小さなチップにオリゴヌクレオチドの大きなアレイを含むことができる。どのプローブがハイブリダイズしているかを決定するためにハイブリダイゼーション強度データを測定するための様々な方法が、業界では公知である。ハイブリダイゼーションを検出定するための方法は、蛍光、放射性、酵素、化学発光、生物発光、及びその他の検出システムを含む。
【０００４】
ゲル電気泳動及びゲルブロットまたはドットブロットへのハイブリダイゼーション等の古いが依然として使用可能である方法は、遺伝子シーケンス情報を決定するためにも有用である。解決ハイブリダイゼーション及びその場ハイブリダイゼーション方法用の捕獲及び検出システムも、ゲノムに関する情報を決定するために使用される。加えて、染色体歩行及びファージライブラリ制定等の、ゲノムシーケンスの大きな部分を規定するために以前に及び現在使用される方法が、ゲノムに関する知識を得るために使用される。
【０００５】
シーケンス、調節、活性化、結合部位及び内部符号信号に関する大量の情報を、業界で公知の方法で生成することができる。事実、そのような方法によって生成されているデータの量は、有用な情報の派生を妨害する。ニューラルネットワーク等の進歩した学習ツールによって補助される人間の調査員は、大きな特徴の豊富なデータセットに表された基礎をなすプロセスの未加工モデルを引き出すことができるだけである。
【０００６】
大量のデータを生成することができる生物学調査の別の領域は、プロテオミクスの新興分野である。プロテオミクスは、ゲノムでエンコードされ調節される蛋白質のグループの研究である。この分野は、蛋白質の分析、蛋白質レベルの調節、及び、遺伝子調節及び発現への関係に対する新しい焦点を表す。個人または集団のプロテオームの正常な状態または病理状態を理解することは、疾病の予後または診断、薬剤または遺伝子治療の開発、または、酵素補充療法の情報を提供する。プロテオームを研究する現在の方法は、質量分光測光による分析が続く蛋白質の二次元（２−Ｄ）ゲル電気泳動に関与する。病因または治療のいずれの特定な時または段階における蛋白質のパターンを、二次元ゲル電気泳動によって観察することができる。二次元ゲルに分離された細胞に見出される何千もの蛋白質を識別するのに問題が生じる。質量分光測光計を使用して、アミノ酸シーケンスを識別しこれを公知のシーケンスデータベースと比較することによってゲルから単離された蛋白質を識別する。残念ながら、これらの方法は、少量のプロテオームを分析するのに、複数の工程を必要とする。
【０００７】
近年、遺伝子発現を蛋白質生成構造及び機能に関連づけることができる技術が開発されている。自動化された高性能分析、核酸分析及び生物情報学技術によって、ゲノムを精査し、遺伝子の変異及び発現を疾病素因及び進行に連結する能力が補助される。現在の分析的な方法は、これらの技術によって生成される大量のデータを取り扱う能力に限界がある。
【０００８】
生体系の機能パラメータを決定するより最近の進歩の１つは、ゲノム情報と蛋白質機能との相関を分析して、遺伝子発現、蛋白質機能及び相互作用と、疾病状態または進行との間の関係を解明することである。ゲノム活性化または発現は、必ずしも、蛋白質生成レベルまたは活動の直接変化を意味しない。ｍＲＮＡの代替処理または転写後のまたは変換後の調節機構が、１つの遺伝子を活動させて結果として複数の蛋白質になり、そのすべては、異なる移行パターン及び生物活性でわずかに異なる。ヒトゲノムは、潜在的に３０，０００遺伝子を含むが、ヒトプロテオームは５０〜１００倍大きいと思われている。現在、そのような生物学的調査によって生成されたデータをゲノム及びプロテオームに適切に分析するための方法、システムまたは装置はない。
【０００９】
知識発見は、データ収集のもっとも望ましい最終結果である。データベース技術における最近の進歩は、広大な量のデータを生成し収集し格納するためのシステム及び方法の爆発的増加へ導く。データベース技術は、大きなデータセットの効率的な収集及び格納を可能にする一方、このデータの情報を人間が理解するのを容易にする課題は、より困難になっている。多くの従来の技術では、問題は接近することができなくなった。したがって、自動化知識発見ツールを新しく生成する必要がある。
【００１０】
特別な例として、ヒトゲノムプロジェクトが、ヒト遺伝子コードを記載するマルチギガバイトデータベースを読み込んでいる。ヒトゲノムのこのマッピングが完了する前に、データベースのサイズが著しく大きくなると予想される。そのようなデータベースの広大な量のデータは、スプレッドシート及び任意問い合わせ等のデータ分析用の従来のツールを圧倒する。データ分析の従来の方法は、データ内から情報的なリポートを作成するのに使用しうるが、人間が広大な量のデータ内の有用な知識のパターンを分析し見出すのを知的に且つ自動的に補助する能力はない。同様に、解釈のために従来受容された参照範囲及び標準を使用して、人間が非常に少量なででさえ有用な知識のパターンを識別することは不可能であることが多い。
【００１１】
近年、データ分析用の機械学習アプローチは、パターンを認識するために広く探索されており、これは、今度は、関連のない詳細に過ぎないものを提供するデータも含んでもよい大きなデータセット内に含まれる重要な情報を抽出することができる。学習機械は、公知の結果を備えたデータを使用して一般化するように訓練されうるアルゴリズムを備える。訓練された学習機械アルゴリズムは、次いで、未知の結果の場合に結果を予測するのに適用されうる。機械学習アプローチは、ニューラルネットワーク、隠れマルコフモデル、信頼ネットワーク及びサポートベクトルマシンを含むが、大量のデータの存在、ノイズパターン及び一般理論の欠如によって特徴づけられたドメインに理想的に適する。
【００１２】
調査されてきた学習機械の大部分は、戻り伝播、すなわち勾配に基づく方法を使用して訓練されたニューラルネットワークであり、その中では、訓練データの分類のエラーがネットワークを通って戻って伝播され、平均平方エラーが最小化されるまでネットワーク要素のバイアス重量を調節する。戻り伝播ニューラルネットワークの重大な欠点は、経験的リスク機能が多くの局所最小を有することもあることであり、すなわち、発見からの最適な解決を容易にあいまいにする可能性があるケースである。戻り伝播ニューラルネットワークによって利用される標準最適手順は、最小へ収束させうるが、ニューラルネットワーク方法は、局所最小でさえ達成されると保証することはできず、まして所望の大域最小は保証できない。ニューラルネットワークから得られる解決の質は、多くの要因に依存する。特に、ニューラルネットワークを実施する医者の技量が究極の利益を決定するが、当初重量の無作為選択の害のないと思われる要因でさえ、不良な結果を導く可能性がある。さらに、ニューラルネットワーク学習に使用される勾配に基づく方法の収束は、生得的に遅い。さらなる欠点は、シグモイド関数が倍率を有し、これが、推定概算の質に影響を与えるということである。おそらく、知識発見に関するようなニューラルネットワークの最大限定要因は、訓練データの各追加特徴または次元のために必要な計算時間及び力における不均衡な増大に関連した「次元の災害」である。
【００１３】
ニューラルネットワークの欠点は、サポートベクトルマシンを使用して克服される。一般論として、サポートベクトルマシは、原因から結果へ選択された非線形マッピング機能を通して高次元特徴空間内に入力ベクトルを位置づける。この高次元特徴空間で、最適分離超平面が構築される。次いで最適超平面を使用して、クラス分離、回帰適合または密度評価の精密度等の物事を決定する。
【００１４】
サポートベクトルマシ内では、特徴空間の次元は巨大でありうる。例えば、４度多項式マッピング機能が、２００次元入力空間を１６０億次元特徴空間内にマッピングさせる。カーネルトリック及びＶａｐｎｉｋ−Ｃｈｅｒｖｏｎｅｎｋｉｓ（「ＶＣ」）次元によって、サポートベクトルマシが「次元の災害」を挫くのを可能にして他の方法を制限し、この非常に高い次元特徴空間から一般化可能な答えを効果的に引き出すことができる。
【００１５】
訓練ベクトルが最適超平面（または一般化された最適超平面）によって分離されるならば、検出例にエラーを行う可能性の予想値は、訓練セットの例によって束縛される。この束縛は、特徴空間の次元にも、係数のベクトルの規範にも、入力ベクトルの数の限界にも依存しない。したがって、最適超平面が、訓練セットサイズに対してサポートベクトルの小さな数から構築することができるのであれば、無限の次元空間においてさえ、一般化能力は高くなる。サポートベクトルマシンは、米国特許第６，１２８，６０８号及び第６，１５７，９２１号に開示されており、両方とも、本願の譲受人に譲渡され、参照してここに組み込まれる。
【００１６】
ゲノム及びプロテオームの試験から生成されたデータは、多くの異なる見解から分析することができる。監視されていない学習技術（Ａｌｏｎ、１９９９）によって発見された遺伝子クラスターの研究等の簡単なアプローチを文献は示す。例えば、各実験は、特定の疾病を有するかまたは有さない１人の患者に対応しうる（例として（Ｇｏｌｕｂ、１９９９）参照）。この場合、クラスタリングは普通、患者を同様の臨床記録と一緒にする。監視された学習も蛋白質の分類（Ｂｒｏｗｎ、２０００）及び癌の分類（Ｇｏｌｕｂ、１９９９）に適用される。
【００１７】
サポートベクトルマシンは、広大な量の入力データから知識を発見する問題に望ましい解決を提供する。しかし、データセットから知識を発見するサポートベクトルマシンの能力は、訓練データセット内に含まれた情報に比例して限定される。したがって、サポートベクトルマシンによって知識発見を最大限にするために訓練データを増大するように、データを前処理するためのシステム及び方法の必要性が存在する。
【００１８】
さらに、サポートベクトルマシンからの生出力は、もっとも容易に解釈可能な形態に知識を完全に開示しないこともある。したがって、人間のためまたはさらなる自動化処理のために送出された情報の価値を最大限にするために、サポートベクトルマシンからのデータ出力を後処理するためのシステム及び方法もさらに必要である。
【００１９】
加えて、データから知識を発見するサポートベクトルマシンの能力は、選択されたカーネルの種類によって限定される。したがって、サポートベクトルマシンに適切なカーネルを選択しおよび／または形成するための改良されたシステム及び方法が必要である。
【００２０】
さらに、プロテオミクス及びゲノムの調査によって生成されたデータベースに含まれた情報を操作するために、方法、システム及び装置が必要である。また、ゲノムの源、プロテオームの源及び生物学的情報の従来の源からの情報を統合するために、方法、システム及び装置が必要である。そのような情報は、疾病及び生体系及び他の系のその他の変化の診断および予後のために必要である。
【００２１】
さらに、サポートベクトルマシンによって識別された疾病及び生体系の他の変化を治療するための方法及び組成が必要である。ひとたび、データの間のパターンまたは関係が本発明のサポートベクトルマシンによって識別され特定の疾病状態を検出するかまたは診断するために使用されると、遺伝子チップ及び体液または身体的変化の検出を含む診断試験、及び、状態を治療するための方法及び組成が必要である。
【発明の開示】
【発明が解決しようとする課題】
【００２２】
（発明の概要）
本発明は、一般に学習機械を使用し特にサポートベクトルマシンを使用して、データから発見された知識を高めるためのシステム及び方法を備える。特に、本発明は、疾病等の生体系の変化を診断および予測するために学習機械を使用する方法を備える。さらに、ひとたび、データから発見された知識が決定されると、発見された特定の関係を使用して疾病を診断および予測し、そのような疾病を検出し治療するための方法が生体系に適用される。特に、本発明は、前立腺癌に関与する遺伝子の検出、及び、前立腺癌の治療をするための方法及び組成を決定することに関する。
【課題を解決するための手段】
【００２３】
本発明の１つの実施形態は、学習機械のもっとも有利な適用を可能にするために、訓練データセットを前処理することを含む。各訓練データ点は、１つまたはそれ以上の座標を有するベクトルを含む。訓練データセットを前処理することは、失われたまたは誤ったデータ点を識別することと、損なわれたデータを訂正するかまたは必要に応じて問題の範囲から観察または分野全体を除去するために適切な工程を取ることと、を含んでもよい。訓練データセットを前処理することは、１つまたはそれ以上の座標をベクトルに加えることによって、各訓練データ点へ次元を加えることも含んでもよい。ベクトルに加えられた新しい座標は、１つまたはそれ以上の元々の座標へ変換を適用することによって導き出されうる。変換は、専門知識に基づいてもよく、または、計算によって導き出されうる。訓練データセットが連続型変数を有する状況において、変換は、訓練データセットの連続型変数を任意にカテゴリー化することを含んでもよい。
【００２４】
好適な実施形態において、サポートベクトルマシンは、前処理された訓練データセットを使用して、訓練される。このようにして、前処理によって提供された訓練データの追加表示は、それから知識を発見する学習機械の能力を高めうる。サポートベクトルマシンの特定の背景状況において、訓練セットの次元が大きくなればなるほど、それから導き出される一般化の質は高くなる。データから発見されるべき知識が回帰または密度の評価に関するときには、または、訓練出力が連続型変数を有する場合には、訓練出力は、訓練出力を任意にカテゴリー化して連続型変数からカテゴリー化を導き出すことによって、後処理されうる。
【００２５】
元々の座標のいくつかは、ノイズであるか、または問題とは無関係でもよく、したがって、有用というよりはむしろ有害である。本発明の好適な実施形態において、前処理は、フィルタ技術を使用して当面の問題に関連のない座標を除去することも含む。そのようなフィルタ技術は、当業者には公知であり、相関係数及び第１の数個の主要な構成要素の選択を含んでもよい。
【００２６】
試験データセットは、訓練データセットがされたのと同一のやり方で前処理される。次いで訓練された学習機械は、前処理された試験データセットを使用して試験される。訓練された学習機械の試験出力は、試験出力が最適解決であるか否かを決定するために、後処理されうる。試験出力を後処理することは、試験データセットと比較することができるフォーマットに、試験出力を解釈することを含んでもよい。代替後処理工程は、人間が解釈できることまたは出力データを追加処理するための適切性を高めうる。
【００２７】
サポートベクトルマシンの背景状況において、本発明は、サポートベクトルマシンを訓練する前に、少なくとも１つのカーネルの選択も提供する。カーネルの選択は、対処している特定の問題の以前の知識または学習機械で使用されるべきいずれの利用可能なデータの特性の分析に基づいてもよく、典型的にはデータから発見されるべき知識の性質に依存する。任意に、後処理された訓練出力または試験出力を比較する反復プロセスを、どの構成が最適解決を提供するか決定するために、適用することができる。試験出力が最適解決ではない場合には、カーネルの選択が調節されてもよく、サポートベクトルマシンが再訓練され再試験されうる。最適解決が識別されたと決定されたときには、ライブデータセットが収集され、訓練データセットがされたのと同一のやり方で前処理されうる。前処理されたライブデータセットは、処理のために学習機械に入力される。学習機械のライブ出力は、次いで、計算的に導き出された英数字分類子にまたはＳＶＭで導き出された答をさらに利用するのに適切な他の形態にライブ出力を解釈することによって、後処理されうる。
【００２８】
例示的な実施形態において、サポートベクトルマシンを使用してデータから発見された知識を高めるシステムが提供される。例示的なシステムは、訓練データセット及び試験データセットを格納するための格納装置と、サポートベクトルマシンを実行するためのプロセッサとを備える。プロセッサはまた、データベースから訓練データセットを収集し、訓練データセットを前処理して複数の訓練データ点の各々を高め、前処理された訓練データセットを使用してサポートベクトルマシンを訓練し、データベースから試験データセットを収集し、訓練データセットがされたのと同一のやり方で試験データセットを前処理し、前処理された試験データセットを使用して訓練されたサポートベクトルマシンを試験し、訓練されたサポートベクトルマシンの試験出力を受け取るのに応答して、試験出力が最適解決であるか否かを決定するため、試験出力を後処理するように、操作可能である。例示的なシステムは、離れた源から試験データセット及び訓練データセットを受け取るために通信装置も備えうる。そのような場合、プロセッサは、訓練データセットを前処理する前に格納装置に訓練データセットを格納し、試験データセットを前処理する前に格納装置に試験データセットを格納するように、操作可能でありうる。例示的なシステムはまた、後処理された試験データを表示するためにディスプレイ装置を備えうる。例示的なシステムのプロセッサは、さらに、上述の各追加機能を実行するように操作可能でありうる。通信装置は、さらに、計算的に導き出された英数字分類子または他のＳＶＭに基づいた生のデータまたは後処理された出力データを離れた源へ送るように操作可能でありうる。
【００２９】
例示的な実施形態において、一般に複数の学習機械を使用し特に複数のサポートベクトルマシンを使用して、データからの知識発見を高めるためのシステム及び方法が提供される。学習機械様の訓練データは、これに意味を加えるために前処理される。データを前処理することは、データ点を変換すること、及び／または、データ点を拡大すること、に関与しうる。データに意味を加えることによって、学習機械には、処理のためにより大きな量の情報が提供される。特にサポートベクトルマシンに関して、処理される情報の量が大きくなればなるほど、導き出されうるデータに関する一般化がより良好になる。複数のサポートベクトルマシンは、各々が弁別的なカーネルを備え、前処理された訓練データで訓練され、同一のやり方で前処理される試験データで試験される。あるとすれば、どの試験出力が最適解決を表すかを決定するために、複数のサポートベクトルマシンからの試験出力が比較される。１つまたはそれ以上のカーネルの選択が調節されてもよく、１つまたはそれ以上のサポートベクトルマシンが再訓練され再試験されうる。最適解決が達成されたと決定されたときには、ライブデータセットが前処理され、最適解決を生成したカーネルを備えるサポートベクトルマシンに入力される。学習機械からのライブ出力は、次いで、人間が解釈するかまたはコンピュータ自動化プロセスのために、計算的に導き出された英数字分類子内で後処理されうる。
【００３０】
好適な実施形態は、前立腺癌に関与する遺伝子を検出するための方法及びシステム、及び、前立腺癌を治療するための方法及び組成を決定することを含む。本発明は、監視された学習技術を備え、現在公知のすべてのアレイを使用することができる。数個の単一遺伝子が、エラーなしで１７ＢＰＨ対２４Ｇ４を分離する。ここに開示された方法を使用して、１つのＢＰＨが自動的に外れ値と識別された。ＳＶＭは、少なくともわずか２遺伝子で、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔエラーをゼロにすることができる。ＳＶＭによって選択された２遺伝子の空間において、正常試料及び異形成がＢＰＨに類似し、Ｇ３がＢＰＨ及びＧ４から別個のクラスターを構成する。
【発明を実施するための最良の形態】
【００３１】
（詳細な説明）
本発明は、学習機械を使用してデータから知識を発見するための方法、システム及び装置を提供する。特に、本発明は、生体系の変化に関する情報が提供される学習機械を使用してデータから知識を発見するための方法、システム及び装置に関する。より詳細には、本発明は、疾病等の生体系の変化を診断および予測するためにそのような知識を使用する方法を含む。加えて、本発明は、個別の生体系の変化を有する個人を試験し治療することにそのような知識を適用するための方法、組成物及び装置を備える。好適な実施形態は、前立腺癌に関与する遺伝子の検出及び前立腺癌の患者を治療するためにそのような知識を使用することを含む。
【００３２】
ここで使用される「生物学的データ」は、人間、動物、または、微生物、ウイルス、植物及び他の生物を含む他の生物学的有機体の生物学的状態を測定することから派生するいずれのデータを意味する。測定は、医者、科学者、診断医等に公知であるいずれの試験、アッセイまたは観察から行われうる。生物学的データは、臨床試験及び観察、物理的及び化学的測定、ゲノム決定、プロテオーム決定、薬剤レベル、ホルモン及び免疫試験、神経化学または神経物理測定、ミネラル及びビタミンレベル決定、遺伝子歴及び家族歴、及び、試験を受けている単数または複数の個人の状態に関する識見を与えうる他の決定を含んでもよいが、これらに限定されない。ここで、「データ」という用語は、「生物学的データ」と交換可能に使用される。
【００３３】
学習機械の数種類の実施例が存在しこの分野での進歩が予想されるが、本発明の例示的実施形態は、サポートベクトルマシンに焦点を当てている。業界では公知のように、学習機械は、公知の結果を有するデータを使用して一般化するように訓練されうるアルゴリズムを含む。訓練された学習機械アルゴリズムは次いで、予測のため未知の結果の場合に適用されうる。例えば、学習機械は、データのパターンを認識するか、データの回帰を概算するか、または、データ内の確率密度を概算するか、するように訓練されうる。学習機械は、当業者に公知のように広く様々な問題を解決するように訓練されうる。訓練された学習機械は、試験データを使用して任意に試験されてもよく、その出力が、受入可能な誤差限界内で実証されることを確実にする。ひとたび学習機械が訓練され試験されると、ライブデータがその中に入力されうる。学習機械のライブ出力は、ライブデータへ適用されたような訓練データのすべてから発見された知識を含む。
【００３４】
本発明は、生物学的データ、すなわち、遺伝子、転写及び翻訳産品、及び蛋白質の試験によって生成されるようなデータに見られるパターンを分析するための方法、システム及び装置を含む。ゲノム情報は、ゲノムフラグメントと相補的核酸または相互作用蛋白質とのハイブリッド形成反応によって生成されるパターンに見ることができる。そのようなゲノムのまたは核酸の相互作用を調査するためのもっとも最新のツールの１つが、ＤＮＡ遺伝子チップまたはマイクロアレイである。マイクロアレイによって、何千もの核酸相互作用の処理が可能になる。ＤＮＡマイクロアレイは、研究者が１回の実験で何千もの遺伝子をスクリーニングすることを可能にする。例えば、マイクロアレイは、小さなガラススライド上に２４００遺伝子を含むことができ、試料内にＤＮＡまたはＲＮＡが存在するかを決定するために使用することができる。そのようなマイクロアレイ試験は、腫瘍生物学、神経科学、情報伝達、転写調節、及び、サイトカイン及び受容体研究を含む基本研究及び生物医学的研究に使用することができる。加えて、製薬発見、目標識別、リード最適化、薬物動力学、薬理ゲノム学及び診断学に適用される。マイクロアレイ技術の市場は、１９９９年にはおよそ９８００万ドルであった。複数のマイクロアレイ試験から展開されたデータベースに生成され保存されたデータの量は巨大である。本発明は、そのようなマイクロアレイ及び核酸チップの試験で生成されたデータを、疾病の診断及び予後のために、及び、そのような疾病を治療するための治療薬剤を開発するために、使用することができる方法、システム及び装置を提供する。
【００３５】
本発明は、生体系の状態または特定の変化を診断または予測するために使用できるプローブを識別する特定のシーケンスを備えたマイクロアレイを備える装置も備える。ひとたび本発明の学習機械が、生体系の現在の状態または変化を診断または予測することができるデータの中の特定な関係を識別すると、特定の装置は次いでこれらの特定の関係用の試験を組み込む。例えば、本発明の学習機械は、例えば腫瘍の存在または出現等の生体系における変化の存在または将来の発生に関係する特定の遺伝子を識別する。これらの遺伝子のシーケンスを知ることによって、これらの識別された遺伝子用に特定の治療装置を作ることが可能である。例えば、特定的に識別された遺伝子へ特定的に結合するＤＮＡ、ＲＮＡまたは特定の結合蛋白質またはいずれのそのような組み合わせを含むチップ等のサポート装置を使用して、特別な腫瘍を有するかまたは腫瘍を発現する可能性を有する個人を容易に識別する。加えて、特定の蛋白質、すなわち、学習機械によって識別されたものかまたは学習機械によって識別された遺伝子に関連するものかのいずれかを、例えば、識別された蛋白質、遺伝子産品を特定して検出することに関する血清試験を使用することによって、または、蛋白質または遺伝子産品に関する単数または複数の抗体フラグメントを使用することによって、決定することができる。そのような試験は、チップ上の抗体マイクロアレイ、ウェスタンブロッティング試験、ＥＬＩＳＡ、及び、特定の結合パートナー間の結合を使用してパートナーの一方を検出する業界で公知の他の試験を含むが、これらに限定されない。
【００３６】
さらに、本発明は、生物学的有機体に現在存在する状態または生体系の変化から生じる状態を治療するための、または、特定の状態を防止するかまたは高めるために生体系を変えるために生体系を治療するための、方法及び組成物を含む。例えば、個人の診断が腫瘍の検出を含むのであれば、その個人は、化学療法組成物等の制癌剤で治療することができる。個人の診断が、腫瘍発現の傾向または予後を含むのであれば、その個人は、腫瘍の発生を防止するために予防的に化学療法組成物で治療されうる。特定の遺伝子が腫瘍の発生で識別されるのであれば、その個人は、そのような遺伝子の表出を抑制するために、特定のアンチセンスまたは他の遺伝子治療方法で治療されうる。加えて、特定の遺伝子または遺伝子産品が腫瘍の発生で識別されるのであれば、その遺伝子または遺伝子産品を禁じるかまたは機能的に作用する特定の組成物が、その個人に投与される。ここに記載される事例は、単に例示的なものであり、本発明の範囲を限定するように解釈されるものではない。
【００３７】
プロテオミクスが、正常な状態及び病的な状態に関与する蛋白質を決定する方法を提供する。いずれの特定の時間または段階で１人の人間または集団のプロテオームを決定する現在の方法は、試料内の蛋白質を分離するためにゲル電気泳動を使用することを含む。好ましくは、二次元の電気泳動を使用して、蛋白質をより完全に分離する。加えて、試料は、公知の蛋白質を除去するために前処理されうる。蛋白質は、選択されたプロテオームによって生成されたパターンを決定するのを補助するために、例えば、蛍光染料でラベルづけされうる。分離された蛋白質のパターンは、本発明の学習機械を使用して分析することができる。ゲル画像を捕捉することは、デンシトメトリ、ＣＣＤカメラ及びレーザスキャン、及び、保存蛍光体器具等の業界で公知の画像技術方法によって達成することができる。ゲルの分析によって、病的な状態の診断及び予後に重要であるプロテオームのパターンを明らかにし、治療的介入に関する変化を示す。
【００３８】
プロテオームを研究するさらなる工程は、ゲルの特定の部位で蛋白質を分離することに関与する。特定の部位を分離するためのロボット利用システムが、現在利用可能である。分離の後にシーケンスが決定され、したがって蛋白質が識別される。個人または集団のプロテオームを研究することは、莫大な量のデータを生成し、捕捉し、分析し、統合することに関与する。現在、自動化が使用されて、データ生成に必要な物理的な操作を管理するのを補助している。本発明の学習機械を使用して、生成された生物学的データを分析し且つ所望の情報を提供する。
【００３９】
加えて、チップ検出装置等の検出装置の修正を使用して、生物学的データの大きなライブラリを生成することができる。ライブラリを生成するための方法は、例えばめったに解読されない蛋白質として作られた蛋白質を決定するためにｍＲＮＡへ共有結合された蛋白質を使用する技術を含む。そのような技術は、ｍＲＮＡを生体外で解読することと、解読された蛋白質をｍＲＮＡへ共有的に接着することと、を含む。ｍＲＮＡの及びしたがって蛋白質のシーケンスは、次いで、ＰＣＲ等の増幅方法を使用して、決定される。このデータから１０14〜１０15メンバーを含むライブラリを制定することができる。これらのライブラリを使用して受容体を結合するペプチドを決定することができるか、または、その目標のみを貪欲に結合する抗体を含む抗体ライブラリを開発することができる。
【００４０】
細胞ｍＲＮＡから蛋白質ドメインライブラリと呼ばれるライブラリを形成することができ、そこで、蛋白質全体は解読されないがフラグメントがシーケンスされる。これらのライブラリを使用して、蛋白質の機能を決定することができる。
【００４１】
プロテオームを研究する他の方法は、ゲル電気泳動を使用しない。例えば、質量分光測定を使用して、蛋白質プロファイルの変化のリストを作り、正常な組織または病変組織におけるまたは病原菌における核酸表出を規定し、薬剤及び診断目標を識別し実証することができる。このデータの分析は、本発明の方法、システム及び装置によって達成される。さらに、現在酵母菌及び細菌系に見られる、相互作用する蛋白質を捕捉するために蛋白質を使用する２ハイブリッド及び２＋１ハイブリッドシステム等の技術が、ゲノム広さの蛋白質相互作用マップ（ＰＩＭ）を生成する。ＰＩＭ等の情報の大きなライブラリは、本発明によって操作されることが可能である。
【００４２】
特定の蛋白質または蛋白質の種類を分離するかまたは識別するために使用することができる抗体チップは開発されている。加えて、ファージ抗体ライブラリを使用して、蛋白質の機能を決定することができる。ゲノムライブラリは、当該のオープンリーディングフレーム（ＯＲＦ）またはＥＳＴ（表示されたシーケンスタグ）を求めてサーチすることができ、シーケンスから、ペプチドが合成される。異なる遺伝子用のペプチドは、ファージライブラリから抗体を選択するために、９６ウェルトレイに配置される。次いで抗体を使用して、正常な組織及び病変組織のセクションにある元々のＯＲＦまたはＥＳＴに関連する蛋白質を突きとめる。
【００４３】
本発明を使用して、研究の複数の段階で生成された生物学的データを生物学的機能に分析することができ、さらに、異なる種類のデータを正常な診断及び予後の判定ために統合することができる。例えば、臨床事例情報から得られた生物学的データ、例えば、診断試験データ、家族歴または遺伝歴、以前のまたは現在の内科療法、及び、そのような活動からの臨床結果を、本発明の方法、システム及び装置に利用することができる。加えて、臨床試料、例えば、病変組織または流体、正常な組織または流体、及び、細胞分離が、本発明によって利用することができる生物学的データを提供することができる。二次元ゲル、質量分光測定及び抗体スクリーニング等のプロテオーム決定を使用して、本発明によって利用することができるデータベースを制定することができる。ゲノムデータベースはまた、単独で使用するかまたは本発明による上述のデータ及びデータベースと組み合わせて使用して、本発明のユーザへ包括的な診断、予後または予測の機能を提供することができる。
【００４４】
本発明の第１の態様は、データを使用して学習機械を訓練する前にデータを任意に前処理することによって、および／または、学習機械からの出力を任意に後処理することによって、生物学的データの分析を容易にする。一般的に言うと、前処理データは、学習機械がもっとも有利に適用されるのを可能にするために、データを再フォーマットするかまたは増大することを含む。前処理と同様のやり方で、後処理は、その意味のある特性を発見するために学習機械の出力を解釈することを含む。出力から確認するべき意味のある特性は、問題特定またはデータ特定でありうる。後処理は、例えば、人間の観察者によって理解されうるかまたはそうでなければ有用である形態に出力を解釈することか、または、例えばアーカイバルまたは送信等の別の装置によって容易に受け取られうる形態に出力を転換することを含む。
【００４５】
図１は、学習機械を使用してデータを分析するための一般方法１００を例示するフローチャートである。方法１００は、スタートブロック１０１で開始し、工程１０２へ進み、そこで、特定の問題が学習機械による分析の適用のために形式化される。特に重要なことは、学習機械の所望の出力の適切な公式化である。例えば、個別の出資契約または市場指数の将来の業績を予測するにあたり、学習機械は、将来の価格レベルを予測するのではなく予想される将来の変化を予測するときに、より良好な業績を達成すると思われる。将来の価格予想は、本明細書で後述されるように、後処理工程で後に導き出すことができる。
【００４６】
問題形式化後、工程１０３は、訓練データ収集に対処する。訓練データは、公知の特性を有する１セットのデータ点を含む。訓練データは、１つまたはそれ以上の近くの及び／または遠くの源から収集されうる。訓練データの収集は、手動で、または、公知の電子データ転送方法等の自動化されたプロセスによって、達成されうる。したがって、本発明とともに使用される学習機械の例示的な実施形態は、ネットワークコンピュータ環境で実施されうる。学習機械の様々な実施形態を実施するための例示的な操作環境は、図７〜８に関連して詳細に説明される。
【００４７】
工程１０４で、収集された訓練データは、訓練データに固有の知識を抽出するのに向けて学習機械がもっとも有利に適用されるのを可能にするために、任意に前処理される。この前処理段階中に、訓練データは、訓練データの記録内で個別のまたは複数の測定の変換、組み合わせ、または、操作によって、任意に拡大することができる。ここで、「拡大するデータ」は、各入力点を決定するために利用可能な観察の数を変えることによって入力データの次元を変えることを参照するよう意味する（あるいは、これは、データベース表内の欄を加えるかまたは削除するとして記載することもできる）。例示のために、データ点は座標（１、４、９）を含んでもよい。このデータ点の拡大したバージョンは、結果として、座標（１、１、４、２、９、３）になる。この例において、拡大したデータ点に加えられた座標は、元々の座標の平方根変換に基づくと見られうる。データ点に次元を加えることによって、この拡大したデータ点は、学習機械によって分析するためにより意味のある可能性がある入力データの様々な表示を提供する。この意味でのデータ拡大は、学習機械が、拡大していない訓練データでは容易に現れないデータを分析する機会を提供する。
【００４８】
拡大データは、いずれの種類の意味のある変換をデータに適用することと、これらの変換を元々のデータに加えることと、を含む。変換が意味があるかどうかを決定するための基準は、入力データそれ自体及び／またはデータから求められる知識の種類に依存しうる。データ変換の例示的な種類として、専門的な情報を加えること；ラベルづけ；二進数換算、例えばビットマップ；変換、例えば、フーリエ、小波、ラドン、主成分分析、及び、カーネル主成分分析、さらに、クラスタリング；拡大縮小；標準化；確率論的分析及び統計分析；優位差検定；強度試験；二次元調節のサーチ；隠れマルコフ・モデリング；同値関係の識別；連関表の適用；グラフ理論原則の適用；ベクトルマップの生成；多項式及び他の代数変換の加減乗除応用；比例の識別；弁別力の決定等が挙げられる。医療データの背景状況において、可能性のある意味のある変換として、公知の標準医療参照範囲との関連；生理的トランケーション；生理的組み合わせ；生化学的組み合わせ；発見的規則の適用；診断的基準の決定；臨床計量システム；診断的変換；専門的知識の適用；ラベルづけ技術；他の分野の知識の適用；ベイズ法ネットワーク知識等が挙げられる。これらの変換及び他の変換、及びそれらの組み合わせは、当業者の頭に浮かぶものである。
【００４９】
当業者は、次元をデータ点に加えずにデータ変換を行いうることも認識するべきである。例えば、データ点は、座標（Ａ、Ｂ、Ｃ）を含んでもよい。このデータ点の転換されたバージョンは、結果として座標（１、２、３）になり、ここで、座標「１」は座標「Ａ」と何らかの公知の関係を有し、座標「２」は座標「Ｂ」と何らかの公知の関係を有し、座標「３」は座標「Ｃ」と何らかの公知の関係を有する。文字から数字への変換は、例えば、学習機械が文字を理解しない場合に、必要とされることもある。元々は数字形態であるデータに関してでさえ、次元をデータ点に加えない別の種類の変換も可能である。さらに、それへ意味を加えるための前処理データが、不完全な崩れたまたは他の「汚い」データを分析することに関与しうることを理解すべきである。学習機械は、意味のあるやり方で汚いデータを処理することはできない。したがって、前処理工程は、汚いデータ点を除去するか修復するか交換するために、データセットをきれいにするかまたはふるい分けすることに関与しうる。
【００５０】
図１に戻ると、例示的な方法１００は、工程１０６へ進み、ここで学習機械は前処理データを使用して訓練される。業界では公知のように、学習機械は、望ましい訓練出力が達成されるまでその操作パラメータを調整することによって訓練される。訓練出力が望ましいか否かの決定は、訓練出力を訓練データの公知の特性に比較することによって、手動でまたは自動的に達成されうる。学習機械は、訓練出力が訓練データの公知の特性から所定の誤差閾内にあるときに訓練されるべきであるとみなされる。一定の状況において、工程１０７で学習機械の訓練出力を後処理することが、必要ではないならば、望ましくありうる。上述のように、学習機械の訓練出力を後処理することは、出力を意味のある形態に解釈することに関与する。回帰問題の背景状況において、入力データ点が正しくカテゴリー化されたか否かを決定するために、学習機械の出力用に範囲カテゴリー化を決定する必要がありうる。パターン認識問題の例において、学習機械の訓練出力を後処理する必要がないことが多い。
【００５１】
工程１０８で、試験データは、訓練された学習機械を試験するための準備に任意に収集される。試験データは、１つまたはそれ以上の近くの及び／または遠くの源から収集されうる。実際、試験データ及び訓練データは、同時に同一の源（単／複）から収集されうる。このようにして、試験データ及び訓練データは、共通のデータセットから分割することができ、学習機械用の異なる入力データセットとして使用するために近くの格納媒体に格納することができる。どのように試験データが収集されたかに係わらず、使用されたいずれの試験データは、訓練データと同一のやり方で工程１１０で前処理されなければならない。当業者には明らかであるべきであるように、学習の適切な試験は、訓練データと同一のフォーマットの試験データを使用することによってのみ達成されうる。次いで、工程１１２で、学習機械は、もしあれば、前処理された試験データを使用して試験される。学習機械の試験出力は、結果が望ましいか否かを決定するために、工程１１４で任意に後処理される。再度、後処理工程は、試験出力を意味のある形態に解釈することに関与する。意味のある形態は、人間よって容易に理解されるものであってもよく、または別のプロセッサと互換性のあるものでありうる。それにもかかわらず、試験出力は、結果が望ましいか否かを決定するために試験データと比較されうる形態に後処理されなければならない。後処理工程の例として、最適カテゴリー化決定、拡大縮小技術（線形及び非線形）、変換（線形及び非線形）、及び、確率概算が挙げられるが、これらに限定されない。方法１００は、工程１１６で終了する。
【００５２】
図２は、サポートベクトルマシン（ＳＶＭ）として公知の特定の種類の学習機械を使用してデータから発見されうる知識を高めるための例示的な方法２００を例示するフローチャートである。ＳＶＭは、データの限定された収集から複数次元の機能を概算するときに、一般化を提供するために特化したアルゴリズムを実施する。ＳＶＭは、依存概算問題を解決するのに特に有用でありうる。より具体的には、ＳＶＭは、インジケータ機能（例としてパターン認識問題）及び実数値の機能（例として機能近似問題、回帰概算問題、密度概算問題、逆問題の解決）を正確に概算するのに使用されうる。ＳＶＭは、元々は、Ｖｌａｄｉｍｉｒ  Ｎ．Ｖａｐｎｉｋによって開発された。ＳＶＭの基礎になる概念は、「統計的学習理論」（Statistical Learning Theory）（Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ，Ｉｎｃ．  １９９８）という題名の彼の本に詳細に説明されており、この全体を参照してここに組み込む。したがって、本明細書全体を通して、ＳＶＭ及びそれとともに使用される専門用語をよく知っていることが推定されている。
【００５３】
例示的な方法２００は、スタートブロック２０１で開始し、工程２０２へ進み、そこで問題が形式化され、次いで工程２０３へ進み、そこで訓練データセットが収集される。図１を参照して説明したように、訓練データは、１つまたはそれ以上の近くの及び／または遠くの源から、手動でまたは自動化されたプロセスで、収集されうる。工程２０４で、訓練データは任意に前処理される。再度、前処理データは、データをきれいにし、データを変換し、および／または、データを拡大することによって、訓練データ内の意味を高める。ＳＶＭが非常に大きな次元を有する入力データを処理することができることを当業者は理解すべきである。事実、入力データの次元が大きくなればなるほど、ＳＶＭが計算することができる一般化はより良好になる。したがって、訓練データを拡大しない訓練データ変換が可能である一方、ＳＶＭの特定の背景状況において、意味のある情報をそれに加えることによって訓練データが拡大されることが好ましい。
【００５４】
工程２０６で、ＳＶＭ用にカーネルが選択される。業界では公知のように、異なるカーネルがＳＶＭに、入力データの所与のセットの出力に様々な程度の品質を生成させる。したがって、適切なカーネルを選択することが、ＳＶＭの出力の所望の品質にとって必須でありうる。学習機械の１つの実施形態において、カーネルは、先行技術の性能知識に基づいて選択されうる。業界で公知なように、例示的なカーネルは、多項式カーネル、半径方向基礎分類子カーネル、線形カーネル等を含む。代替実施形態において、特別な問題またはデータセットの種類に特定である特別製のカーネルが形成されうる。さらに別の実施形態において、複数のＳＶＭが同時に訓練され試験されてもよく、各々は異なるカーネルを使用する。各同時に訓練され試験されたＳＶＭの出力の品質は、もっとも望ましいカーネルを決定するために、様々な選択可能なまたは計量された測定基準（工程２２２参照）を使用して比較されうる。
【００５５】
次に、工程２０８で、前処理された訓練データがＳＶＭに入力される。工程２１０で、ＳＶＭは、前処理された訓練データを使用して訓練され、最適な超平面を形成する。任意に、ＳＶＭの訓練出力は、次いで、工程２１１で後処理されうる。再度、訓練出力の後処理は、出力用の範囲またはカテゴリーを適切に計算するために、この点で望ましいかまたは必要であってさえもよい。工程２１２で、試験データは、データ収集の先の説明と同様に収集される。試験データは、上記訓練データと同一のやり方で工程２１４で前処理される。次いで、工程２１６で、ＳＶＭが望ましいやり方で訓練されたか否かを決定するために処理するように、前処理された訓練データがＳＶＭに入力される。試験出力は、工程２１８でＳＶＭから受け取られ、工程２２０で任意に後処理される。
【００５６】
後処理された試験出力に基づいて、最適最小がＳＶＭによって達成されたか否かが工程２２２で決定される。大域最小エラーを有する出力を確実にするためにＳＶＭが操作可能であることを、当業者は認識しなければならない。しかし、上述のように、所与のデータセット用のＳＶＭの出力結果は、典型的にカーネル選択で変動する。したがって、事実上、所与のデータセット用にＳＶＭによって確実にされうる複数の大域最小がある。ここで使用される「最適最小」または「最適解決」という用語は、ＳＶＭによって確実にされた他の大域最小と比較して、最適であるとみなされる選択された大域最小を意味する（例として所与のセットの特定的な問題、予め制定された基準用の最適解決）。したがって、工程２２２で、最適最小が確実にされか否かを決定することは、ＳＶＭの出力を歴値なまたは所定の値と比較することに関与しうる。そのような所定の値は、試験データセットに依存しうる。例えば、一定の特性を有するかまたは特性を有さないかのいずれかとしてＳＶＭによってデータ点が分類されるパターン認識問題の背景状況において、５０％の大域最小エラーは最適ではない。この例において、５０％の大域最小は、データ点がその特性を有するか否かを決定するためにコインを投げることによって達成される結果も同然である。別の例として、複数のＳＶＭが変動するカーネルで同時に訓練され試験される場合に、各ＳＶＭの出力を他のＳＶＭの出力と比較して、その特別なセットのカーネル用の実際的に最適解決を決定しうる。最適解決が確実にされたか否かの決定は、手動で、または、自動化された比較プロセスによって行われうる。
【００５７】
最適最小が訓練されたＳＶＭによって達成されていないと決定される場合には、方法は、工程２２４へ進み、そこで、カーネル選択が調整される。カーネル選択の調整は１つまたはそれ以上の新しいカーネルを選択することか、または、カーネルパラメータを調整することを含んでもよい。さらに、複数のＳＶＭが同時に訓練され試験された場合には、選択されたカーネルは交換されるか修正されるかしてもよく、一方、他のカーネルは、対照目的に再使用されうる。カーネル選択が調整された後に、方法２００は、工程２０８から繰り返し、そこで、前処理された訓練データが訓練目的用にＳＶＭ内に入力される。工程２２２で最適最小が達成されたと決定される場合には、方法は、工程２２６へ進み、そこで、上述したのと同様にライブデータが収集される。定義によって、ライブデータは予め評価されてはおらず、そのため、訓練データ及び試験データに関して知られていた所望の出力特性は、知られていない。
【００５８】
工程２２８で、ライブデータは、訓練データ及び試験データと同一のやり方で前処理される。工程２３０で、ライブの前処理されたデータは、処理のためにＳＶＭ内に入力される。ＳＶＭのライブ出力は、工程２３２で受け取られ、工程２３４で後処理される。学習機械の１つの実施形態において、後処理は、ＳＶＭの出力を、人間またはコンピュータによって解釈するために、コンピュータで生成された英数字分類子に転換することを含む。好ましくは、英数字分類子は、人間またはコンピュータによって容易に理解される単一の値を有する。方法２００は、工程２３６で終了する。
【００５９】
図３は、データを前処理するかまたは学習機械からの出力を後処理するために使用されうる例示的な最適カテゴリー化方法３００を例示するフローチャートである。加えて、後述されるように、例示的な最適カテゴリー化方法は、学習機械から独立した、独立型のカテゴリー化技術として使用されうる。例示的な最適カテゴリー化方法３００は、スタートブロック３０１で開始し、工程３０２へ進み、そこで入力データセットが受け取られる。入力データセットは、連続型変数からデータ試料のシーケンスを含む。データ試料は、２つまたはそれ以上の分類カテゴリー内に入る。次に、工程３０４で、ビン及びクラス追跡変数が初期化される。業界では公知のように、ビン変数は分解能に関連し、一方、クラス追跡変数は、データセット内の分類の数に関連する。ビン及びクラス追跡変数の初期化用の値を決定することは、手動で、または、入力データセットを分析するためのコンピュータプログラム等の自動化されたプロセスによって、実行されうる。工程３０６で、各ビン用のデータエントロピーが計算される。エントロピーは、ランダム分布の不確かさを測定する数学的量である。例示的な方法３００において、エントロピーを使用して入力変数の段階的変化を計り、そのため、最大分類能力が達成される。
【００６０】
方法３００は、連続型変数に一連の「カット」を作り、連続型変数が別々のカテゴリーに分割されうるようにする。例示的な方法３００によって選択されたカットは、各結果として得られる別々のカテゴリーの平均エントロピーが最小化されるという意味で最適である。工程３０８で、すべてのカットが、連続型変数を有する入力データセット内に配置されているかに関して、決定がされる。すべてのカットが配置されていなければ、工程３１０でカットオフ決定のために一連のビン組み合わせが試験される。工程３１０から、例示的な方法３００は工程３０６を通ってループバックし、工程３０８へ戻り、そこで、すべてのカットが、連続型変数を有する入力データセット内に配置されているか否かが再度決定される。すべてのカットが配置されているならば、システム全体用のエントロピーが工程３０９で評価され、多少のカットを試験することから先の結果と比較される。最小エントロピー状態が決定されたと結論づけることができない場合には、他の可能なカット選択が評価されなければならず、方法は工程３１１へ進む。工程３１１からカットの数用に今まで試験されていない選択が選択され、上記プロセスが工程３０４から繰り返される。ビン幅によって決定される分解能の限界が試験されるかまたは最小解決への収束が識別されるかのいずれかのときに、最適分類基準が工程３１２で出力され、例示的な最適カテゴリー化方法３００は工程３１４で終了する。
【００６１】
最適カテゴリー化方法３００は、動的プログラミング技術を利用する。業界では公知なように、動的プログラミング技術を使用して、アルゴリズムを注意深く構築することによって一定の複雑な問題を解決する効率を有意に改良し、冗長計算を減少しうる。最適カテゴリー化問題において、連続型変数データのすべての可能なカットを徹底的にサーチする直接的アプローチが、結果として指数関数的に複雑なアルゴリズムになり、より適度なサイズの入力でさえ問題を解決困難にする。目標の機能、この問題では平均エントロピー、の追加的な特性を利用することによって、問題は一連のサブ問題に分割されうる。各サブ問題を解決しサブ問題の解決を格納するためにアルゴリズムのサブストラクチャを適切に形式化することによって、相当な量の冗長計算が識別され回避されうる。動的プログラミングアプローチを使用する結果として、例示的な最適カテゴリー化方法３００は、多項式の複雑さを有するアルゴリズムとして実施されてもよく、これは、大きなサイズの問題を解決するのに使用されうる。
【００６２】
上述のように、例示的な最適カテゴリー化方法３００は、データの前処理及び／または学習機械の出力の後処理に使用されうる。例えば、前処理変換工程として、例示的な最適カテゴリー化方法３００を使用して、生データから分類情報を抽出しうる。後処理技術として、例示的な最適範囲カテゴリー化方法を使用して、特定な問題に限ってのアプローチに頼るのではなく、客観的にデータに基づいたマーカー用の最適なカットオフ値を決定しうる。明らかであるべきであるように、例示的な最適カテゴリー化方法３００は、パターン認識、分類、回帰問題等への適用を有する。例示的な最適カテゴリー化方法３００は、ＳＶＭ及び他の学習機械とは無関係の、独立型のカテゴリー化技術として使用されうる。
【００６３】
図４は、サポートベクトルマシン用の入力として使用されうる例示的な非拡大データセット４００を例示する。このデータセット４００は「非拡大」と称されるが、これは、これに加えられた追加情報がないからである。図示のように、非拡大データセットは、訓練データセット４０２及び試験データセット４０４を備える。非拡大の訓練データセット４０２と試験データセット４０４との両方は、試料採取された医療患者から歴臨床データに関する例示的なデータ点４０６等のデータ点を含む。この例において、データセット４００を使用してＳＶＭを訓練し、乳癌患者が再発を経験するか否かを決定しうる。
【００６４】
各データ点は、５つの入力座標または次元及び４０６ａ〜ｆとして示される出力分類を含み、これは、各患者用に収集された医療データを表す。特に、第１の座標４０６ａは「年齢」を表し、第２の座標４０６ｂは「エストロゲン受容体レベル」を表し、第３の座標４０６ｃは「プロゲステロン受容体レベル」を表し、第４の座標４０６ｄは「抽出された全リンパ節」を表し、第５の座標４０６ｅは「抽出された陽性（癌性）リンパ節」を表し、出力分類４０６ｆは「再発分類」を表す。データ４００の重要な公知の特性は、出力分類４０６ｆ（再発分類）であり、これは、この例では、試料採取された医療患者が、癌の再発なしで順調に治療に応答したか（「−１」）、または、癌の再発で否定的に治療に応答したか（「１」）、を示す。この公知の特性が学習用に使用され、一方、ＳＶＭの訓練データを処理することは、試験データがＳＶＭ内に入力された後に評価式に使用され、このようにして、「ブラインド」テストを形成し、現在の医療患者のライブデータでは未知であることは明らかである。
【００６５】
表１は、図４に示された非拡大訓練データセット４０２で訓練され且つ非拡大データセット４０４で試験されたＳＶＭからの例示的な試験出力を提供する。
【表１】
2005502097.tif 000003
【００６６】
試験出力は、後処理されて、人間またはコンピュータによって理解可能にされる。表によると、２４合計試料（データ点）がＳＶＭによって試験され、ＳＶＭは、８陽性試料のうちの４つを不正確に識別し（５０％）、すなわち、陽性試料に陰性を見出し、１６陰性試料のうちの６つを不正確に識別し（３７．５％）、すなわち、陰性試料に陽性を見出したことを、試験出力は示す。
【００６７】
図５は、サポートベクトルマシン用の入力として使用されうる例示的な拡大データセット６００を例示する。このデータセット６００は「拡大」と称されるが、これは、追加情報がこれに加えられているからである。追加された情報を除いて、拡大データセット６００は、図４に示された非拡大データセット４００と同一であることに注意されたい。拡大データセットに供給された追加情報は、図３を参照して説明された例示的な最適範囲カテゴリー化方法３００を使用して供給された。図示のように、拡大データセットは、訓練データセット６０２及び試験データセット６０４を含む。拡大した訓練データセット６０２と試験データセット６０４との両方は、試料採取された医療患者から歴データに関する例示的なデータ点６０６等のデータ点を含む。再度、データセット６００を使用してＳＶＭを訓練し、乳癌患者がその疾病の再発を経験するか否かを決定しうる。
【００６８】
例示的な最適カテゴリー化方法３００の適用によって、各拡大データ点は、２０の座標（または次元）６０６ａ１〜３から６０６ｅ１〜３と、出力分類６０６ｆとを含み、これは、各患者用の医療データ及びそのカテゴリー化変換を集合的に表す。特に、第１の座標６０６ａは「年齢」を表し、第２の座標から第４の座標６０６ａ１〜６０６ａ３は、年齢のカテゴリーを表すために組み合わせる変数である。例えば、年齢の範囲は、例えば、それぞれデータに存在する年齢の範囲である「若年」「中年」及び「老年」のカテゴリーにカテゴリー化されうる。図示のように、変数「０」（６０６ａ１）、「０」（６０６ａ２）、「１」（６０６ａ３）の列を使用して、一定の年齢値が「老年」としてカテゴリー化されるのを示しうる。同様に、変数「０」（６０６ａ１）、「１」（６０６ａ２）、「０」（６０６ａ３）の列を使用して、一定の年齢値が「中年」としてカテゴリー化されるのを示しうる。また、変数「１」（６０６ａ１）、「０」（６０６ａ２）、「０」（６０６ａ１）の列を使用して、一定の年齢値が「若年」としてカテゴリー化されるのを示しうる。図６を検分することによって、「年齢」６０６ａ値の範囲の最適カテゴリー化は、例示的な方法３００を方法して、３１〜３３＝「若年」、３４＝「中年」及び３５〜４９＝「老年」であると決定されたと見られうる。他の座標、すなわち、座標６０６ｂ「エストロゲン受容体レベル」、座標６０６ｃ「プロゲステロン受容体レベル」、座標６０６ｄ「抽出された全リンパ節」、座標６０６ｅ「抽出された陽性（癌性）リンパ節」は、各々が、同様のやり方で最適にカテゴリー化される。
【００６９】
表２は、図６に示された拡大訓練データセット６０２で訓練され且つ拡大データセット６０４で試験されたＳＶＭからの例示的な試験出力を提供する。
【表２】
2005502097.tif 000004
【００７０】
拡大試験出力は、後処理されて、人間またはコンピュータによって理解可能にされる。示されるように、２４合計試料（データ点）がＳＶＭによって試験され、ＳＶＭは、８陽性試料のうちの４つを不正確に識別し（５０％）、１６陰性試料のうちの４つを不正確に識別した（２５％）ことを、拡大試験出力は示す。したがって、この拡大試験出力を表１の非拡大試験出力と比較することによって、データ点の拡大が改良された結果を導くことが見られてもよく（すなわち、より低い大域最小エラー）、具体的には、不必要にフォローアップ癌治療を受けるであろう患者事例の減少である。
【００７１】
図６は、図３に示された最適カテゴリー化方法３００を独立して適用するための例示的な入力及び出力を例示する。図６の例において、入力データセット８０１は、「陽性リンパ節の数」８０２と、対応する「再発分類」８０４とを含む。この例において、最適カテゴリー化方法３００は、手術後組織試料で収集された陽性リンパ節の数のみに基づいて、癌再発の治療を決定するための最適カットオフ点を突きとめるために、入力データセット８０１に適用される。よく知られた臨床基準は、少なくとも３つの陽性節を有するいずれの患者に治療を処方するものである。しかし、最適カテゴリー化方法３００は、入力データ８０１に基づいて、表３に見られる最適カットオフが、５．５リンパ節のより高い値でなければならず、これは、少なくとも６つの陽性リンパ節を有する患者にフォローアップ治療を処方する臨床規則に対応することを例証する。
【表３】
2005502097.tif 000005
【００７２】
下記表４に示されるように、先行技術の受け入れられた臨床カットオフ点（≧３．０）は結果として、４７％の正確に分類された再発及び７１％の正確に分類された非再発になった。
【表４】
2005502097.tif 000006
したがって、再発の５３％は不正確に分類され（さらなる治療は不適切にも薦められなかった）、非再発の２９％は不正確に分類された（さらなる治療が不適切にも薦められた）。対照的に、最適カテゴリー化方法３００（≧５．５）によって決定されたカットオフ点は、結果として、３３％が正確に分類された再発になり、９７％が正確に分類された非再発になった。したがって、再発の６７％は不正確に分類され（さらなる治療は不適切にも薦められなかった）、非再発の３％は不正確に分類された（さらなる治療が不適切にも薦められた）。
【００７３】
この例によって示されるように、最適範囲カテゴリー化方法３００を使用して、手術後癌治療計画を回避することができる患者を正確に識別するより高い事例を獲得することが実現可能でありうる。最適カテゴリー化方法３００によって決定されたカットオフ点は、不正確に分類された再発の適度に高いパーセンテージを生じたにもかかわらず、不正確に分類された非再発の有意に低いパーセンテージを生じた。したがって、トレードオフを考慮し、最適化問題の目標は不必要な治療を回避することであったことを認識すると、最適カテゴリー化方法３００によって決定されたカットオフ点の結果は、先行技術の臨床カットオフ点の結果よりも、数値的に優れている。この種類の情報は、化学療法等の治療を受けるかまたは乳癌再発の危険を冒すかという選択を比較検討する患者へ追加洞察を提供するのに、潜在的に非常に有用である。
【００７４】
表５は、線形カーネルを備える第１のサポートベクトルマシンと多項式カーネルを備える第２のサポートベクトルマシンとからの例示的な後処理出力の比較である。
【表５】
2005502097.tif 000007
表５は、カーネルの選択における変化が、ＳＶＭの出力の品質のレベルに影響を与えることもあることを例示する。図示のように、線形ドット製品カーネルを備える第１のＳＶＭ（欄Ｉ）の後処理出力は、所与の２４試料の試験セットでは、８陽性試料のうちの６つが不正確に識別され、１６陰性試料のうちの３つが不正確に識別された。比較のため、多項式カーネルを備える第２のＳＶＭ（欄ＩＩ）の後処理出力は、同一の試験セットでは８陽性試料のうちの２つのみが不正確に識別され、１６陰性試料の４つが不正確に識別された。比較のため、多項式カーネルは、陽性試料の識別に関する有意に改良された結果を生じ、陰性試料の識別に関するわずかに悪い結果を生じた。したがって、当業者には明らかであるように、多項式カーネル用の大域最小エラーは、このデータセット用の線形カーネル用の大域最小エラーよりも低い。
【００７５】
図７及び下記の検討は、本発明による生物学的データ分析を実施するために適切な計算環境の簡潔且つ一般的な説明を提供するように意図されている。図７に示されるシステムは、従来のパーソナルコンピュータ１０００であるが、本発明は他の種類のコンピュータシステム構成を使用して実施されうることを当業者は認識する。コンピュータ１０００は、中央演算ユニット１０２２とシステムメモリ１０２０と入力／出力（「Ｉ／Ｏ」）バス１０２６とを含む。システムバス１０２１は、中央演算ユニット１０２２をシステムメモリ１０２０に連結する。バスコントローラ１０２３は、Ｉ／Ｏバス１０２６上、及び、中央演算ユニット１０２２と様々な内部及び外部のＩ／Ｏ装置との間の、データの流れを制御する。Ｉ／Ｏバス１０２６に接続されたＩ／Ｏ装置は、ダイレクトメモリアクセス（「ＤＭＡ」）コントローラ１０２４を使用してシステムメモリ１０２０へ直接アクセスを有しうる。
【００７６】
Ｉ／Ｏ装置は、１セットの装置インタフェイスを経由してＩ／Ｏバス１０２６へ接続される。装置インタフェイスは、ハードウェア構成要素とソフトウェア構成要素との両方を含んでもよい。例えば、ハードディスクドライブ１０３０と取り外し可能な媒体１０５０を読み取るかまたは書き込むためのフロッピィディスクドライブ１０３２とは、ディスクドライブコントローラ１０４０を通してＩ／Ｏバス１０２６へ接続されうる。光学媒体１０５２を読み取るかまたは書き込むための光学ディスクドライブ１０３４は、スモールコンピュータシステムインタフェイス（「ＳＣＳＩ」）１０４１を使用してＩ／Ｏバス１０２６へ接続されうる。あるいは、ＩＤＥ（インテクグレイティッドドライブエレクトロニクス、すなわち、ＰＣ用ハードディスクドライブインタフェイス）、ＡＴＡＰＩ（ＡＴアタッチメントパケットインタフェイス、すなわち、ＣＤ−ＲＯＭ及びテープドライブインタフェイス）またはＥＩＤＥ（エンハンスドＩＤＥ）インタフェイスが、ＣＤ−ＲＯＭドライブの場合と同様でありうるように、光学ドライブに関連づけられうる。ドライブ及びその関連コンピュータ読取可能媒体は、コンピュータ１０００に不揮発性記憶装置を提供する。上述のコンピュータ読取可能媒体に加えて、ＺＩＰドライブ等の他の種類のコンピュータ読取可能媒体を使用しうる。
【００７７】
モニタ等のディスプレイ装置１０５３は、ビデオアダプタ１０４２等の別のインタフェイスを経由して、Ｉ／Ｏバス１０２６へ接続される。並行インタフェイス１０４３は、レーザプリンタ１０５６等の同期式周辺装置をＩ／Ｏバス１０２６へ接続する。シリアルインタフェイス１０４４は通信装置をＩ／Ｏバス１０２６へ接続する。ユーザは、リアルインタフェイス１０４４を経由して、または、キーボード１０３８、マウス１０３６またはモデム１０５７等の入力装置を使用することによって、コマンドまたは情報をコンピュータ１０００に入力しうる。オーディオ入力／出力装置または画像捕捉装置等の他の周辺装置（図示せず）も、コンピュータ１０００へ接続されうる。
【００７８】
数多くのプログラムモジュールがドライブに、システムメモリ１０２０に格納されうる。システムメモリ１０２０は、ランダムアクセスメモリ（「ＲＡＭ」）とリードオンリーメモリ（「ＲＯＭ」）との両方を含むことができる。プログラムモジュールは、コンピュータ１０００がどのように機能し、ユーザとまたはＩ／Ｏ装置とまたは他のコンピュータと相互作用するかを制御する。プログラムモジュールは、ルーチン、オペレーティングシステム１０６５、アプリケーションプログラム、データストラクチャ、及び、他のソフトウェアまたはファームウェア構成要素を含む。例示的な実施形態において、学習機械は、コンピュータ１０００のドライブにまたはシステムメモリ１０２０に格納された、１つまたはそれ以上の前処理プログラムモジュール１０７５Ａ、１つまたはそれ以上の後処理プログラムモジュール１０７５Ｂ、及び／または、１つまたはそれ以上の最適カテゴリー化プログラムモジュール１０７７、及び、１つまたはそれ以上のＳＶＭプログラムモジュール１０７０を備えうる。具体的には、前処理プログラムモジュール１０７５Ａ、後処理プログラムモジュール１０７５Ｂは、ＳＶＭプログラムモジュール１０７０とともに、学習機械からデータを前処理し且つ出力を後処理するために、且つ、図１及び２を参照して説明された例示的な方法にしたがって学習アルゴリズムを実施するために、コンピュータ実行可能な指令を含んでもよい。さらに、最適カテゴリー化プログラムモジュール１０７７は、図３を参照して説明された例示的な方法にしたがってデータセットを最適にカテゴリー化するために、コンピュータ実行可能な指令を含んでもよい。
【００７９】
コンピュータ１０００は、リモートコンピュータ１０６０等の１つまたはそれ以上のリモートコンピュータへのロジカル接続を使用してネットワーク化された環境で操作しうる。リモートコンピュータ１０６０は、サーバ、ルータ、ピア装置または他の共通ネットワークノードであってもよく、典型的に、コンピュータ１０００に関連して説明された要素の多くまたはすべてを含む。ネットワーク化された環境において、プログラムモジュール及びデータは、リモートコンピュータ１０６０に格納されうる。図８に示されたロジカル接続は、ローカルエリアネットワーク（「ＬＡＮ」）１０５４及びワイドエリアネットワーク（「ＷＡＮ」）１０５５を含む。ＬＡＮ環境において、イーサネットアダプタカード等のネットワークインタフェイス１０４５を使用して、コンピュータ１０００をリモートコンピュータ１０６０へ接続することができる。ＷＡＮ環境において、コンピュータ１０００は、モデム１０５７等の遠距離通信装置を使用して、接続を制定しうる。図示のネットワーク接続は例示的であり、コンピュータの間に通信リンクを制定する他の装置を使用しうることが理解される。
【００８０】
別の実施形態において、複数のＳＶＭは、並行してまたは順次に、複数のデータセットを階層的に処理するように構成されることができる。特に、１つまたはそれ以上の第１レベルのＳＶＭは、第１の種類のデータを処理するように訓練され試験されてもよく、１つまたはそれ以上の第１レベルのＳＶＭは、第２の種類のデータを処理するように訓練され試験されることができる。さらなる種類のデータが、他の第１レベルのＳＶＭによって処理されうる。いくつかのまたはすべての第１レベルのＳＶＭからの出力が、ロジカル式に組み合わされて、１つまたはそれ以上の第２レベルのＳＶＭ用の入力データセットを生成しうる。同様のやり方で、複数の第２レベルのＳＶＭからの出力がロジカル式に組み合わされて、１つまたはそれ以上の第３レベルのＳＶＭ用の入力データを生成しうる。ＳＶＭの階層は、適切であるように、いずれの数のレベルへ拡大されうる。このようにして、より低い階層レベルのＳＶＭを使用して、より高いレベルのＳＶＭへ入力されるべきデータを前処理しうる。また、より高い階層レベルのＳＶＭを使用して、より低い階層レベルのＳＶＭからの出力であるデータを後処理しうる。
【００８１】
階層の各ＳＶＭまたはＳＶＭの各階層レベルは、弁別的カーネルで構成されうる。例えば、第１の種類のデータを処理するように使用されるＳＶＭは、第１の種類のカーネルで構成されてもよく、一方、第２の種類のデータを処理するように使用されるＳＶＭは、第２の異なる種類のカーネルを使用しうる。加えて、同一のまたは異なる階層レベルの複数のＳＶＭは、弁別的なカーネルを使用して同一の種類のデータを処理するように構成されうる。
【００８２】
図８は、ＳＶＭの例示的な階層的システムを例示する。図示のように、１つまたはそれ以上の第１レベルのＳＶＭ１３０２ａ及び１３０２ｂは、医療患者の試料に関するマンモグラフィデータ等の第１の種類の入力データ１３０４ａを処理するために、訓練され試験されうる。１つまたはそれ以上のこれらのＳＶＭは、「カーネル１」及び「カーネル２」と称される弁別的なカーネルを備えうる。また、１つまたはそれ以上の追加の第１レベルのＳＶＭ１３０２ｃ及び１３０２ｄは、例えば、医療患者の同一のまたは異なる試料用のゲノムデータでありうる第２の種類のデータ１３０４ｂを処理するために、訓練され試験されうる。再度、１つまたはそれ以上の追加のＳＶＭが、「カーネル１」及び「カーネル３」と称される弁別的なカーネルを備えうる。最適出力１３０８ａ及び１３０８ｂを決定するために、同様の第１レベルのＳＶＭの各々からの出力が互いに比較されてもよく、例えば、１３０６ａが１３０６ｂに比較され、１３０６ｃが１３０６ｄに比較される。次いで、２つのグループまたは第１レベルのＳＶＭからの最適出力、すなわち、出力１３０８ａ及び１３０８ｂが組み合わされて、例えば、マンモグラフィ及びゲノムデータに関する新しい複数次元の入力データセット１３１０を形成しうる。新しいデータセットは次いで、１つまたはそれ以上の適切に訓練され試験された第２レベルのＳＶＭ１３１２ａ及び１３１２ｂによって処理されうる。第２レベルのＳＶＭ１３１２ａ及び１３１２ｂから結果として得られた出力１３１４ａ及び１３１４ｂは、最適出力１３１６を決定するために比較されうる。最適出力１３１６は、マンモグラフィとゲノムデータ点との間の略式関係を識別しうる。当業者には明らかであるように、階層ＳＶＭの他の組み合わせを使用して、データの分析が所望されるいずれの分野または業界における異なる種類のデータを、並行してかまたは順次に、のいずれかで、処理しうる。
【００８３】
マイクロアレイからの遺伝子サブセット等の大きなデータ源から少量のデータを選択する問題は、特に、ここに記載された方法、装置及びシステムを使用して解決される。この問題に対処する先の試みは、相関技術を使用し、すなわち、変数の間の関連の強さに係数を割り当てた。ここに記載された好適な方法は、反復特徴排除（ＲＦＥ）に基づいたサポートベクトルマシン方法を使用する。決定的な遺伝子を見出すために遺伝子データを試験するに当たり、これらの方法は、遺伝子冗長性を自動的に排除し、良好且つよりコンパクトな遺伝子サブセットを産する。ここに記載された方法、装置及びシステムは、癌診断の決定的な遺伝子等の関連回答を見出すために公に利用可能なデータとともに、または特別に生成されたデータとともに、使用することができる。
【００８４】
大きなデータ源を分析するために多くの異なる方法がある。下記の例は、遺伝子表出データ操作に関するが、ここに記載された方法、装置及びシステムには、いずれのデータを使用することができる。監視されていないまたは監視された学習技術によって発見された遺伝子クラスターの研究がある。好適な方法は、非常に信頼のおける癌分類子を構築するのに使用することができる高度に判別的な遺伝子の小さなサブセットを決定するのに、最新式の分類アルゴリズム、ＳＶＭの適用を含む。判別的な遺伝子の識別は、調査における最近の発見を確認するのに、または、調査または治療の方向を提案するのに、有益である。体液内の所与の蛋白質の存在度を測定する診断試験は、判別的な遺伝子の小さなサブセットの発見から導き出されうる。
【００８５】
下記に提供される例は、情報的な特徴または属性を発見する際のＳＶＭの効果を例証する。ＳＶＭの使用及び本願の方法は、他の方法と比較したときに、定性的に且つ定量的に有利である。
【００８６】
ＳＶＭを使用する分類方法において、入力は、「特徴」として参照されるｎ構成要素の「パターン」として参照されるベクトルである。Ｆは、ｎ次元の特徴空間として規定される。所与の例において、特徴は、遺伝子表出係数であり、パターンは患者に対応する。本検討は２クラス分類問題に関するが、これは、本発明の範囲を限定するものではない。２つのクラスは、符号（＋）及び（−）で識別される。公知のクラスラベル｛ｙ1、ｙ2、…ｙk…ｙc｝、ｙk∈｛−１、＋１｝を備えた多数のパターンの訓練セット｛ｘ1、ｘ2、…ｘk…ｘc｝が与えられる。訓練パターンを使用して、決定関数（または判別関数）Ｄ（ｘ）を構築し、これは、入力パターンｘのスカラー関数である。新しいパターンが、決定関数の符号にしたがって分類される：
Ｄ（ｘ）＞０⇒ｘ∈クラス（＋）；
Ｄ（ｘ）＜０⇒ｘ∈クラス（−）；
Ｄ（ｘ）＝０，決定境界；
ただし、∈は「のメンバーである」を意味する。
【００８７】
訓練パターン＋バイアスの簡単な重量合計である決定境界は、「線形判別関数」として参照される。ここで、
Ｄ（ｘ）＝ｗ・ｘ＋ｂ，    （１）
ただし、ｗは重量ベクトルであり、ｂはバイアス値である。データセットは、線形判別関数がエラーなしでこれを分離することができるのであれば、線形分離可能であると言われている。
【００８８】
分類における、及び一般に学習機械における共通問題は、「過剰適合」のリスクを克服するために特徴空間の次元を減少することである。データ過剰適合は、特徴の数ｎが、例えばマイクロアレイで研究された何千もの遺伝子のように大きく、且つ、訓練パターンの数が、数ダースの患者のように比較的小さいときに、発生する。そのような状況において、訓練データを分離する決定関数、線形決定関数でさえ見出すことができるが、これは、試験データに不良に働く。規制を使用する訓練技術、すなわち、許容可能な解決のクラスを抑制することは、空間次元減少を必要とせずにデータの過剰適合を回避することができる。サポートベクトルマシン（ＳＶＭ）は規制を使用するが、ＳＶＭでさえ、空間次元減少から利益を得ることができる。
【００８９】
特徴減少の別の方法は、データの最初の主要な方向に投影することである。この方法を使用して、元々の特徴の線形組み合わせである新しい特徴が得られる。投影方法の１つの不利点は、元々の入力特徴は、いずれも廃棄することができないということである。好適な方法は、より良好な分類性能を生じる特徴の最小サブセットを保持しながら、元々の入力特徴のいくつかを排除する刈取技術を組み込む。診断試験の設計用に、コスト効果のために遺伝子の小さなサブセットを選択することができ、より容易に実証されるように選択された遺伝子の関連を可能にすることが、実際的に重要である。
【００９０】
特徴選択の問題は、パターン認識ではよく知られている。特別な分類技術が与えられると、特徴のすべてのサブセットの網羅的列挙によって所与の「モデル選択」を満足させる特徴の最良のサブセットを選択することができる。しかし、この方法は、何千もの遺伝子等の多数の特徴では、サブセットの数の組み合わせが急増するため実際的ではない。
【００９１】
前述の困難を考えると、大きな次元の入力空間における特徴選択は、貪欲なアルゴリズムを使用して実行される。様々な可能な方法の中で、特徴ランキング技術が特に好適である。固定された数のトップにランクされた特徴が、さらなる分析のために、または、分類子を設計するために、選択されうる。あるいは、閾値をランキング基準に設定することができる。基準が閾値を超える特徴のみが保持される。好適な方法は、ランキングを使用して、特徴の入れ子状サブセット、Ｆ1⊂Ｆ2⊂……⊂Ｆを規定し、単一のパラメータ：特徴の数を変えることによって、モデル選択基準を備えた特徴の最適なサブセットを選択する。
【００９２】
２以上のいずれの数の遺伝子で、エラーのない分離を達成することができる。好適な方法は、小さな数の遺伝子の使用を含む。古典的な遺伝子選択方法は、訓練データを個別に最良に分類する遺伝子を選択する。これらの方法は、相関方法及び表出比率方法を含む。古典的な方法は、区別（ノイズ）に無用な遺伝子を排除するが、遺伝子は冗長であるため、コンパクトな遺伝子セットを生じない。さらに、個別に分離しない相補的な遺伝子もよく逃される。
【００９３】
簡単な特徴（遺伝子）ランキングは、いかによく個別の特徴が分離（例として癌対正常）に寄与するかを評価することによって生成することができる。様々な相関係数をランキング基準として使用している。例えば、Ｔ．Ｋ．Ｇｏｌｕｂら著「癌の分子分類：遺伝子表出モニタリングによるクラス発見及びクラス予想（Molecular classification of cancer: Class discovery and class prediction by gene expression monitoring）」、Ｓｃｉｅｎｃｅ、２８６、５３１〜３７（１９９９）を参照のこと。Ｇｏｌｕｂらによって使用される係数は下記のように規定される：
ｗi＝（μi(+)−μi(-)）／（σi(+)＋σi(-)）    （２）
ただし、μi及びσiは、それぞれ、クラス（＋）またはクラス（−）の全患者用の特別な遺伝子ｉの遺伝子表出値の平均値及び標準偏差であり、ｉ＝１、…ｎである。大きな正ｗiの値は、クラス（＋）との強力な相関を示し、一方、大きな負ｗiの値は、クラス（−）との強力な相関を示す。特徴ランキング用にＧｏｌｕｂらによって記載された方法は、正及び負の相関係数で等しい数の遺伝子を選択することである。他の方法は、ランキング基準として、または関連係数として、ｗiの絶対値を使用する、
（μi(+)−μi(-)）2／（σi(+)2＋σi(-)2）    （３）
【００９４】
相関方法で特徴ランキングを特徴づけるのは、作成される暗示的直交性の想定である。各係数ｗiは、単一の特徴（遺伝子）に関する情報で計算され、特徴の間の相互情報を考慮に入れない。
【００９５】
特徴ランキングの１つの使用は、遺伝子の予め選択されたサブセットに基づいたクラス予想機（または分類子）の設計にある。当該の分離に相関した（または反相関した）各特徴は、それ自体によって、不完全なものであるにもかかわらず、クラス予想機である。分類の簡単な方法は、加重投票に基づいた方法：相関係数に比例した特徴投票を備える。Ｇｏｌｕｂらによって使用された方法である。加重投票スキームは、特別な線形判別的分類子を生じる：
Ｄ（ｘ）＝ｗ・（ｘ−μ），    （４）
ただし、ｗは、ｗi＝（μi(+)−μi(-)）／（σi(+)＋σi(-)）及びμ＝（μ(+)＋μ(-)）／２である。
【００９６】
別の分類子またはクラス予想機は、フィッシャーの線形判別である。そのような分類子は、Ｇｏｌｕｂらのものに類似するが、ただし、
ｗ＝Ｓ-1（μ(+)＋μ(-)），    （５）
であり、ただし、Ｓは下記のように規定されるクラス散布行列（ｎ、ｎ）内であり、
【数１】
2005502097.tif 000008
であり、ただし、μは全訓練パターンに対する平均ベクトルであり、Ｘ（＋）及びＸ（−）はそれぞれ、クラス（＋）及び（−）の訓練セットである。フィッシャーの判別のこの形態はＳが逆行可能であることを示すが、これは特徴の数ｎが例の数
【数２】
2005502097.tif 000009
よりも大きい場合にはＳのランクは多く見ても
【数３】
2005502097.tif 000010
であることから、事実とは違う。等式４および６の分類子は、散布行列がその対角線成分に接近される場合には類似である。この推定概算は、クラス平均を引いた後に、すべての訓練パターンにわたる１つの特徴の値によって形成されたベクトルが直交するときに、正確である。特徴が非相関であるならば、すなわち、クラス平均を除去した後に、２つの異なる特徴の積の予想される値がゼロであるならば、推定概算は何らかの妥当性を保持する。対角線要素によってＳを推定概算することは、これを規制する１つの方法である（これを逆行可能にする）。しかし、特徴は通常は相関し、このため対角線推定概算は妥当ではない。
【００９７】
本発明の１つの態様は、分類子重量として特徴ランキング係数を使用することを含む。相互に、所与の分類子の入力を増大する重量は、特徴ランキング係数として使用することができる。最大値によって重量をかけられる入力は、分類決定にもっとも影響を与える。したがって、分類子がよく機能するならば、最大重量を備えたこれらの入力は、もっとも情報を与える特徴、またはこの場合には遺伝子に対応する。多変量分類子として公知の他の方法は、相関係数に比較して優良な特徴ランキングを提供する線形判別関数を訓練するアルゴリズムを含む。フィッシャーの線形判別（複数の一変量分類子の組み合わせ）及びここに開示された方法等の多変量分類子は、複数の変数または特徴を同時に取り扱うように訓練する間に最適化される。
【００９８】
分類問題用に、理想的な目的関数は、エラーの予想値であり、すなわち、無限の数の例で計算されたエラー率である。訓練目的のために、この理想的な目的は、訓練例のみで計算されるコスト関数Ｊに交換される。そのようなコスト関数は普通は、境界または理想的目的の推定概算であり、便利さ及び効率のために選択される。線形ＳＶＭ用に、コスト関数は、
Ｊ  ＝（１／２）‖ｗ‖２，    （７）
であり、これは、訓練中に制限下で最小限にされる。基準（ｗi）２は、特徴ｉを除去する目的（コスト）関数の効果を推定概算する。
【００９９】
良好な特徴ランキング基準は、必ずしも特徴サブセットをランクづけするための良好な基準ではない。いくつかの基準は、一時に１つの特徴を除去する目的関数の効果を推定概算する。小さな特徴サブセットを得るために必要であるが、数個の特徴が一時に除去されるときには、これらの基準は最適下限になる。
【０１００】
反復特徴排除（ＲＦＥ）方法を使用して、この問題を克服することができる。ＲＦＥ方法は、反復的に、１）分類子を訓練することと、２）すべての特徴用のランキング基準を計算することと、３）最小ランキング基準を有する特徴を除去することと、を含む。この反復手順は、後方特徴排除の例である。計算目的のために、可能な分類性能悪化を犠牲にして一時に数個の特徴を除去することがより効率的である。そのような場合、方法は、「特徴ランキング」とは対照的に、「特徴サブセットランキング」を生成する。特徴サブセットは入れ子状であり、例えば、Ｆ1⊂Ｆ2⊂……⊂Ｆである。
【０１０１】
特徴が一時に１つ除去される場合には、これは結果として、対応する特徴ランキングになる。しかし、トップにランクされた特徴、すなわち、最後に排除される特徴は、必ずしも、個別にもっとも関連のあるものではない。サブセットＦｍの特徴が、何らかの組み合わせで取られるときにのみ、ある意味で最適である場合もある。ＲＦＥは、ランキング基準が単一の特徴に関する情報を使用して計算されるため、相関方法には効果がない。
【０１０２】
本発明の好適な方法は、分類子の重量を使用して、ＳＶＭ（サポートベクトルマシン）で特徴ランキングを生成することである。本発明は、任意の複雑度の線形及び非線形の両方の決定境界に使用されるＳＶＭの方法を意図するが、ここに提供された例は、研究中のデータセットの性質のために、線形ＳＶＭに向けられている。線形ＳＶＭは、特に線形判別分類子である（式１参照）。訓練セットが線形に分離可能であるならば、線形ＳＶＭは最大マージン分類子である。決定境界（二次元分離の場合に直線）が位置決めされ、可能な最大マージンを両側に残す。ＳＶＭの１つの性質は、決定関数Ｄ（ｘ）の重量ｗｉが訓練例の小さなサブセット、すなわち「サポートベクトル」のみの関数であるということである。サポートベクトルは、決定境界にもっとも近く且つマージン上にある例である。そのようなサポートベクトルの存在が、ＳＶＭ及びその競争的分類性能の計算特性の最初である。ＳＶＭは、その決定関数を、境界線の場合であるサポートベクトルに基づかせるが、先に説明したＧｏｌｕｂらの方法のような他の方法は、決定関数を平均の場合に基づかせる。
【０１０３】
本発明の好適な方法は、ソフトマージンアルゴリズムの変形例を使用することを含み、訓練は、Ｃｏｒｔｅｓ及びＶａｐｎｉｋ著「サポートベクトルネットワークス（Support vector Networks）」，１９９５，Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ，２０：３，２７３〜２９７に記載されたような二次プログラムを実行することを含み、これは、全体として参照してここに組み込まれる。下記は、例として提供されるが、しかし本発明により異なるプログラムが企図され、当業者には関連する特別なデータセット用に決定することができる。
【０１０４】
入力は、訓練例（ベクトル）｛ｘ１、ｘ１、……ｘｋ…ｘｃ｝及びクラスラベル｛ｙ１、ｙｚ、……ｙｋ…ｙｃ｝を含む。最適超平面を識別するために、下記の二次プログラムを実行する：
【数４】
2005502097.tif 000011
結果として得られる出力は、パラメータαｋであり、ただし、合計は、ｎ次元の特徴ベクトルであるすべての訓練パターンｘｋを超え、ｘｈ・ｘｋはスカラー積を示し、ｙkはバイナリ値＝１または−１としてクラスラベルをエンコードし、δｈｋはクロネッカー符号（ｈ＝ｋならばδｈｋ＝１であり、それ以外では０）であり、λ及びＣは正の定数（ソフトマージンパラメータ）である。ソフトマージンパラメータは、問題が非線形に分離可能であるかまたは不良に状態調整されるときでさえ、収束を確実にする。そのような場合には、いくつかのベクトルはマージン上にないこともある。方法は、λまたはＣに依存することを含むが、好適な方法は且つ下記の実施例に使用される方法は、λの小さな値（１０-１４のオーダー）を使用して、数値安定性を確実にする。ここに提供される実施例では、解決は、訓練データセットは数個の特徴のみに線形に分離可能であるため、Ｃの値を区別しない。Ｃ＝１００の値が適切であるが、他の方法は、Ｃの他の値を使用しうる。
【０１０５】
入力ベクトルｘの結果として得られた決定関数は下記の通りである。
【０１０６】
Ｄ(ｘ)＝ｗ・ｘ＋ｂ
同時に                                            （９）
【数５】
2005502097.tif 000012
重量ベクトルｗは訓練パターンの線形組み合わせである。大半の重量αkはゼロである。非ゼロ重量を備えた訓練パターンはサポートベクトルである。完全な不等式０＜αk＜Ｃを満たす重量を有するものが、マージナルサポートベクトルである。バイアス値ｂは、マージナルサポートベクトルに対する平均である。
【０１０７】
下記のシーケンスは、ランキング基準として重量等級を使用してＳＶＭへ反復特徴排除（ＲＦＥ）の適用を例示する。入力は、訓練例（ベクトル）：
【数６】
2005502097.tif 000013
及びクラスラベル
【数７】
2005502097.tif 000014
である。
【０１０８】
初期化：
残存特徴のサブセット
ｓ＝［１，２，……ｎ］
特徴ランクづけリスト
ｒ＝［］
ｓ＝［］までの繰り返し
良好な特徴指数への訓練例の禁止
Ｘ＝Ｘ０（：，ｓ）
分類子を訓練
α＝ＳＶＭtrain（Ｘ，ｙ）
次元長の重量ベクトルの計算：
【数８】
2005502097.tif 000015
ランキング基準の計算
すべてのｉに対し、ｃｉ＝（ｗｉ）２
最小ランキング基準で特徴を見出す
ｆ＝argmin（ｃ）
特徴ランクづけリストの更新
ｒ＝［ｓ(ｆ)，ｒ］
最小ランキング基準で特徴を排除
ｓ＝ｓ（１：ｆ−１，ｆ＝１：長さ（ｓ））
出力は、特徴ランクづけリストｒを含む。
【０１０９】
上記工程を修正して、アルゴリズムを一般化することによって計算速度を上げ、１工程につき２つ以上の特徴を除去する。
【０１１０】
一般に、ＲＦＥは、相関方法に比較して計算的に高価であるが、ペンティアム（商標）プロセッサと、例えば、ＳＶＭまたは疑似逆／平均二乗誤差（ＭＳＥ）等のすべての特徴で１回のみ訓練された分類子の重量とを使用して、約１秒間に数千の入力データ点をランクづけすることができる。ペンティアム（商標）プロセッサ上で非最適化マトラボ（ＭａｔＬａｂ）（商標）コードを使用して実施されたＳＶＭは、数秒で解決を提供することができる。計算速度を上げるために、ＲＦＥは、減少サイズの特徴のサブセットに複数の分類子を訓練することによって実施されることが好ましい。訓練時間は、訓練されるべき分類子の数で線形に拡大する。トレードオフは、計算時間対精密度である。ＲＦＥの使用は、単一の分類子の重量を使用することによって得ることができるよりも、良好な特徴選択を提供する。良好な結果は、多量の特徴を排除するのとは対照的に、一時に１つの特徴を排除することによっても得られる。しかし、重要な差は、１００未満等の小さなサブセットの特徴のみで見られる。精密度を速度と取り引きすることなく、ＲＦＥは、最初の数反復で多量の特徴を除去し、次いで後の反復で、ひとたび特徴セットが数百に到達したならば一時に１つの特徴を除去することによって、使用することができる。ＲＦＥは、特徴例えば遺伝子の数が何百万に増加するときに、使用することができる。さらに、ＲＦＥは一貫して、特に小さな特徴サブセットでは、ナイーブランキングよりも性能が優れている（ナイーブランキングは、特徴を（ｗｉ）２でランクづけることを含み、これは、ＲＦＥの第１の反復に計算的に等価である）。ナイーブランキングは、個別関連にしたがって特徴を順序づけるが、一方、ＲＦＥランキングは、特徴サブセットランキングである。入れ子状の特徴サブセットは、個別には必ずしも最大関連でない相補的な特徴を含む。ＳＶＭ特徴選択の重要な態様は、外れ値点が基本的な役割を果たすため、きれいなデータがもっとも好適であるということである。有用なパターンの選択、サポートベクトル、及び、有用な特徴の選択が関連する。
【０１１１】
前処理は、ＳＶＭ−ＲＦＥに強い衝撃を与えることができる。特に、特徴スケールは、比較できるほどのものでなければならない。１つの前処理方法は、各特徴から平均を引き、次いで結果を標準偏差で割ることである。そのような前処理は、拡大縮小が計算コスト関数に考慮に入れられるのであれば、必要ない。
【０１１２】
上述の線形の場合に加えて、ＳＶＭ−ＲＦＥは非線形の場合及び他のカーネル方法に使用することができる。ここに説明されたように、コスト関数の最小の変化に基づいて特徴を排除する方法は、非線形使用に、及び一般のすべてのカーネル方法に、拡大することができる。計算は、αの値に変化がないと想定することによって、取り扱いやすくすることができる。このようにして、分類子は、排除されるべきすべての候補特徴用に再訓練される必要はない。
【０１１３】
具体的には、ＳＶＭの場合には、最小にされるべきコスト関数（０≦αｋ≦Ｃ及びΣkαkγk＝０の強制下で）は、
Ｊ＝（１／２）αＴＨα−αＴｌ    （１０）
であり、ただし、Ｈは要素γｈγｋＫ（ｘｈｘｋ）を備えた行列であり、Ｋはｘｈとｘｋとの間の類似性を測定するカーネル関数であり、ｌはそれらの
【数９】
2005502097.tif 000016
次元ベクトルである。
【０１１４】
そのようなカーネル関数の例は、
Ｋ（ｘｈｘｋ）＝ｅｘｐ（−γ‖ｘｈｘｋ‖２）    （１１）
である。
【０１１５】
入力構成要素ｉを除去することによって生じたコスト関数の変化を計算するために、αを変化のないままにして行列Ｈを再計算する。これは、Ｋ（ｘｈ（−ｉ）、ｘｋ（−ｉ）を計算し、行列Ｈ（−ｉ）を生じるように対応し、ただし、記号（−ｉ）は構成要素ｉが除去されたことを示す。結果として得られるランキング係数は下記の通りである：
ＤＪ（ｉ）＝（１／２）αＴＨα−（１／２）αＴＨ（−ｉ）α    （１２）
最小の差ＤＪ（ｉ）に対応する入力は除去されるものとする。手順は反復され、反復特徴排除（ＲＦＥ）を実行する。
【０１１６】
本発明は、ＲＦＥを使用する、本願に開示されるＳＶＭ等の最新式の分類子を使用して、容易にアクセスされるチャネルを通して他へ情報を提供する方法、システム及び装置に関する。そのような情報を提供する方法の好適な実施形態は、下記の工程を含む。分析されるべきデータが提供される。このデータは、顧客、研究施設、学術機関、国立研究所、商業団体、または、他の公共のまたは秘密の情報源由来でもありうる。データの源及び提供されるデータの種類は、本方法には重要ではない。データは、インターネット経由、サーバリンケージ、または、ディスク、ＣＤ、ＤＶＤ、または、他の格納手段等のいずれの手段によってＳＶＭへ提供されうる。
【０１１７】
ディスクは、コンピュータシステムに、好ましくはＳＶＭ−ＲＦＥに入力される。ＳＶＭ−ＲＦＥは、１回以上走行し、最良の特徴選択を生成し、これを観察グラフに表示することができる。ＳＶＭはいずれのアルゴリズムを使用してもよく、データは必要に応じて前処理および後処理されうる。好ましくは、サーバは、ＳＶＭの活動の結果及び特徴の選択を組織化する第１の観察グラフを含む。
【０１１８】
ＳＶＭによって生成された情報は、外部の専門家、コンピュータデータベースまたは他の相補的情報源によって試験されうる。例えば、結果として得られた特徴選択情報は、選択された遺伝子に関するものであれば、生物学者または専門家またはコンピュータデータベースが、例えば、医療及び科学の文献から選択された遺伝子に関する相補的な情報を提供しうる。利用可能なすべてのデータを使用して、遺伝子には客観的なまたは主観的な等級が与えられる。遺伝子相互作用も記録されうる。
【０１１９】
ＳＶＭ及び他の情報源から導き出された情報が組み合わされて、大域組み合わせグラフを生じる。グラフは、付随するスコアとともに、遺伝子等の選択された特徴の複数の代替候補サブセット等の情報を提供する。例えば、ここで使用される遺伝子選択データにおいて、スコアは、遺伝子が統計的見地からいかに予測的であるか、生物学的見地からいかに興味深いか、を反映する。
【０１２０】
グラフは、ブラウザ等のコンピュータ手段によって探求することができる。知識ベースは、グラフを探求している間に、インタラクティブに構築されうる。最良の適合遺伝子等の研究の結果は、データ提供者にまたは最終ユーザに戻され、または、その情報を必要とする別の団体に送られるか、または、インターネットでまたは専用オンラインサービスを経由して利用可能にされる。金融取引も数工程で発生しうる。最終ユーザは、本願の方法によって決定された情報を受け取る者である。
【０１２１】
好適な選択ブラウザは、ユーザが生成された情報を使用するのを補助するグラフィカルユーザインタフェイスであることが好ましい。例えば本願の例において選択ブラウザは、最終ユーザが、ＳＶＭ−ＲＦＥによって識別された遺伝子から可能な薬剤目標を選択するのを補助する遺伝子選択ブラウザである。入力は観察グラフであり、これは、統計分析パッケージ及びいずれの相補的知識ベース情報の出力であり、グラフまたはランクづけられた形態であることが好ましい。例えば、遺伝子選択用のそのような相補的知識は、遺伝子、機能、誘導蛋白、測定アッセイ、分離技術等に関する知識を含んでもよい。ユーザインタフェイスによって、グラフの視覚的探求及び２つのグラフの積を可能にし、有望な目標を識別することが好ましい。ブラウザは、一般には集約的な計算を必要とせず、必要な場合には他のコンピュータ手段で走行することができる。サーバによって生成されたグラフは、ブラウザによってアクセスされる前に、予め計算することができるか、または、当該の点でグラフを拡大することによって、その場で生成され機能する。
【０１２２】
好適な実施形態において、サーバは統計分析パッケージであり、遺伝子特徴選択では遺伝子選択サーバである。例えば、入力は、ＤＮＡマイクロアレイ等からの源または他のデータ源からの、遺伝子表出のパターンである。出力は、ＳＶＭ−ＲＦＥの１回以上の走行の結果を組織化する観察グラフである。選択サーバに計算的に高価な操作を走行させることが最適である。
【０１２３】
サーバの好適な方法は、ＳＶＭによって獲得された情報を拡大することである。サーバは、いずれのＳＶＭ結果を使用することができ、ＳＶＭ−ＲＦＥ選択方法に限定されない。例として、方法は遺伝子選択に関連するが、サーバによっていずれのデータを取り扱うことができる。遺伝子選択にＳＶＭ−ＲＦＥを使用すると、遺伝子冗長度は排除されるが、選択された遺伝子と相関する判別遺伝子に関して知ることは参考になる。遺伝子の所与の数Ｎには、ＳＶＭ−ＲＦＥによって１つのみの組み合わせが保持される。実際には、類似結果を提供するＮ個の異なる遺伝子の多くの組み合わせがある。
【０１２４】
組み合わせサーチは、Ｎ個の遺伝子の多くの代替組み合わせの選択を可能にする方法であるが、この方法はデータを過剰適合する傾向がある。ＳＶＭ−ＲＦＥはデータを過剰適合しない。ＳＶＭ−ＲＦＥは、監視されたクラスタリングと組み合わされ、最適選択された遺伝子と相関される代替遺伝子のリストを提供する。１つの遺伝子を別の相関遺伝子によって単に置き換えることが、実質的な分類性能悪化を生じる。
【０１２５】
結腸データ用のＳＶＭ−ＲＦＥの数走行を含む観察グラフの例が図９に示される。ルートノードから深さＤのツリーの所与のノードへの経路が、Ｄ遺伝子のサブセットを規定する。遺伝子の各サブセットの品質は、例えば、これらの遺伝子で訓練された分類子の成功率によって査定することができる。所与の経路の最後のノード色が、サブセットの品質を示す。
【０１２６】
グラフは複数の使用を有する。例えば、４つの蛋白質の最大を使用する治療組成物の設計において、統計的分析は、どの蛋白質が患者に提供するのに容易であるかは考慮に入れない。グラフにおいて、ツリーの好適な強制されていない経路は、ルートノードからもっとも暗いリーフノードへ、ツリーのボールドエッジによって示される。この経路は、ＳＶＭ−ＲＦＥを走行するのに対応する。このノードで選択された遺伝子を使用するのが困難であるとわかった場合には、代替蛋白質を使用するよう選択することができ、ボールドエッジによって示される、残った強制されていない経路に従う。この決定プロセスは、積グラフで下記に検討されるサーチの概念を使用することによって最適化することができる。
【０１２７】
図９において、深さ４のバイナリツリーが示される。これは、各遺伝子選択用に、２つのみの代替があり、選択は４つの遺伝子に限定されることを意味する。より広いツリーによって、より広い様々な遺伝子からの選択が可能になる。より深いツリーによって、より大きな数の遺伝子の選択が可能になる。
【０１２８】
観察グラフのツリーの構造の例は、ここに呈され、図１０に示される。図９のツリーの構造の工程が、図１０に示される。Ａにおいて、ルートのすべてのもっとも古い下位は、規則的なＳＶＭ−ＲＦＥ遺伝子ランキングから得られた遺伝子によってラベルづけされる。最良ランキングの遺伝子は、ルートノードにもっとも近い。ルートの他方の子は、もっとも古い方から若い方へ、及び、すべてのそのもっとも古い下位が次いでラベルづけされる。バイナリツリーの場合には、いずれの１つのノードには２つのブランチまたは子しかない（Ｂ）。Ａのトップランキンのグ遺伝子が除去され、ＳＶＭ−ＲＦＥが再度走行される。ツリーのこの第２のレベルは、ルートからリーフへ、トップランキングの遺伝子で満たされる。この段階で、深さ１であるすべてのノードは、１つの遺伝子でラベルづけされる。第２のレベルを満たすように動くにあたり、ＳＶＭは、強制されたＲＦＥを使用して走行される。強制は、もっとも古いノードの遺伝子が絶対に排除されてはならないということである。ルートのもっとも古いノードの第２の子及びすべてのそのもっとも古い下位は、強制されたＲＦＥを走行することによってラベルづけされる（Ｃ）。
【０１２９】
ここに含まれる例は、癌の存在にもっとも相関する遺伝子を決定するための好適な方法を示すか、または、個人に癌が発生するのを予測するのに使用することができる。本発明は、これらの方法及び他の方法を備え、生体系内の変化の診断または予後のための、遺伝子、蛋白質または他の測定可能な基準を決定するために、学習機械に使用することができる他の計算方法を含む。データの源に限定はなく、データは、遺伝子、蛋白質または臨床試験等の測定可能な基準の組み合わせであってもよく、これは、正常な状態と生体系の状態の変化との間を区別するのに使用することができる。
【０１３０】
下記の例において、遺伝子の好適な数が決定され、これは、区別するデータの分離に起因する。これらの数は、本発明の方法に限定されない。好ましくは、遺伝子の好適な最適数は、およそ１から５００までの範囲であり、より好ましくは１０から２５０まで、１から５０までの範囲であり、さらにより好ましくは１から３２までの範囲であり、さらにより好ましくは１から２１までの範囲であり、もっとも好ましくは１から１０である。遺伝子の好適な最適数は、元々のデータの質及び量によって影響を受けることがあり、したがって、各適用のために当業者によって決定することができる。
【０１３１】
ひとたび決定的な遺伝子が本発明の学習機械によって見出されると、有機体の生物学的変化を治療するための方法及び組成物を使用することができる。例えば、大腸癌の治療のために、治療剤を投与して、遺伝子産品の活動、存在または合成を、拮抗するか苦闘するか、高めるかまたは阻害するかことができる。治療剤及び方法は、センスまたはアンチセンスのポリヌクレオチド、ＤＮＡまたはＲＮＡ類似体、製薬、血漿搬出、脈管形成剤、及び、そのような薬剤の誘導体、類似体及び代謝製品等の遺伝子治療を含むが、これらに限定されない。
【０１３２】
そのような薬剤は、非経口または非侵襲性のルートを経由して投与される。多くの活性剤は、投与の非経口のルート、静脈、筋肉、皮下、腹膜内、髄腔内、鞘内、脳室内、動脈内、及び、注入の他のルートを通して投与される。薬剤送出用の非侵襲性ルートは、経口、鼻、肺、直腸、頬、膣、経皮的及び眼のルートを含む。
【０１３３】
本発明の別の実施形態は、インターネットまたは電話線等の手段を通してパターンの決定の部位から離れた試験の使用を含む。例えば、特定の医療状態に関連すると知られた遺伝子の存在を識別するゲノム試験は、医院で行われる。さらに、臨床データまたはプロテオーム決定等の他の情報も、同時にまたは他の時に作られうる。１つの、いくつかの、または、すべての試験の結果は、ＳＶＭを収容する離れた部位に送信される。そのような試験は、診断段階のため、疾病の予後を決定するため、治療の結果を決定するため、且つ、いずれの治療計画が個別の患者により良好であるかを決定するような処方的適用のために使用される。
【０１３４】
本発明は、下記の実施例によってさらに例示されるが、これは、いずれにも、本発明の範囲を限定するように解釈されるべきではない。逆に、手段は、様々な他の実施形態、修正例及びその等価物であってもよく、これは、ここの記載を読んだ後には、本発明の精神及び／または添付の特許請求の範囲から逸脱することなく、当業者に提案するものであると明確に理解されるべきものである。
【実施例１】
【０１３５】
結腸癌に関連する遺伝子パターンの分析
診断遺伝子試験からのデータ、遺伝子発現ベクトルのマイクロアレイデータの分析が、ＳＶＭ−ＲＦＥで実行された。本実施例の元々のデータは、Ａｌｏｎ等、１９９９に呈されたデータから得られた。遺伝子発現情報は、前処理後に、６２組織×２０００遺伝子の表から生じるマイクロアレイデータから抽出された。６２組織は、２２正常組織と４０結腸癌組織を含む。行列は、６２組織にわたる最高最小強度で２０００遺伝子の発現を含む。遺伝子のいくつかは、非ヒト遺伝子である。
【０１３６】
データによって、分離することが比較的容易であることがわかった。前処理後に、エラーなしでデータセット全体を分離したほんの数遺伝子のセットの加重合計を見出すことが可能であり、したがって、データセットは線形に分離可能であった。結腸癌データセットにおける１つの問題は、腫瘍試料と正常組織とは細胞組成が異なるということであった。腫瘍試料は通常、上皮組織に多く、正常試料は、平滑筋細胞の大きな分画を含む細胞種類の混合であった。試料は、細胞組成に基づいて容易に分離されることができたが、この分離は、癌関連遺伝子を追跡するのはあまり情報的ではなかった。
【０１３７】
Ａｌｏｎらは、トップダウン階層クラスタリングに基づいたデータの分析、すなわち、監視されていない学習の方法を提供する。分析は、大半の正常試料が一緒に群がり、大半の癌試料が一緒に群がることを示す。誤ったクラスターに分類される「外れ値」試料は、典型的な試料とは細胞組成が異なると、Ａｌｏｎらは説明する。彼らは、多くの平滑筋遺伝子の平均遺伝子発現を測定する筋指数を計算する。大半の正常試料は高い筋指数を有し、癌試料は低い筋指数を有する。大半の外れ値では逆が真になる。
【０１３８】
Ａｌｏｎらは遺伝子を群がらせ、いくつかの遺伝子が癌対正常分離スキームと相関することは示すが、遺伝子選択の特定の方法は提案しない。彼らは、いくつかの遺伝子が癌対正常分離と相関することは示すが、遺伝子選択の特定の方法は提案しない。
【０１３９】
本発明による遺伝子選択方法は、ＧｏｌｕｂらがＳｃｉｅｎｃｅ，１９９９年に記載した参照遺伝子選択方法に対して比較され、それは、「ベースライン方法」と称される。規定された訓練及び試験のセットがなかったため、データは、訓練用の３１試料及び試験用の３１試料に無作為に分けられた。
【０１４０】
Ｇｏｌｕｂらでは、著者らは分類子品質の数種類の測定基準を使用し、エラー率、固定閾値での不良率及び分類信頼を含む。各値は、独立した試験セットと、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法を使用して訓練セットと、の両方において計算される。Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法は、訓練セットから１つの例を除去し、残っている訓練データのみに基づいて決定関数を構築し、次いで除去された例を試験することから構成される。この方法において、訓練データのすべての例を試験し、訓練例の総数に対するエラーの分画を測定する。
【０１４１】
本発明の学習機械を使用する本実施例の方法は、上記測定基準の修正を使用する。図１１は、線形判別分類子の使用をグラフ的に例示する。Ａ）ＳＶＭでの訓練例の分離。Ｂ）同一ＳＶＭでの訓練例及び試験例の分離。Ｃ）ベースライン方法での訓練例の分離。Ｄ）ベースライン方法での訓練例及び試験例の分離。本発明の分類方法は、様々な決定関数Ｄ（ｘ）を使用し、その入力は遺伝子発現係数であり、その出力は癌が存在したか否かを示す符号のついた数である。分類決定は、Ｄ（ｘ）の符号にしたがって実行される。Ｄ（ｘ）の大きさは、分類信頼度を示す。
【０１４２】
分類子品質の４つの測定基準が使用された（図１２参照）。
【０１４３】
エラー（Ｂ１＋Ｂ２）＝ゼロ拒否でのエラー（「悪い」）の数。
【０１４４】
拒否（Ｒ１＋Ｒ２）＝ゼロエラーを得るために拒否された試料の最小数。
【０１４５】
極値的マージン（Ｅ／Ｄ）＝正のクラス試料の最小出力と負のクラス試料の最大出力との間の差（出力の間の最大差によって再倍率変更される）。
【０１４６】
中央値マージン（Ｍ／Ｄ）＝正のクラス試料の中央値出力と負のクラス試料の中央値出力との間の差（出力の間の最大差によって再倍率変更される）。
【０１４７】
各値は、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法で、訓練セットと試験セットとの両方において計算される。
【０１４８】
エラー率は、誤って分類される例の分画である（診断エラーに対応する）。エラー率は、成功率によって補完される。不良率は、拒否される例の分画である（信頼度が低いためそれで何の決定も行われない）。不良率は、受容率によって補完される。極値的マージン及び中央値マージンは、分類信頼度の測定値である。Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法で計算されたマージンまたは試験セットのマージンは、モデル選択基準に使用されることがある訓練例に計算されるマージンとは異なることに注意されたい。
【０１４９】
遺伝子の最適サブセットを予測するための方法は、訓練例のみから導き出された情報を使用する最適化の基準を規定することを含んだ。この基準は、予測された遺伝子サブセットが試験セットで最良に働くか否かを決定することによって、チェックされた。
【０１５０】
同様の「モデル選択」問題に使用されることが多い基準は、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ成功率Ｖsucである。ゼロＬｅａｖｅ−ｏｎｅ−ｏｕｔエラーを有する多くの分類子の間で区別が許可されないため、本実施例では、これはほとんど使用されなかった。そのような区別は、クロス確認によって計算された品質測定基準のすべてをＬｅａｖｅ−ｏｎｅ−ｏｕｔ法に組み合わせる基準を使用することによって得られる：
Ｑ＝Ｖｓｕｃ＋Ｖａｃｃ＋Ｖｅｘｔ＋Ｖｍｅｄ
ただし、Ｖｓｕｃは成功率Ｖａｃｃは受容率、Ｖｅｘｔは極値的マージン、Ｖｍｅｄは中央値マージンである。
【０１５１】
理論的考察により、大きな遺伝子セットにペナルティーを課すためにこの基準を修正することが示唆された。実際、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔエラーと試験エラーとの間の大きな差を観察する可能性は、下記の公式を使用して、遺伝子セットのサイズとともに増大し
ε(ｄ)＝ｓｑｒｔ（−ｌｏｇ(α)＋ｌｏｇ(Ｇ(ｄ))）.ｓｑｒｔ（ｐ(１−ｐ)／ｎ）
ただし、（１−α）は信頼度（典型的に９５％、すなわち、α＝０．０５）
ｐは「真」のエラー率（ｐ＜＝０．０１）、
ｎは訓練セットのサイズである。
【０１５２】
保証されたリスク原則（Ｖａｐｎｉｋ、１９７４）に従って、ε（ｄ）に対して比例する量が基準Ｑから引かれて、下記の新しい基準が得られた：
Ｃ＝Ｑ−２ε(ｄ)
【０１５３】
比例の係数は、Ｖｓｕｃ、Ｖａｃｃ、Ｖｅｘｔ及びＶｍｅｄは同一のエラーバーε（ｄ）を有する独立した無作為変数であり且つこのエラーバーが標準偏差に比例することを想定して、発見的に計算された。この場合、分散は追加的であり、したがって、エラーバーはｓｑｒｔ（４）を掛けるべきである。
【０１５４】
好適な実施形態の方法のより詳細な検討は下記の通りである。ＳＶＭ−ＲＦＥが生データで走行され、方法の妥当性を査定した。結腸癌データ試料は、訓練用の３１例と試験用の３１例とに無作為に分けられた。ＲＦＥ方法は、遺伝子の数を漸次削減するように走行され、各回、数を２で割った。各遺伝子発現値用のデータの前処理は、値から平均を引くことと、次いで、結果を標準偏差で割ることと、から構成される。
【０１５５】
分類子品質基準を備えたＬｅａｖｅ−ｏｎｅ−ｏｕｔ法を使用して、最適遺伝子数を概算した。Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法は、訓練セットから１つの例を取ることを含む。次いで、訓練が残りの例で行われ、抜いた例を使用して、訓練された分類子を試験する。この手順は、すべての例に対して反復される。各基準がすべての例に対する平均として計算される。全体的な分類子品質基準は、４つの値の総和である。すなわち、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ成功率（ゼロ拒否で）、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ受容率（ゼロエラーで）、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ極値的マージン及びＬｅａｖｅ−ｏｎｅ−ｏｕｔ中央値マージンである。分類子は、ハードマージンを備えた線形分類子である。
【０１５６】
ここに教示されたようにＳＶＭ−ＲＦＥの結果は、訓練データのみを使用する方法によって予測された最適において、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔエラーはゼロであり、試験性能は実際に最適であることを示す。４つの遺伝子が発見され、それらは下記の通りである。
【０１５７】
Ｌ０７６４８  ヒトＭＸＩ１ｍＲＮＡ、完全ｃｄｓ
Ｔ４７３７７  ７１０３５  Ｓ−１００Ｐ  蛋白質（ヒト）
Ｍ７６３７８  ヒト  システインに富む蛋白質（ＣＲＰ）遺伝子、エクソン５及び６
Ｚ５０７５３  ホモサピエンス  ｍＲＮＡ  ＧＣＡＰ−ＩＩ／ウログアニリン前駆物質用
【０１５８】
最適試験性能は、８１％成功率を有した。この結果は、Ａｌｏｎらによる元々の論文で報告された結果に一致した。さらに、エラーは、１つを除いて、Ａｌｏｎらによって外れ値と識別された。エラーは、８、３６、３４、１２、−３６及び−３０であり、３６はＡｌｏｎらによって外れ値と識別されなかったエラーであった。数は組織を識別し、一方、符号は腫瘍が存在するか否かを示す（負＝腫瘍、正または符号なし＝正常）。Ａｌｏｎらはデータセット全体に監視されていない学習を使用しており、一方、本実施形態はデータセットの半数に監視された学習を使用したため、直接性能比較は行われなかった。遺伝子数の関数での性能カーブのプロットは、図１２に示される。図１２のグラフの記載は下記の通りである：
2005502097.tif 000017
菱形曲線の最適は、ｌｏｇ２（遺伝子の数）＝２＝＞遺伝子の数＝４であり、これは円曲線の最適に一致する。
【０１５９】
前処理工程
ログを取る
データの当初前処理工程は、Ａｌｏｎらによって記載された。データは、データ分布中のねじれを減少するために、さらに前処理された。図１３は、２つの無作為遺伝子用の組織試料にわたる遺伝子発現値の分布を示し（所与の発現値の試料の累積数）、これは、均一分布と比較される。各線は、遺伝子を表す。図１３Ａ及びＢは生データを示す。図１３Ｃ及びＤは、ログを取った後の同一のデータを示す。遺伝子発現値のログを取ることによって、結果として同一曲線となり、分布がより均一になる。これは、遺伝子発現係数が、２つの値の比率を計算することによって得られることが多いという事実のためでありうる。例えば、競争的なハイブリッド形成スキームにおいて、異なってラベルづけされた２つの試料からのＤＮＡが、アレイにハイブリッド形成される。アレイの各点で、２つのラベルの蛍光性に対応し特定の遺伝子へハイブリッド形成されたいずれかの試料のＤＮＡの分画を反映する２つの係数を得る。典型的に、取られる第１の当初前処理工程は、これらの２つの値の比率ａ／ｂを取ることである。この当初前処理工程は適切であるが、その２つの値が小さいときには最適ではないこともある。他の当初前処理工程として、（ａ−ｂ）／（ａ＋ｂ）及び（ｌｏｇ ａ−ｌｏｇ ｂ）／（ｌｏｇ ａ−ｌｏｇ ｂ）が挙げられる。
【０１６０】
アレイ平均を差し引く
図１４は、すべての組織試料用の遺伝子にわたる遺伝子発現値の分布を示す。図１４Ａは生データを示し、図１４Ｂはｉｎｖ  ｅｒｆを示す。形状は、ほぼｅｒｆ関数のものであり、密度はほぼ通常法に従うことを示す。実際、データに逆ｅｒｆ関数を通らせることによって、ほぼ真っ直ぐな平行線が生じる。このようにして、平均を引くことによってデータを標準化することが合理的である。この前処理工程は、マイクロアレイによって実験状態に変動があるという事実によって支持される。標準偏差は完全に一定であるように思われるが、選択された他の前処理工程は、遺伝子発現値を標準偏差で割って、標準化された分散の中心データを得た。
【０１６１】
組織試料にわたる各遺伝子発現を標準化する
訓練データのみを使用して、各遺伝子用の平均発現値及び標準偏差が計算された。その遺伝子のすべての組織試料値用（訓練及び試験）に、次いでその平均が引かれ、結果として得られた値は標準偏差で割られた。いくつかの実験において、データをスカッシュ関数に通らせることによって、追加前処理工程が加えられ、外れ値の重要度を減少した。
【０１６２】
新規ＲＦＥ結果
データは上述のように前処理され、新規で改良された結果を生成した。一時に１つの遺伝子を排除することによってＲＦＥを走行することができるように、コードは最適化された。遺伝子選択クロス確認プロセスは、定型ＳＶＭを使用した。
【０１６３】
図１５の結果は、図１２の結果に対して有意な改良を示す。図１５は、前処理後のＲＦＥの結果を示す。図１５用の記載は下記の通りである。水平軸＝ｌｏｇ２（遺伝子の数）である。曲線：円＝試験成功率、四角＝Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ品質基準、三角＝微小（理論的エラーバー）、菱形＝四角−三角（平滑化）最適試験成功率の予報値、菱形曲線の最適は、ｌｏｇ２（遺伝子の数）＝４＝＞遺伝子の数＝１６である。図１２に使用された減少した容量のＳＶＭは、プレーンＳＶＭに交換される。ログスケールは依然として遺伝子数に使用されるが、ＲＦＥは一時に１つの遺伝子を排除することによって走行された。最良試験性能は、９０％分類精密度（８遺伝子）である。訓練データ情報のみに基づいて分類子品質から予測された遺伝子の最適数は、１６である。これは、試験セットの８７％分類精密度に対応する。同一の試験性能が、下記のように、２つの遺伝子のみでも達成される：
Ｊ０２８５４：ミオシン調節軽鎖２、平滑筋アイソフォームヒト、要素ＴＡＲ１繰り返し要素を含む。
【０１６４】
Ｒ５５３１０：Ｓ３６３９０ミトコンドリア処理ペプチターゼ。
【０１６５】
これらの２つの遺伝子のいずれも、第１の実験のリストのトップには表れない。
【０１６６】
見出されたトップ遺伝子は、平滑筋遺伝子であり、これは、組織組成に特徴的な遺伝子であり、おそらく癌には関係しない。
【０１６７】
Ｇｏｌｕｂの方法との比較
Ｇｏｌｕｂの遺伝子選択方法は、ランキング方法であり、そこで遺伝子は、すべての訓練データ試料用の遺伝子発現値のベクトルと目標値のベクトル（正常試料では＋１及び癌試料では−１）との間の相関にしたがって順序づけられる。Ｇｏｌｕｂらは、ｍ／２トップランク遺伝子及びｍ／２ボトムランク遺伝子を選択して、分離に高度に相関する遺伝子の半数と、反相関の半数とを得る。Ｇｏｌｕｂらは、線形分類子を使用する。未知の試料を分類するために、各遺伝子は、目標分離ベクトルとの相関係数にしたがって、癌または正常に「投票」する。Ｇｏｌｕｂの方法によって選択されたトップ遺伝子は、Ｊ０２８５４（平滑筋関連）であった。図１６は、ベースライン方法を使用する本実施形態とＧｏｌｕｂらとを比較を例示する。図１５で使用されたものと同一の曲線が図１６に示される。図１６用の記載は下記の通りである。水平軸＝ｌｏｇ２（遺伝子の数）である。曲線：円＝試験成功率、四角＝Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ品質基準、三角＝イプシロン（理論的エラーバー）、菱形＝四角−三角（平滑化）最適試験成功率の予報値である。データは、図１５及び１６で同一に前処理されており、次いでＧｏｌｕｂの方法で処理され、図１９にグラフ化された。ＳＶＭ等の学習機械を使用して最適遺伝子数を選択することは、本発明の新規所見である。
【０１６８】
本発明の本実施形態の方法の結果とＧｏｌｕｂの方法の結果とを比較するために、下記の公式を使用して、いずれの信頼度（１−η）で一方の分類子が他方の分類子よりも良好であるかを決定するかの統計試験が使用された：
（１−η）＝０．５＋０．５ｅｒｆ（ｚη／ｓｑｒｔ(２)）
ｚη＝εｔ／ｓｑｒｔ（ｖ）
ただし、ｔは試験例の数であり、ｖは２つの分類子の一方のみによって作られるエラー（または拒否）の総数であり、εはエラー率（または不良率）の差であり、ｅｒｆは、エラー関数
【数１０】
2005502097.tif 000018
である。これは、ｉ．ｉ．ｄ．（独立且つ等分布）エラー、一方的リスク及び通常法による２項法の推定概算を想定する。
【０１６９】
この公式は、表６に要約された結果に適用された。いずれの場合にも、ε＝３／３１及びｖ＝３である。試験例の総数は、ｎ＝３１である。この試験に基づいて、本発明の本実施形態の方法は、９５．８％信頼度でＧｏｌｕｂよりも良好であった。
【表６】
2005502097.tif 000019
表６：本発明の本実施形態の方法とＧｏｌｕｂの方法との間のエラー率の比較。符号は、癌（負）または正常（正）を示す。本発明の本実施形態では、最良性能は８遺伝子であり、予測される最適は１６遺伝子であった。Ｇｏｌｕｂでは、最良性能は１６遺伝子であり、予測される最適は４遺伝子であった。いずれの場合も最良性能と予測される最適との間には１つのエラー差しかなかったことに注意されたい。
【０１７０】
クラスタリングと遺伝子選択との組み合わせる
データ冗長性のため、合理的な分離を提供する遺伝子の多くのサブセットを見出すことが可能であった。結果を分析するために、これらの遺伝子がどのように関連しているかを理解することが最適であった。いずれの特定の理論によって縛られることは望まないが、遺伝子選択の問題が、最大の精密度で癌組織から正常な組織を分離する好ましくは少数の最適遺伝子数を見出すことが、当初の理論であった。
【０１７１】
ＳＶＭ−ＲＦＥは、相補的でありしたがって冗長度の少ない情報を担持する遺伝子のサブセットを使用した。データの構造及び性質に関する他の情報は提供されなかった。データは非常に冗長的であるため、選択されなかった遺伝子が、それにもかかわらず分離に情報的でありうる。
【０１７２】
Ｇｏｌｕｂの方法等の相関方法は、遺伝子のランクづけられたリストを提供する。ランク順は、遺伝子が分離といかに相関しているかを特徴づける。一般に、単独で取られてランクの高い遺伝子は、ランクの低い遺伝子よりも良好な分離を提供する。したがって、「高度に情報的な遺伝子」を「あまり情報的でない遺伝子」から分離する閾値を設定することが可能である（例としてトップランクの遺伝子のみを保存する）。
【０１７３】
ＳＶＭ−ＲＦＥ等の本発明の方法は、より小さく且つより判別的である遺伝子のサブセットを提供する。ＳＶＭ−ＲＦＥを使用する遺伝子選択方法も、遺伝子のランクづけられたリストを提供する。このリストで、増加するサイズの遺伝子の入れ子状のサブセットを規定することができる。しかし、１つの遺伝子が他の遺伝子よりも高いランクを有するという事実は、この１つの因子のみが良好な分離を特徴づけるということは意味しない。事実、きわめて初期に排除される遺伝子は、非常に情報的であるかもしれないが、保持される他の遺伝子と重複するかもしれない。３２最良遺伝子は全体として良好な分離を提供するが、個別には目標分離とはあまり相関しないこともある。遺伝子ランキングは、良好な分離を提供する遺伝子の入れ子状のサブセットを構築することを可能にする。個別の遺伝子がいかに良好であるかは情報的ではない。いずれのランクの遺伝子は、３２最良遺伝子と相関されうる。相関された遺伝子は、目標分離に関する情報を担持しないからではなく、残っている遺伝子のいくつかとの冗長性のためいくつかの点で除外されうる。
【０１７４】
遺伝子ランキング単独では、いずれの遺伝子が情報的でありいずれの遺伝子がそうでないかを特徴づけるには不十分であり、また、いずれの遺伝子が相補的でありいずれの遺伝子が冗長性であるかを決定するには不十分である。
【０１７５】
監視されていないクラスタリング
遺伝子ランキング単独の問題を克服するために、データは、監視されていないクラスタリング方法で前処理された。遺伝子は、相似にしたがって（所与の測定基準にしたがって）グループ化された。次いでクラスター中心が遺伝子自体の代わりに使用され、ＳＶＭ−ＲＦＥによって処理され、クラスター中心の入れ子状サブセットを生成した。最適的なサブセットのサイズは、前に使用されたのと同一のクロス確認方法で選択することができる。
【０１７６】
データを使用して、１００デンスクラスターを生成するためにＱＴｃｌｕｓｔクラスタリングアルゴリズムが使用された。使用された類似測定は、ピアソンの相関係数であった（遺伝子クラスタリングには共通して使用されるように）。図１７は、１００デンスＱＴｃｌｕｓｔクラスターに訓練するときのＲＦＥの結果の性能曲線を提供する。水平軸＝ｌｏｇ２（遺伝子のクラスター中心の数）である。曲線：円＝試験成功率、四角＝Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ品質基準、三角＝イプシロン（理論的エラーバー）、菱形＝四角−三角（平滑化）最適試験成功率の予報値、菱形曲線の最適は、ｌｏｇ２（遺伝子のクラスター中心の数）＝３＝＞遺伝子のクラスター中心の数＝８である。
【０１７７】
この分析の結果は、図１５の結果と比較可能である。クラスター要素は表７にリストされる。
【表７】
2005502097.tif 000020
2005502097.tif 000021
表７：ＲＦＥで選択されたＱＴｃｌｕｓｔクラスター。クラスターランク（Ｒｋ）が高くなればなるほど、クラスターはより重要になる。最小相関は、クラスター要素の間の最小相関係数である。ＧＡＮ＝遺伝子受入番号。
【０１７８】
監視されていないクラスタリングで、１セットの情報的な遺伝子が規定されるが、保持されなかった遺伝子が情報を担持していないという保証はない。ＲＦＥがすべてのＱＴｃｌｕｓｔクラスター＋残っている非クラスター遺伝子（１つずつのクラスター）に使用されたときに、性能曲線は非常に類似したが、選択された遺伝子クラスターのトップセットは完全に異なり、たいていは１つずつに含まれた。表１に選択された遺伝子は、構造物に組織される：クラスター内で、遺伝子は冗長的であり、クラスターにわたって遺伝子は相補的である。
【０１７９】
クラスター中心は、そのいずれのメンバーで置き換えることができる。この要因は、いくつかの医療診断試験の設計には重要であることがある。例えば、いくつかの蛋白質の投与は他の蛋白質の投与よりも容易であることがある。代替遺伝子を選択することは、治療及び投与選択に柔軟性を導入する。
【０１８０】
１０の無作為選択が試験され、８クラスターの各々の１つの遺伝子が、無作為に選択された。平均試験セットの精密度は０．８０であり、標準偏差は０．０５であった。これは、クラスター中心の０．８７に匹敵するものである。無作為選択試験の１つが、中心のものよりも優秀な精密度を生じた（０．９０）：Ｄ２３６７２、Ｔ５１０２３、Ｔ８５２４７、Ｒ８９３７７、Ｒ５１７４９、Ｘ５５１８７、Ｒ３９２０９、Ｕ０９５６４。
【０１８１】
ＱＴｃｌｕｓｔクラスタリングの代わりに階層クラスタリングを使用して、平均して２要素を含む多くの小さなクラスターを生成した。クラスターの濃度が低いため、選択すべき遺伝子代替物は少なかった。この場合、階層クラスタリングは、ＱＴｃｌｕｓｔクラスタリングを使用するものほど良好な結果を生じなかった。本発明は、クラスタリング用のいずれの公知の方法を使用することを企図しており、階層クラスタリング、ＱＴｃｌｕｓｔクラスタリング及びＳＶＭクラスタリングを含むが、それらに限定されない。本発明にいずれのクラスタリング方法を使用するかを選択するかは、当初データ及び所望の成果に影響され、当業者によって決定することができる。
【０１８２】
監視されたクラスタリング
本発明で使用される別の方法は、ＳＶＭ−ＲＦＥの後処理工程としてクラスタリングを使用することであった。遺伝子発現係数の元々のセットに定型ＳＶＭ−ＲＦＥを走行することによって選択された各遺伝子は、クラスター中心として使用された。例えば、図１５を参照して記載された結果が使用された。トップの８遺伝子の各々用に、相関係数が、すべての残っている遺伝子で計算された。パラメータは、遺伝子ｉにクラスターされた遺伝子は、次の２つの条件に合致する遺伝子であるということであった：８遺伝子の選択されたサブセットの他の遺伝子よりも、遺伝子ｉを備えたより高い相関係数を有さなければならない、且つ、閾値θを超える相関係数を有さなければならない。
【０１８３】
ここに呈される図面及び表において、８遺伝子用の結果が呈された。
【０１８４】
クラスターされた遺伝子は表８にリストされる。
【表８】
2005502097.tif 000022
2005502097.tif 000023
表８：監視されたクラスタリング。クラスターは、定型ＳＶＭ−ＲＦＥによって見出された最良遺伝子のまわりに構築された。パラメータθは０．８である（テキスト参照）。クラスターランク（Ｒｋ）が高くなればなるほど、クラスターはより「関連性がある」べきである。最小相関は、クラスター要素の間の最小相関係数である。ＧＡＮ＝遺伝子受入番号。クラスター中心は星印が先行する。
【０１８５】
監視されていないクラスタリングの方法及び結果と比較すると、監視されたクラスタリングは、この場合、クラスター当たりの例の数に対して良好な制御を提供しない。したがって、この方法は、目標が各クラスターの様々な遺伝子から選択する能力であるならば、監視されていないクラスタリングほど良好ではない。しかし、監視されたクラスタリングは、決定されている特定の知識に関連性がある特定のクラスターを示しうる。この特定の実施形態において、特に、組織組成に関連性があってもよく且つ癌対正常分離に関連性がないかもしれない数種類の筋遺伝子を含む遺伝子の非常に大きなクラスターが見出された。したがって、これらの遺伝子は、結腸癌の診断または予後にほとんど意味を持たないものとして、考察から排除される良好な候補である。
【０１８６】
組織組成関連遺伝子の除外
下記の方法は、識別された組織組成関連遺伝子を自動的に排除することに関連した。この種類の遺伝子は、癌対正常分離に情報的である遺伝子からこれらを区別することが可能ではなかったため、結果の分析を複雑にする。監視されていない学習前処理での結果は、トップランクの遺伝子が、可能性のある組織組成関連遺伝子を検出するのに使用されたキーワード「平滑筋」を含まないということを示した。心筋遺伝子は依然としてこの方法下で選択された。
【０１８７】
先に記載された訓練セット／試験セットの分割を使用して、他の方法が使用された。例えば、トップランクの遺伝子のいくつかが排除され、「平滑筋」遺伝子または他の筋遺伝子がトップランクの遺伝子内になくなるまで、遺伝子選択プロセスが再度走行された。しかし、試験セットの性能が悪化し、遺伝子セットに組織組成関連遺伝子がないときを決定するのを可能にする自動基準がなかった。
【０１８８】
本発明の好適な方法において、遺伝子選択プロセスがデータセット全体に実行された。より大きな数の訓練試料で、ここで使用されるＳＶＭ等の学習機械が、組織組成関連遺伝子を除外した。いずれの特定の理論で縛られることは望まないが、境界線の場合に焦点を当てるＳＶＭの特性（サポートベクトル）は、筋細胞に多い癌組織及び上皮細胞に多い正常組織（平均的な傾向の逆）の数例を上手く利用しうることが理論づけられる。
【０１８９】
結果として得られるトップランキングの遺伝子には、筋関連遺伝子がなく、監視されたクラスタリングでクラスターされた遺伝子を含む。対照的に、Ｇｏｌｕｂの方法は、７トップランキングの遺伝子クラスターのみで３平滑筋関連遺伝子を得る。さらに、ＳＶＭ−ＲＦＥによって見出されたトップランキング遺伝子は、すべて、癌対正常の分離を特徴づけた（表９）。本発明は、より良好な分類精密度及びより小さな遺伝子サブセットでこのデータセットに量的な差を作ることができるだけではなく、遺伝子セットに組織組成関連遺伝子がないため質的な差も作る。
【表９】
2005502097.tif 000024
表９：重要さを増大するために、本発明の方法によって発見された７つのトップランクの遺伝子。Ｒｋ：ランク。Ｓｇｎ：目標分離との相関の符号であり、−は大半の癌組織における過剰発現であり、＋は大半の正常組織における過剰発現である。ＧＡＮ：遺伝子受入番号。可能な関数は、「結腸癌」または「癌」及び遺伝子記載のいくつかの単語を含むキーワードサーチから導き出される。
【０１９０】
図１８は、データセット全体に訓練した後にＳＶＭ−ＲＦＥを使用する本発明の方法の結果をグラフに示す。図１８において、グラフの曲線は下記のように識別される。水平軸＝ｌｏｇ２（遺伝子のクラスター中心の数）。垂直軸＝成功率。曲線：実線円＝訓練成功率、点線黒＝Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ成功率、四角＝Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ品質基準、三角＝イプシロン（理論的エラーバー）、菱形＝四角−三角（平滑化）最適試験成功率の予報値。菱形曲線の最適は、ｌｏｇ２（遺伝子の数）＝５＝＞遺伝子の数＝３２である。
【０１９１】
比較のために、図１９は、データセット全体に訓練したときにＧｏｌｕｂの方法で得られた結果をグラフで示す。このグラフの曲線は下記のように識別される。水平軸＝ｌｏｇ２（遺伝子のクラスター中心の数）。曲線：実線円＝訓練成功率、点線黒＝Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ成功率、四角＝Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ品質基準、三角＝イプシロン（理論的エラーバー）、菱形＝四角−三角（平滑化）最適試験成功率の予報値、菱形曲線の最適は、ｌｏｇ２（遺伝子の数）＝２＝＞遺伝子の数＝４である。
【０１９２】
最良のＬｅａｖｅ−ｏｎｅ−ｏｕｔ性能は、ＳＶＭでは１００％精密度であり、Ｇｏｌｕｂの方法では９０％でしかない（６エラー）。本発明の方法は、９９．３％信頼度で、Ｇｏｌｕｂの方法を使用して得ることができるよりも良好な結果を提供する。
【０１９３】
Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ基準によって予測される最適遺伝子数は、３２遺伝子である（図１８による）。表１０に、これらの７サポートベクトルの「筋指数」値が提供される。筋指数は、試料の筋細胞内容を反映するすべての試料にＡｌｏｎらによって計算された量である。大半の正常な試料は、腫瘍試料よりも高い筋指数を有する。しかし、サポートベクトルは、いずれのそのような傾向を示さない。高い筋指数かまたは低い筋指数かのいずれかを有する正常試料と癌試料との混合がある。
【０１９４】
より重要なことは、発見された遺伝子の分析によって、第１の平滑筋遺伝子は、Ｇｏｌｕｂの方法ではランク５、ＳＶＭではランク４１にすぎないことが明らかにされるということである。さらに、ＳＶＭ予測を使用する最適遺伝子数は、ロググラフでは３２遺伝子、線形グラフでは２１遺伝子である。したがって、ＳＶＭは、分離を実行するのに組織組成関連遺伝子に頼るのを避けることができる。生物学的データによって確認されるように、ＳＶＭによって発見されたトップランキングの遺伝子は、すべて癌対正常分離に関連する。対照的に、Ｇｏｌｕｂの方法は、組織組成に関連し、癌対正常には関連しない遺伝子をトップランキングの遺伝子に選択する。
【表１０】
2005502097.tif 000025
表１０：ＳＶＭ−ＲＦＥによって選択されたトップ７遺伝子に訓練されたＳＶＭのサポートベクトルの筋指数。負の符号を有する試料は腫瘍組織である。正の符号を有する試料は正常組織である。試料は、筋指数を増加する順にランクづけられた。データセットの大半の試料では、腫瘍組織は上皮（皮膚）細胞に多いため、正常組織は腫瘍組織よりも高い筋指数を有する。これは、すべての可能性の混合を示すサポートベクトルの場合にはそうではなかった。
【０１９５】
表１１は、本発明のＳＶＭ−ＲＦＥによって発見された７つのトップランクの遺伝子と、それらを閾値θ＝０．７５でクラスターした遺伝子とを提供する。同一の情報が、Ｇｏｌｕｂの方法用に、表１２で提供される。
【表１１】
2005502097.tif 000026
2005502097.tif 000027
表１１：全６２組織を使用するときのＳＶＭトップランククラスター。クラスターは、閾値θ＝０．７５で最良遺伝子のまわりに構築される。クラスターランク（Ｒｋ）が高くなればなるほど、クラスターはより「関連性がある」べきである。最小相関は、クラスター要素の間の最小相関係数である。Ｓｇｎ：目標分離との相関の符号であり、−は大半の癌組織における過剰発現であり、＋は大半の正常組織における過剰発現である。ＧＡＮ：遺伝子受入番号。クラスター中心は星印が先行する。組織組成関連と思われる遺伝子はない。
【表１２】
2005502097.tif 000028
2005502097.tif 000029
2005502097.tif 000030
表１２：全６２組織を使用するときのＧｏｌｕｂトップランククラスター。クラスターは、閾値θ＝０．７５で最良遺伝子のまわりに構築される。クラスターランク（Ｒｋ）が高くなればなるほど、クラスターはより「関連性がある」べきである。最小相関は、クラスター要素の間の最小相関係数である。Ｓｇｎ：目標分離との相関の符号であり、−は大半の癌組織における過剰発現であり、＋は大半の正常組織における過剰発現である。ＧＡＮ：遺伝子受入番号。クラスター中心は星印が先行する。いくつかの遺伝子は組織組成関連でありうる。
【０１９６】
特徴選択方法として、ＳＶＭ−ＲＦＥは、Ｇｏｌｕｂの方法とは２つの点で異なった。第１に、ＳＶＭによって特徴の間の相互情報が使用されたが、Ｇｏｌｕｂの方法は、暗黙の独立想定をする。第２に、決定関数は、サポートベクトルのみに基づいており、これは、「典型的な」場合を特徴づけるように試みるすべての例に基づくのとは対照的に、「境界線」の場合である。サポートベクトルの使用は、関連性がない組織組成関連遺伝子を除外するのに重要である。ＳＶＭ−ＲＦＥは、独立想定をしないが「典型的な」場合を特徴づけるように試みる他の線形判別関数を使用してＲＦＥ方法と比較された。２つの判別関数が選択された。すなわち、
線形判別分析（ＬＤＡ）とも称されるフィッシャーの線形判別関数（例としてＤｕｄａ、１９７３参照）なぜならＧｏｌｕｂの方法は独立想定をすることによりフィッシャーの線形判別に近似するため、と、
偽逆によって計算される平均二乗誤差（ＭＳＥ）線形判別（例としてＤｕｄａ、１９７３参照）なぜなら全ての訓練例がサポートベクトルであるときには偽逆解決がＳＶＭ解決と同一であるため、である。
【０１９７】
結腸癌データ用の特徴（遺伝子）選択方法の比較の結果は、図２０にグラフで示される。図２１は、結腸癌データ用の最適遺伝子数の選択を示す。反復特徴排除（ＲＦＥ）によって選択された遺伝子の数は変動し、異なる方法で試験された。訓練は、６２試料のデータセット全体に行われた。曲腺はＬｅａｖｅ−ｏｎｅ−ｏｕｔ成功率を表す。異なる方法が図２０に示され、曲腺は下記のように識別される。円：ＳＶＭ−ＲＦＥ。四角：線形判別分析−ＲＦＥ。菱形：平均二乗誤差（偽逆）−ＲＦＥ。三角：ベースライン方法（Ｇｏｌｕｂ、１９９９）。ＳＶＭ−ＲＦＥは、４遺伝子へ最良結果を提供する。選択された遺伝子を試験することによって、ＳＶＭが、組織組成関連である遺伝子を排除し癌対正常分離に関連がある遺伝子のみを保持することが明らかになる。逆に、他の方法は、大半の試料を分離するのを補助するが癌対正常判別に関連がない平滑筋遺伝子をトップランク遺伝子に保持する。
【０１９８】
独立想定をしないすべての方法は、Ｇｏｌｕｂの方法よりも優れており、遺伝子の数の少なくとも１つの値用に１００％Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ精密度を達成する。ＬＤＡは、これらのグラフでわずかに不利であることもあるが、これは、計算理由のため、２の累乗のサイズで減少する多量の遺伝子を排除することによってＲＦＥが使用されたからである。他の方法は、一時に１つの遺伝子を排除することによってＲＦＥを使用する。
【０１９９】
４遺伝子へ、ＳＶＭ−ＲＦＥは、他のすべての方法よりも良好な性能を示した。すべての方法は、方程式：Ｃ＝Ｑ−２ε（ｄ）；６４未満の最適遺伝子数、の基準で予測した。研究されたすべての方法の１〜６４の遺伝子ランキングが比較された。組織組成に関連し記載において「平滑筋」が言及される第１の遺伝子は、Ｇｏｌｕｂの方法ではランク５、ＬＤＡではランク４、ＭＳＥではランク１であり、ＳＶＭではランク４１にすぎない。したがって、これは、ＳＶＭが他の方法に比較してデータを良好に使用していることを強力に示すが、これは、ＳＶＭが、組織組成関連遺伝子を効果的に除外しながら遺伝子の小さなサブセットで高度に正確な分離を提供する唯一の方法だからである。
【０２００】
図１８は、結腸癌データの評価用の最適遺伝子数のグラフである。ＳＶＭで反復遺伝子排除によって選択された遺伝子の数は変動した。曲腺は下記のように識別される。円：試験セットのエラー率。四角：倍率変更された品質基準（Ｑ／４）。十字：倍率変更された最適性の基準（Ｃ／４）。菱形：Ｃ／４を局所的に平滑化した結果。三角：倍率変更された理論的エラーバー（ε／２）。曲線は、Ｃ＝Ｑ−２εによって関連づけられる。
【０２０１】
モデル選択基準は、白血病データを使用して制定され、その予測力は、調節せずに結腸癌データにこれを使用することによって相関された。基準も、最適度を正確に予測した。性能は、第１回の試行ではあまり正確ではなかったが、これは、実施例２の白血病データ用と同一の前処理が使用されたからであった。結果は、数個の前処理工程を加えることによって実質的に改良され、９０％精密度の成功率に達した。これらの前処理工程は、すべての値の対数を取ることと、試料ベクトルを標準化することと、特徴ベクトルを標準化することと、結果にスカッシュ関数を通らせて外れ値の重要度を減少すること［∫(ｘ)＝ｃantan(ｘ／ｃ)］と、を含む。標準化は、すべての訓練値に対して平均を引くことと、対応する標準偏差で割ることと、を含んだ。
【０２０２】
モデル選択基準は、ＳＶＭ及び他のアルゴリズムを使用して様々な他の実験に使用された。最適遺伝子数は、遺伝子数の２倍内で、常に正確に予測された。
【０２０３】
ＳＶＭ−ＲＦＥ分析の結果は、生物学的文献で確認される。結腸癌における役割が以前から識別され広く研究されている蛋白質を、最良にランクづけられた遺伝子がコードする。それは、ＣＤ４４の場合であり、これは、結腸腺癌腫瘍細胞が転移性状態に推移するときに上方制御され（Ｇｈｉｎａ、１９９８）、及び、細胞接着に関与するコラーゲンである。結腸癌細胞は、転移性プロセスの一部として活動を低下するコラーゲンを有する（Ｋａｒａｋｉｕｌａｋｉｓ、１９９７）。ＡＴＰシンターゼが、腫瘍に供給する血管を構築するのを補助する酵素として、ほんの１年前に制定された（Ｍｏｚｅｒ、１９９９）。最近の臨床研究（Ｗａｌｓｈ，１９９９）では、葉酸の減少した状態が、結腸癌の高まるリスクに関連づけられた。今日まで、結腸癌における葉酸の役割を説明する公知の生物学的メカニズムはない。遺伝子Ｈ６４８０７（胎盤性葉酸トランスポーター）が結腸癌対正常分離においてもっとも判別的な遺伝子の１つとして識別されたことを知ることによって、生物学的変化に関与する遺伝子を識別するために本発明の方法を使用することが示される。
【０２０４】
ヒトキトトリオシダーゼの場合には、別の癌における役割が研究中である同一ファミリーの別の相同蛋白質との類推によって進めなければならない。別のキチナーゼ（ＢＲＰ３９）が、乳癌で役割を演じることが見出された。癌細胞はこのキチナーゼを過剰生成し、アポトーシスを凌ぐ（Ａｒｏｎｓｏｎ、１９９９）。重要な増加したキトトリオシダーゼ活動が、ゴーチェ病患者の臨床研究で注目されたが、明らかに関連のない状態である。その疾病の存在を診断するために、キトトリオシダーゼ酵素は、非常に慎重に測定することができる。血液の小滴よりも少ないものから調製された血漿または血清が、キトトリオシダーゼ測定にはきわめて十分である（Ａｅｒｔｓ、１９９６）。
【０２０５】
６０Ｓリボソーム蛋白質Ｌ２４（シロイヌナズナ）は、染色体６に位置するヒト蛋白質と相同である非ヒト蛋白質である。他のリボソーム蛋白質と同様に、細胞増殖の制御及びｍＲＮＡの特定のクラスの選択的変換による増殖に役割を演じうる。
【０２０６】
驚くべき新規の発見は、「プロシクリックフォーム特定ポリペプチドＢ１−アルファ前駆物質（トリパノソーマブルセイブルセイ）」用の識別遺伝子である。トリパノソーマは、アフリカ及び南アメリカ原産の寄生原虫であり、トリパノソーマ（結腸寄生虫）に感染した患者は、結腸癌に対する抵抗を展開する（Ｏｌｉｖｅｉｒａ、１９９９）。トリパノソーマ症は、人間及び動物の古くからの疾病であり、アフリカ及び南アメリカでは依然として風土病である。
【実施例２】
【０２０７】
白血病遺伝子発見
ＤＮＡマイクロアレイから得られた遺伝子発現ベクトルの行列から構成されるデータセットは、２つの異なる種類の白血病の癌患者から得られた。前処理後、エラーなしでデータセット全体を分離した数遺伝子のみのセットの加重合計を見出すことが可能であり、したがってデータセットは線形に分離可能であった。データの分離は容易であったが、問題は、数特徴の困難を呈し、小さな試料サイズ、及び、訓練セットと試験セットとの間で異なって分布されたデータを含む。
【０２０８】
Ｇｏｌｕｂ、１９９９では、著者らは、癌の種類を分類するために、ＤＮＡマイクロアレイから得られた遺伝子発現データを分析するための方法を呈している。白血病データの問題は、白血病の２つの変異（ＡＬＬ及びＡＭＬ）を判別することであった。データは２つのサブセットに分けられる：遺伝子を選択し分類子の重量を調節するために使用される訓練セットと、得られたシステムの性能を評価するために使用される独立試験セットと、である。Ｇｏｌｕｂの訓練セットは、骨髄標本からの３８試料（２７ＡＬＬ及び１１ＡＭＬ）から構成された。彼らの試験セットは、異なる実験状態下で調製された３４試料（２０ＡＬＬ及び１４ＡＭＬ）を有し、２４骨髄標本及び１０血液試料標本を含む。すべての試料は、マイクロアレイ画像から抽出されたいくつの標準化された遺伝子発現値に対応する７１２９属性（または特徴）を有する。この実施例において、方法の比較を容易にするために、正確に同一の実験状態が保持された。
【０２０９】
Ｇｏｌｕｂ（１９９９）に提案されているように、前処理工程が実行された。各遺伝子発現値から、平均が引かれ、結果が標準偏差で割られた。ＲＦＥ方法が使用され、多量の遺伝子が一時に排除された。第１の反復で、多数の遺伝子が、２のもっとも近い累乗に達した。その後の反復で、残っている遺伝子の半数が排除された。増大する情報密度を有した遺伝子の入れ子状のサブセットが得られた。遺伝子のこれらのサブセットの品質が、次いで、線形ＳＶＭ、Ｇｏｌｕｂらの分類子及びフィッシャーの線形判別を含む様々な分類子を訓練することによって査定された。
【０２１０】
予備実験において、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔエラーと試験エラーとの間の大きな偏差のいくつかは、小さな試料サイズのみによっては説明することはできなかった。データ分析によって、訓練セットと試験セットとの分布の間には有意な差があることが明らかになった。様々な仮説が試験され、差は、データ源の差へ追跡できることがわかった。すべての実験において、様々な源からの試験データの性能は、別々に行われた。得られた結果は、源にかかわらず、同一であった。
【０２１１】
Ｇｏｌｕｂにおいて、著者らは、エラー率、固定閾値での不良率及び分類信頼度を初めとする分類子品質の数種類の測定基準を使用する。各値は、独立試験セットと、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法を使用して訓練セットと、の両方に計算される。Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法は、訓練セットから１つの例を除去することと、残っている訓練データのみに基づいて決定関数を構築することと、次いで、除去された例に試験することと、から構成される。この方法において、訓練データのすべての例を試験し、訓練例の総数に対するエラーの分画を測定する。分類子品質の測定基準を示す図２２を参照のこと。曲線（四角及び三角）は、２つのクラスの例分布を表す：クラス１（負のクラス）及びクラス２（正のクラス）である。
【０２１２】
四角：その決定関数値がθより大きいかこれと等しいクラス１の例の数である。
【０２１３】
三角：その決定関数値がθより小さいかこれと等しいクラス２の例の数である。エラーＢ１及びＢ２の数は、θ＝０の座標である。拒否された例Ｒ１及びＲ２の数は、それぞれ、三角曲線及び円曲線における−θＲ及びθＲの座標である。拒否された例の決定関数値は、絶対値でθＲよりも小さく、これは、低い分類信頼度の例に対応する。閾値θＲは、すべての残っている「受容された」例がよく分類されるように設定される。極値的マージンＥは、クラス２の例の最小決定関数値とクラス１の例の最大決定関数値との間の差である。図面の例で、Ｅは負である。分類エラーの数がゼロであるならば、Ｅは正である。中央値マージンＭは、クラス１密度の中央値決定関数値とクラス２密度の中央値との間の差である。
【０２１４】
一般に、ベースライン方法で数クロス試験が行われ、遺伝子セット及び分類子を比較した。ＳＶＭは、ＳＶＭ選択遺伝子にまたはベースライン遺伝子に訓練し、ベースライン分類子は、ＳＶＭ選択遺伝子にまたはベースライン遺伝子に訓練した。ベースライン分類子は、本願の方程式４の分類子を参照する（Ｇｏｌｕｂ、１９９９）。ベースライン遺伝子は、本願の方程式４（ｗ）のランキング基準にしたがって選択された遺伝子を参照する。
【０２１５】
第１に、７１２９遺伝子の完全セット（表１３）が使用された。測定された値は、先に記載されたものであった。
【表１３】
2005502097.tif 000031
表１３：すべての遺伝子（白血病データ）における訓練分類子の結果。
【０２１６】
５０遺伝子のセットが次いで選択された。５０遺伝子は、すべての遺伝子に訓練されたＳＶＭの最大重量に対応した。新しいＳＶＭがこれらの５０遺伝子に訓練された。結果は、Ｇｏｌｕｂらの論文に報告された５０特徴の元々のセットで訓練されたベースラインシステムと比較された。表１４参照。
【表１４】
2005502097.tif 000032
表１４：５０遺伝子（白血病データ）における訓練の結果。
【０２１７】
両方の場合に、ＳＶＭは、ベースラインの性能に整合したかまたはこれを凌いだ。表１０及び１１の詳細結果を使用して、性能差の統計有意度が、下記の方程式でチェックされた：
（１−η）＝０．５＋０．５ｅｒｆ（ｚη／ｓｑｒｔ(２)）
ｚη＝εｔ／ｓｑｒｔ(ｖ)
【表１５】
2005502097.tif 000033
表１５：すべての遺伝子（白血病データ）における訓練の詳細結果。
【表１６】
2005502097.tif 000034
表１６：５０遺伝子（白血病データ）における訓練の詳細結果。
【０２１８】
試験の結果によると、５０遺伝子に訓練した分類子は、より高い信頼度ですべての遺伝子を試験したものより良好である（Ｇｏｌｕｂではエラー率９７．７％信頼度、ＳＶＭでは９８．７％であることに基づく）。エラー率のみに基づくと、ＳＶＭ分類子はＧｏｌｕｂ分類子よりも有意に良好ではない（すべての遺伝子では５０％信頼度、５０遺伝子では８４．１％信頼度）。しかし、拒否に基づくと、ＳＶＭ分類子はＧｏｌｕｂ分類子よりも有意に良好である（すべての遺伝子では９９．９％信頼度、５０遺伝子では９８．７％信頼度）。
【０２１９】
白血病データに関するＧｏｌｕｂらの方法とＳＶＭとの間のより詳細な比較がなされた。特に、問題の２つの態様が切り離された。すなわち、遺伝子の良好なサブセットを選択することと、良好な決定関数を見出すことと、である。ＳＶＭで得られた性能改良は、ＳＶＭ特徴（遺伝子）選択方法へ追跡することができる。これらの特徴で訓練された特定の決定関数は、遺伝子の適切なサブセットを選択することほど重要ではなかった。
【０２２０】
上記に検討されたナイーブランキングにしたがってＳＶＭ分類子の重量で１度遺伝子をランクづけるのではなく、その代わりに、反復特徴排除（ＲＦＥ）方法が使用された。各反復で、新しい分類子が残っている特徴で訓練される。新しい分類子の最小重量に対応する特徴が排除される。排除の順序が特定のランキングを生じる。慣例により、最後に排除されるべき特徴が最初にランクされる。多量の遺伝子が一時に排除された。第１の反復で、２のもっとも近い累乗である遺伝子数に達した。その後の反復で、残っている遺伝子の半数が排除された。情報密度を増大する遺伝子の入れ子状のサブセットが得られた。
【０２２１】
遺伝子のこれらサブセットの品質が、次いで定型ＳＶＭ、Ｇｏｌｕｂらの分類子及びフィッシャーの線形判別を含む様々な分類子を訓練することによって査定された（例として（Ｄｕｄａ、１９７３）参照）。訓練例の第１の主要な構成要素に沿ってデータを投影した後に訓練されたＳＶＭも使用された。これは結局、簡単なバイアス値を設定することになり、これは、いずれかのクラスの２つの両極例の重力の中心に配置され、１クラス当たりの例に数によって加重された。この分類子は、「減少容量ＳＶＭ」（ＲＣ−ＳＶＭ）と呼ばれた。
【０２２２】
試みられた様々な分類子は、有意な差のある性能を生じなかった。Ｇｏｌｕｂ、１９９９の分類子及び減少容量ＳＶＭの結果がここに報告された。数クロス試験がベースライン方法で行われ、遺伝子セット及び分類子を比較した。ＳＶＭ選択遺伝子にまたはベースライン遺伝子に訓練したＳＶＭを示す図２３Ａ、及び、ＳＶＭ選択遺伝子にまたはベースライン遺伝子に訓練したベースライン分類子を示す図２３Ｂを参照のこと。分類子は、白血病データの訓練セットにＳＶＭで及びベースライン方法で選択された遺伝子のサブセットで訓練された。遺伝子の数は、カラーコードされ、凡例に示される。品質インジケータが半径方向にグラフ化される：チャネル１〜４＝Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法でのクロス確認結果；チャネル５〜８＝試験セット結果；ｓｕｃ＝成功率；ａｃｃ＝受容率；ｅｘｔ＝極値的マージン；ｍｅｄ＝中央値マージン。係数が再倍率変更され、各インジケータの平均値が、全４グラフにわたってゼロ平均及び分散１を有するようにする。各分類子では、色つき領域が大きくなればなるほど、分類子は良好になる。図面は、このデータセットでは分類子性能の間に有意な差がないが、遺伝子選択の間には有意な差があることを示す。
【０２２３】
表１７において、遺伝子選択と分類方法との各組み合わせ用の試験セットに得られた最良の結果が要約される。分類子は、遺伝子選択方法と仮定すると、同一の結果を与える。対照的に、ＳＶＭ選択遺伝子は、両方の分類子で、一貫してベースライン遺伝子よりも良好な性能を生じる。差の重要性が、ここで使用される統計的方程式を使用して試験された。
【０２２４】
ＳＶＭであろうとベースライン分類子であろうと、ＳＶＭ遺伝子は、試験エラー率に基づいて８４．１％信頼度で且つ試験不良率に基づいて９９．２％の信頼度で、良好であった。
【表１７】
2005502097.tif 000035
表１７：試験データ（白血病データ）における最良分類子。試験データに最良を実行する分類子の性能が報告される。ＳＶＭまたはベースライン遺伝子、及び、ＳＶＭまたはベースライン分類子の各組み合わせ用に、対応する遺伝子の数、エラーの数及び拒否の数が表に示される。患者ｉｄ番号はブラケットに示される。
【０２２５】
トップランクの遺伝子を比較するために、ＳＶＭ選択サブセット及びベースラインサブセットにおける共通遺伝子の分画が計算された（表１８）。１６遺伝子またはそれより少ない最適数で、遺伝子の多く見て２５％が共通であった。
【表１８】
2005502097.tif 000036
表１８：ベースライン方法及びＳＶＭ反復特徴排除（白血病データ）で選択されたセット間の共通遺伝子の分画。共通遺伝子の分画は、遺伝子の数の関数として（ログスケールで線形に）ほぼ指数的に減少する。遺伝子の１９％のみが、最適ＳＶＭ遺伝子セット数１６で共通であった。
【０２２６】
図２４は、白血病データ用の１６遺伝子の最良のセットを示す。行列（ａ）及び（ｃ）において、行は異なる遺伝子を表し、列は訓練セットからの異なる患者を表す。２７のトップラインはＡＬＬ患者であり、１１のボトムラインはＡＭＬ患者である。グレーのシェーディングは遺伝子発現を示し、明るければ明るいほど強い。図２４Ａは、ＳＶＭ最良１６遺伝子を示す。遺伝子は、左から右へランクづけられ、最良のものはもっとも左である。選択されたすべての遺伝子は、よりＡＭＬ相関である。図２４Ｂは、分類決定を行うのに使用される１６ＳＶＭ遺伝子の重量合計を示す。非常にはっきりしたＡＬＬ／ＡＭＬ分離が示される。図２４Ｃは、ベースライン方法１６遺伝子を示す。遺伝子の半数がＡＭＬ相関し、半数がＡＬＬ相関することを方法は課す。最良の遺伝子は中間にある。図２４Ｄは、分類決定を行うのに使用される１６ベースライン遺伝子の重量合計を示す。分離は依然として良好であるが、ＳＶＭ分離ほど良好ではない。
【０２２７】
図２４Ａ及び２４Ｃは、１６遺伝子サブセットの訓練セットにおける患者の発現値を示す。一見すると、ベースライン方法によって選択された遺伝子は、より順序正しいように見えた。これは、ＡＭＬまたはＡＬＬのいずれかに強力に相関したからである。この遺伝子セットには多くの冗長があった。本質的には、すべての遺伝子が同一の情報を担持した。逆に、ＳＶＭ選択遺伝子は、相補的情報を担持している。これは、決定関数の出力に反映し（図２４Ｂ及び２４Ｄ）、これは、１６遺伝子発現値の重量合計であった。ＳＶＭ出力はよりはっきりとＡＭＬ患者をＡＬＬ患者から分離した。表１９及び２０は、２つの方法によって選択された遺伝子をリストする。
【表１９】
2005502097.tif 000037
表１９：トップランクの１６ＳＶＭ遺伝子（白血病データ）。ＲＫ＝ランク。ＧＡＮ＝遺伝子受入番号。相関＝遺伝子はリストに挙げられたクラスにもっとも相関する。遺伝子は、もっとも有望ではない遺伝子を反復して排除することによって得られた。遺伝子の入れ子状サブセットが得られる。
【表２０】
2005502097.tif 000038
表２０：トップランクの１６ベースライン遺伝子（白血病データ）。ＧＡＮ＝遺伝子受入番号。相関＝遺伝子はリストに挙げられたクラスにもっとも相関する。左側の８遺伝子はＡＬＬにもっとも相関し、右側の８遺伝子はＡＭＬに相関する。トップの遺伝子が最良の候補である。Ｇｏｌｕｂらは、実験でＡＬＬ相関遺伝子とＡＭＬ相関遺伝子とを等しい割合で混合した。
【０２２８】
遺伝子の最適サブセットを予測することができる
遺伝子の最適サブセットを予測する問題が対処された。訓練例から導き出された下記方程式に規定された基準のみが使用された。
【０２２９】
Ｃ＝Ｑ−２ε（ｄ）
【０２３０】
予測された遺伝子サブセットが試験セットに最良に実行したか否かがチェックされた。試験は、ＳＶＭ−ＲＦＥを使用して実行された。特徴の数は、反復ごとに２分の１に漸次減少した。ＳＶＭ分類子は、見出されたすべての中間サブセットに訓練された。
【０２３１】
図２５に示されるように、１６遺伝子の最適数が見出された。ＳＶＭで反復特徴排除によって選択された遺伝子の数は変動した。グラフのラインの記載は下記の通りである。円：試験セットのエラー率。四角：倍率変更された品質基準（Ｑ／４）。十字：倍率変更された最適度の基準（Ｃ／４）。菱形曲線：Ｃ／４を局所的に平滑化した結果。円：倍率変更された理論的エラーバー（ε／２）。曲線は、Ｃ＝Ｑ−２εによって関連づけられる。点線は、菱形曲線の最適を示し、これは、２４＝１６遺伝子の訓練データのみに基づいた、理論的に予測された最適である。ゼロ試験エラーがこの最適で得られる。
【０２３２】
試験セットの性能も、その値で最適であった。結果の詳細は表２１に報告される。
【表２１】
2005502097.tif 000039
表２１：ＲＦＥ方法で得られたＳＶＭ遺伝子に訓練したＳＶＭ分類子（白血病データ）。分類子選択の基準Ｃは、分類子品質Ｑマイナスエラーバーεであった。これらの量は、訓練データのみに基づいて計算された。成功率（ゼロ拒否で）、受容率（ゼロエラーで）、極値的マージン及び中央値マージンが、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法用に、３８試料訓練セット（Ｖ結果）及び３４試料試験セット（Ｔ結果）で報告された。遺伝子の数が１６であった場合が、訓練データのみを使用して計算された局所的に平滑化Ｃ基準によって予測された最良の分類子であった。
【０２３３】
最適で、ＳＶＭは、拒否がなく、試験セットで１００％正確である。
【０２３４】
予測された最適でベースラインシステムとの比較結果が表２２に示される。
【表２２】
2005502097.tif 000040
表２２：基準Ｃで選択された最良分類子（白血病データ）。訓練例に基づいてのみ計算された、基準Ｃの最適に対応する分類子の性能が、報告された。ＳＶＭまたはベースライン遺伝子、及び、ＳＶＭまたはベースライン分類子の各組み合わせ用に、対応する遺伝子の数、エラーの数及び拒否の数が表に示される。
【０２３５】
ＳＶＭシステム（ＳＶＭ特徴に訓練された最適ＳＶＭ分類子）とベースラインシステム（ベースライン特徴に訓練された最適ベースライン分類子）との間で得られた全体的な差は、きわめて有意であった：エラー率では９５．８％、不良率では９９．２％。クロス試験分析から、これらの差は大半が、良好な分類子ではなく、特徴の良好なセットへ追跡することができることが見られた。
【０２３６】
白血病データは、７２試料のデータセット全体に遺伝子選択方法を走行することによって、試験された。４つのトップランクの遺伝子が表２３に示される。
【表２３】
2005502097.tif 000041
表２３：トップランクの遺伝子（白血病データ）。７２試料のデータセット全体を使用して、ＳＶＭ−ＲＦＥで遺伝子を選択した。遺伝子は、増加する重要度の順にランクされた。第１にランクされた遺伝子は、他のすべての遺伝子が排除された後に残る最後の遺伝子である。発現：ＡＬＬ＞ＡＭＬは、大半のＡＬＬ試料で遺伝子発現レベルがより高いことを示す。ＡＭＬ＞ＡＬＬは、大半のＡＭＬ試料で遺伝子発現レベルがより高いことを示す。ＧＡＮ：遺伝子受入番号。このリストのすべての遺伝子は、ＡＭＬ対ＡＬＬ分離に対する説得力のある妥当性を有する。
【０２３７】
４つの遺伝子の数は、サポートベクトルの最小数（この場合は５）に対応する。すべての４遺伝子は、白血病癌に何らかの関連を有し、ＡＭＬ変異とＡＬＬ変異との間を判別するのに使用することができる。
【０２３８】
この最後の実験では、エラーなしでデータセット全体を分離する遺伝子の最小数は２である。遺伝子のこのセット用に、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔエラーがゼロもある。対照的に、Ｇｏｌｕｂの方法は常に少なくとも１つの訓練エラーと、１つのＬｅａｖｅ−ｏｎｅ−ｏｕｔエラーとを生じる。１つの訓練エラーは最小１６遺伝子で達成することができ、１つのＬｅａｖｅ−ｏｎｅ−ｏｕｔエラー最小６４遺伝子で達成することができる。
【実施例３】
【０２３９】
前立腺癌に関与する遺伝子の単離
ここに開示された方法を使用して、前立腺癌に関連する遺伝子が単離された。ＳＶＭを初めとする、細胞を処理し分析する様々な方法を利用して、分析のためにもっとも信頼のおける方法を決定した。
【０２４０】
癌を有し前立腺摘除術を受けた患者から組織が得られた。それらは、Ａｆｆｙｍｅｔｒｉｘの標準プロトコールにしたがって処理され、Ａｆｆｙｍｅｔｒｉｘジーンチップの７１２９プローブからの遺伝子発現値が、２６患者からの６７組織用に記録された。
【０２４１】
収集された試料は、周辺ゾーン（ＰＺ）、中心ゾーン（ＣＺ）及び転移ゾーン（ＴＺ）からの組織を含んだ。各試料はおそらく、４つの異なる細胞タイプから構成された。すなわち、間質細胞（前立腺の支持組織から、その機能には参加しない）、正常器官細胞、良性前立腺過形成細胞（ＢＰＨ）、異形成細胞（癌前駆物質段階）及び癌細胞（癌の段階を示す様々な等級の）である。表２４の試料の分布は、一定の種類の組織を得ることの困難さを反映する。
【表２４】
2005502097.tif 000042
表２４  試料の分布。
【０２４２】
医療文献において、ＴＺ  ＢＰＨは、ＰＺ癌用の良好な参照として作用することが論じられた。最高等級の癌（Ｇ４）は、もっとも悪性である。これらの実験の一部はしたがって、ＢＰＨ対Ｇ４の分離へ方向づけられる。
【０２４３】
試料準備
細胞のいくつかが、レーザ共焦点マイクロコピー（ＬＣＭ）を使用して準備された。これを使用して、できるだけ多くの支持間質細胞を排除し、より純粋な試料を提供した。
【０２４４】
遺伝子発現は、細胞内のｍＲＮＡの存在から査定された。ｍＲＮＡはｃＤＮＡへ転換され増幅され、十分な量を得た。試料から抽出することができるｍＲＮＡの量に依存して、１つまたは２つの増幅が必要でありうる。増幅プロセスは、遺伝子発現パターンを歪曲することもある。調査下のデータセットにおいて、１つまたは２つのいずれかの増幅が使用された。ＬＣＭデータは常に２増幅を必要とした。試料の処理は、表２５に詳述される。
【表２５】
2005502097.tif 000043
表２５
データ抽出の最終結果は、７１２９遺伝子発現係数のベクトルである。
【０２４５】
遺伝子発現係数の決定
プローブペア：
遺伝子発現測定は、キャリブレーションを必要とする。プローブ細胞（アレイ上の四角）は、ＤＮＡの２５塩基長シーケンスである同一オリゴヌクレオチド（プローブ）の多くの複製を含む。各「完璧整合」（ＰＭ）プローブが、参照シーケンス（遺伝子の片）を補完するように設計される。これは、中心位置の単一塩基が異なる以外は同一である「誤整合」（ＭＭ）プローブに関連する。チップは、異なる位置に同一ＰＭプローブの複製と、４塩基の１つの置換に対応する同一ＰＭプローブ用の数ＭＭプローブと、を含んでもよい。プローブのこの集合は、プローブセットと称される。遺伝子発現は下記のように計算される：
平均差＝１／ペア数Σｐｒｏｂ ｓｅｔ（ＰＭ−ＭＭ）。
【０２４６】
データ品質
プローブペア値の大きさが十分に対照されない場合には、プローブペアは疑わしいとみなされる。閾値は、プローブペアを受け入れるか拒否するように設定される。Ａｆｆｙｍｅｔｒｉｘは、試料を４０％またはそれ以上で、良好な品質の受け入れ可能なプローブペアであるとみなす。より低い品質の試料も、ＳＶＭ技術で効果的に使用することができる。
【０２４７】
前処理
簡単な「白化」が前処理として行われた。これは、前処理後、データ行列が「白色ノイズ」に似ることを意味する。元々のデータ行列では、行列の列は、所与の試料の７１２９遺伝子の発現値を表した（患者／組織／調製方法の特定の組み合わせに対応する）。行列の行は、６７試料にわたる所与の遺伝子の発現値を表した。標準化なしでは、列も行も比較することができない。明らかなオフセット及び倍率変更の問題がある。試料は前処理されて、行列の行を標準化し、行列の列を標準化し、再度行を標準化する。標準化は、平均を引くことと、標準偏差で割ることと、から構成される。試料が訓練セットと試験セットとに分けられるときに、さらなる標準化工程が取られる。
【０２４８】
平均及び行的分散が、訓練試料のみ用に計算された。すべての試料（訓練及び試験の試料）が次いで、その平均を引いて標準偏差で割ることによって標準化された。
【０２４９】
試料の品質の査定
試料を評価して、ＬＣＭデータ準備がフィルタ処理されていない組織試料よりも情報的なデータを生じるか否か、及び、より低い品質のアレイがＳＶＭ技術を使用して処理されるときに有用な情報を含むか否か、を決定した。
【０２５０】
２つのデータセットが準備され、１つは所与のデータ準備方法用（サブセット１）であり、１つは参照方法用（サブセット２）であった。例えば、方法１＝ＬＣＭであり方法２＝フィルタ処理されていない試料であった。Ｇｏｌｕｂの線形分類子が次いで訓練され、サブセット１を使用して癌と正常との場合を弁別し、別の分類子はサブセット２を使用した。分類子は、次いで、訓練されなかったサブセットに試験された（分類子１はサブセット２で、分類子２はサブセット１で）。
【０２５１】
分類子２がサブセット１に対するよりも、分類子１がサブセット２により良好に実行する場合には、サブセット１はサブセット２よりも、癌対正常分離を行う多くの情報を含むことを意味する。
【０２５２】
分類子への入力は、１つのマイクロアレイ実験から来る遺伝子発現係数であるｎ「特徴」のベクトルである。２つのクラスは、符号（＋）及び（−）で識別され、「正常」または参照試料はクラス（＋）に属し、癌組織はクラス（−）に属する。公知のクラスラベル
【数１１】
2005502097.tif 000044
ｙｋ∈｛−１，＋１｝を備えた多数のパターンの訓練セット
【数１２】
2005502097.tif 000045
が与えられる。訓練試料を使用して、決定関数（または判別関数）Ｄ（ｘ）を構築し、これは、入力パターンｘのスカラー関数である。新しい試料が、決定関数の符号にしたがって分類される：
Ｄ（ｘ）＞０⇒ｘ∈クラス（＋）
Ｄ（ｘ）＜０⇒ｘ∈クラス（−）
Ｄ（ｘ）＝０、決定境界。
【０２５３】
訓練パターン＋バイアスの簡単な重量合計である決定関数は、線形判別関数と呼ばれる。
【０２５４】
Ｄ（ｘ）＝ｗ・ｘ＋ｂ，
ただし、ｗは重量ベクトルであり、ｂはバイアス値である。
【０２５５】
Ｇｏｌｕｂの分類子の場合には、各重量は下記のように計算される：
Ｗｉ＝（μｉ（＋）−μｉ（−））／（σｉ（＋）＋σｉ（−））
ただし、μｉ及びσｉは、クラス（＋）またはクラス（−）のすべての患者用の遺伝子ｉの遺伝子発現値の平均及び標準偏差であり、ｉ＝１、…ｎである。大きな正ｗｉの値は、クラス（＋）との強力な相関を示し、一方、大きな負ｗｉの値は、クラス（−）との強力な相関を示す。したがって、重量を使用して、関連性にしたがって特徴（遺伝子）をランクづけることもできる。バイアスは、ｂ＝ｗ・μとして計算され、ただし、μ＝（μ（＋）＋μ（−））／２である。Ｇｏｌｕｂの分類子は、外れ値に対して頑強である標準参照である。ひとたび第１の分類子が訓練されると、ｗｉの大きさを使用して、遺伝子をランクづける。分類子は次いで、最良ランキングの遺伝子を含む、異なるサイズの遺伝子のサブセットで再訓練される。
【０２５６】
結果の統計的有意を査定するために、試料を含むデータの１０の無作為分割が、いずれかの準備方法から準備され、同一の方法へ提出される。これによって、比較目的のために平均及び標準偏差を計算することが可能であった。
【０２５７】
ＬＣＭデータ準備の重要性
同一患者からの組織が、直接に（フィルタ処理されずに）またはＬＣＭ手順後かのいずれかで処理され、一対のマイクロアレイ実験が生じた。これは、１３ペアを生じ、４つのＧ４、１つのＧ３＋４、２つのＧ３、４つのＢＰＨ、１つのＣＺ（正常）及び１つのＰＺ（正常）を含んだ。
【０２５８】
各データ準備方法用に（ＬＣＭまたはフィルタ処理されていない組織）、組織は２つのサブセットにグループ分けされた：
癌＝Ｇ４＋Ｇ３（７ケース）
正常＝ＢＰＨ＋ＣＺ＋ＰＺ（６ケース）。
【０２５９】
結果は、図２６に示される。大きなエラーバーは、サイズが小さいためである。しかし、ＬＣＭ試料はフィルタ処理されていない組織よりも良好であるという指示がある。データの無作為分割に対応する平均曲線が両方の曲線より上であることも興味深い。サブセット１及びサブセット２のデータは異なって分布するため、これは驚くべきことではない。試料を隔離するのではなく無作為分割をするときには、ＬＣＭとフィルタ処理されていない組織との両方が、訓練及び試験のセットに表され、試験セットの性能は平均して良好である。
【０２６０】
Ａｆｆｙｍｅｔｒｉｘによって測定されるアレイ品質の重要性
同一の方法を適用して、合計４２アレイ（１８ＢＰＨ及び２４Ｇ４）でＢＰＨ組織対Ｇ４組織を分離する問題に焦点を当てることによってＡｆｆｙｍｅｔｒｉｘ品質基準によって拒否された遺伝子発現を有するマイクロアレイが、有用な情報を含むか否かを決定した。
【０２６１】
Ａｆｆｙｍｅｔｒｉｘ基準は、１７の良好な品質アレイ、すなわち８ＢＰＨ及び９Ｇ４を識別した。２つのサブセットが形成された：
サブセット１＝「良好な」試料、８ＢＰＨ＋９Ｇ４
サブセット２＝「劣った」試料、１０ＢＰＨ＋１５Ｇ４。
【０２６２】
比較のために、すべての試料がひとまとめにされ、いずれの品質の８ＢＰＨ＋９Ｇ４を含む１０の無作為のサブセット１が選択された。残っている試料はサブセット２として使用され、平均曲線を得ることができた。加えて、サブセットは逆にされて、「劣った」例に訓練し「良好な」例に試験した。
【０２６３】
劣った試料が訓練されるときには、良好な試料に完璧な精密度が得られ、一方、良好な例に訓練し且つ劣った例に試験することは、実質的に悪い結果を生じる。
【０２６４】
すべてのＢＰＨ及びＧ４試料が、ＬＣＭ及びフィルタ処理されていない組織のサブセットに分割され、先のセクションと同様の実験が繰り返された：
サブセット１＝ＬＣＭ試料（５ＢＰＨ＋６ＬＣＭ）
サブセット２＝フィルタ処理されていない組織試料（１３ＢＰＨ＋１８ＬＣＭ）
同一サイズの相違にもかかわらず、ＬＣＭデータに訓練することは、良好な結果を生じる。大きなエラーバーにもかかわらず、これは、ＬＣＭデータ準備方法が、試料品質を改良するのに役立つかもしれないことを示す。
【０２６５】
ＢＰＨ対Ｇ４
Ａｆｆｙｍｅｔｒｉｘデータ品質基準は、特定の遺伝子の予測値を決定するという目的には関連がなく、ＬＣＭ試料はフィルタ処理されていない組織よりもわずかに良好であると思われたが、統計的有意を決定することは可能ではなかった。したがって、すべての試料は一緒にグループ化され、全４２試料でＢＰＨ対Ｇ４分離（１８ＢＰＨ及び２４Ｇ４）が実行された。
【０２６６】
性能を評価し、Ｇｏｌｕｂの方法とＳＶＭとを比較するために、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法が使用された。成功裡に分類され抜かれた例の分画が、様々な分類子の成功率の評価を与える。
【０２６７】
この手順において、遺伝子選択プロセスが４１回走行し、すべての４１遺伝子ランキング用に様々なサイズの遺伝子のサブセットを得た。次いで１つの分類子が、遺伝子のサブセットごとに、対応する４０遺伝子に訓練された。このＬｅａｖｅ−ｏｎｅ−ｏｕｔ法は、「ナイーブ」Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法とは異なるが、それは、すべての４１例に１回のみ遺伝子選択を走行することと、次いで遺伝子のサブセットごとに４１分類子を訓練することと、から構成される。ナイーブ方法は、すべての例を遺伝子選択プロセスに使用し、これは、「試験セットに訓練する」のと同様であるため、非常に楽観的な結果を与える。第１の方法の増加した精密度は、図２７に例示される。図面に使用された方法はＳＶＭ−ＲＦＥであり、使用された分類子はＳＶＭである。すべてのＳＶＭは線形であり、ソフトマージンパラメータＣ＝１００及びｔ＝１０”１４である。点線は、「ナイーブ」Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ（ｌｏｏ）を表し、これは、遺伝子選択を１回走行し、異なるサイズで、このようにして導かれた遺伝子のサブセットを使用して分類子用にｌｏｏを行うことに存する。実線は、より計算的に費用の掛かる「真の」ｌｏｏを表し、これは、抜かれた例ごとに、遺伝子選択を４１回走行することに存する。抜かれた例は、遺伝子の選択ごとに対応する４０例に訓練された分類子で分類される。ｆが得られた成功率（曲線の点）である場合には、標準偏差がｓｑｒｔ（ｆ（１−ｆ））として計算される。
【０２６８】
ＳＶＭとＧｏｌｕｂの方法との比較
「真の」Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法を使用して、Ｇｏｌｕｂの方法とＳＶＭとの両方を評価した。結果は図２８に示される。ＳＶＭは、少ない数の例ではＧｏｌｕｂの方法を凌ぐ。しかし、差は、このサイズの試料では統計的に有意ではない（４１例で１エラー、ＳＶＭがより良好であるのは８５％信頼度のみ）。図２９は、いずれかの方法で、２つの最良ランキング遺伝子用に得られた決定関数を示す。
【０２６９】
遺伝子選択は、次いで、すべての４１試料に両方の方法用に走行された。見出されたトップランキング遺伝子の多くは、書誌的サーチに示されるように結腸癌に関連した。
【実施例４】
【０２７０】
複数の特徴を有する小さなデータセットを分析する
大きな数の特徴を有する小さなデータセットは数種類の問題を呈する。データの過剰適合を回避する方法に対処し且つ多変量及び一変量の方法を実行する重要度を査定するために、Ａｆｆｙｍｅｔｒｉｘによって高品質試料として分類された実施例３からの試料がさらに分析された。試料は、８ＢＰＨ及び９Ｇ４を含む。各マイクロアレイは、７１２９遺伝子発現値を記録した。ここに記載された方法は、標準方法で使用するには不適切であるとみなされたＢＰＨ、Ｇ４サブセットの試料の２／３を使用することができる。
【０２７１】
第１の方法は、古典的な機械学習問題を解決するために使用される。最良の分離遺伝子を選択するためにほんの数個の組織例しか使用しない場合には、これらの遺伝子は訓練例をよく分離する傾向があるが、新しいまだ見たことのない例（試験例）には不良に働く。ここに記載される単一特徴ＳＶＭは、これらの不利な状況下で特によく働く。第２の方法は、古典的な統計の問題を解決するために使用され、ＭｃＮｅｍａｒ基準及びＷｉｌｃｏｘｏｎ試験の組み合わせを使用する試験を必要とする。この試験によって、データセットを訓練セット及び試験セットに無作為に分割したものに訓練され試験された２つの分類子の性能を比較することが可能である。
【０２７２】
遺伝子選択及び分類方法
データを分類する方法は、他で開示されているが、明瞭化のためにここで繰り返される。遺伝子発現データを分類する問題は、入力がベクトルであり、ｎ構成要素の「パターン」が「特徴」と呼ばれる古典的な分類問題として公式化することができる。Ｆは、ｎ次元特徴空間である。当面の問題の場合には、特徴は遺伝子発現係数であり、パターンは組織に対応する。これは、２クラス分類問題に限定される。２クラスは、符号（＋）及び（−）で識別される。公知のクラスラベル｛ｙ１，ｙ２，…ｙｋ，…ｙｐ｝，ｙk∈｛−１、＋１｝を備えた多数のパターンの訓練セット｛ｘ１，ｘ２，…ｘｋ，…ｘｐ｝が与えられる。訓練パターンは普通はデータセット全体のサブセットであり、いくつかのパターンは試験のために蓄えられる。訓練パターンを使用して、決定関数（または判別関数）Ｄ（ｘ）を構築し、これは、入力パターンｘのスカラー関数である。新しいパターン（例として試験セットから）が、決定関数の符号にしたがって分類される：
Ｄ（ｘ）＜０⇒ｘ∈クラス（−）
Ｄ（ｘ）＞０⇒ｘ∈クラス（＋）
Ｄ（ｘ）＝０、決定境界。
【０２７３】
訓練パターン＋バイアスの簡単な重量合計である決定関数は、線形判別関数と呼ばれる。
【０２７４】
Ｄ（ｘ）＝ｗ・ｘ＋ｂ    （１）
ただし、ｗは重量ベクトルであり、ｂはバイアス値である。
【０２７５】
これらの実験に使用されるようなデータセットは、線形判別関数がエラーなしでこれを分離することができるならば、「線形に分類可能」であると言われる。研究中のデータセットは線形に分類可能である。さらに、単独でデータセット全体を分離する単一の特徴（遺伝子発現係数）が存在する。この研究は、線形判別関数の使用に限定される。異なる観点からデータを分析する線形判別関数のサブセットが選択される：
１つのアプローチは多変量方法を使用し、これは、訓練例を使用して、すべての入力変数（すべての特徴）のバイアスに重量ｗの各構成要素を計算した。多変量方法では、特徴サブセットがその特徴を補完するために選択され個別特徴の品質のためではないため、様々なランキングから特徴を混ぜることは意味がない。組み合わせは、次いで、他のすべてのランキングともっとも一致した、すなわち、他の特徴ランキングのトップに現れる特徴の最高密度をトップランキング特徴に含む、特徴ランキングの選択にある。２つのそのような方法が選択された：
ＬＤＡ：線形判別分析、フィッシャーの線形判別とも呼ばれる（例としてＤｕｄａ、７３参照）。フィッシャーの線形判別は、クラス分散内に対するクラス分散間の率を最大限にする例の投影の方向ｗを求める方法である。ｗは、クラス質量中心を最大限に分離するように選択されるため、「平均ケース」方法である。
【０２７６】
ＳＶＭ：最適マージン分類子、線形サポートベクトルマシン（線形ＳＶＭ）とも呼ばれる。最適マージン分類子は、互いにもっとも近い（マージン）対向するクラスのパターンの間の距離を最大限にする例の投影の方向ｗを求める方法である。そのようなパターンは、サポートベクトルと呼ばれる。それらは単に、重量ベクトルｗを決定するだけである。ｗは、極値または「境界線」ケース、すなわちサポートベクトルによって決定されるため、これは、「極値」ケースである。
【０２７７】
第２のアプローチ、すなわち複数の一変量方法も使用された。そのような方法は、単一の変数ｘが訓練セットにわたって取る値に基づいて、重量ベクトルの各構成要素ｗを計算した。ランキングは、個別特徴の関連性を示す。１つの方法は、ランキングを組み合わせて、異なる訓練セットに訓練された分類子の平均重量ベクトルからランキングを導き出した。別の方法は、まず、個別の分類子の重量ベクトルからランキングを形成することであった。各ランキング用に、その構成要素が特徴のランクであるベクトルが形成された。そのようなベクトルは次いで平均され、新しいランキングがこの平均ベクトルから導き出される。この最後の方法は、必ずしも分類子の重量に基づく必要はなく、異なる方法から来るランキングの組み合わせに適用可能である。２つの一変量方法、すなわち多変量方法の等価物が選択された：
ＳＦ−ＬＤＡ：単一特徴線形
判別分析：
ｗｉ＝（μｉ(+)−μｉ(-)）／ｓｑｒｔ(ｐ(+)σｉ(+)２＋ｐ(-)σi(-)２）    （１３）
ＳＦ−ＳＶＭ：単一特徴サポート
ベクトルマシン：
サイン（ｓｉ(+)−ｓｉ(-)）＝サイン（μｉ(+)−μｉ（−））であるならば、
ｗｉ＝（ｓｉ(+)−ｓｉ(-)）    （１４）
そうでなければ、ｗｉ＝０である。
【０２７８】
パラメータμｉ及びσｉは、クラス（＋）またはクラス（−）のすべての組織用の遺伝子ｉの遺伝子発現値の平均及び標準偏差であり、ｉ＝１、…ｎである。ｐ(+)及びｐ(-)は、クラス(+)またはクラス(-)の例の数である。
【０２７９】
単一特徴フィッシャー判別（ＳＦ−ＬＤＡ）は、Ｇｏｌｕｂらの方法（Ｇｏｌｕｂ、１９９９）と多くの類似を担持する。この最後の方法は、ｗｉ＝（μｉ(+)−μｉ(-)）／（σｉ(+)＋σｉ(-)）に従って重量を計算する。２つの方法は、同様の結果を生じる。
【０２８０】
特徴標準化が、ＳＶＭ方法に重要な役割を演じた。すべての特徴は、その平均を引き、その標準偏差で割ることによって、標準化された。平均及び標準偏差は、訓練例のみに計算される。同一の値が試験例に適用される。これは、学習プロセスで試験データを使用するのを回避することである。
【０２８１】
バイアス値は数種類の方法で計算することができる。ＬＤＡ方法では、ｂ＝-（ｍ(+)＋ｍ(-)）／２として計算され、ただし、ｍ(+)＝ｗ・μ(+)及びｍ(-)＝ｗ・μ(-)である。このようにして、決定境界は、ｗの方向にクラス平均の投影の中間にある。ＳＶＭでは、ｂ＝−（ｓ(+)＋ｓ(-)）／２として計算され、ただし、ｓ(+)＝最小Ｗ・ｘ(+)及びｓ(-)＝最大ｗ・ｘ(-)であり、最小及び最大は、それぞれ、クラス(+)及びクラス(-)におけるすべての訓練例ｘ(+)及びｘ(-)に対して取られる。このようにして、決定境界は、マージンの中間であるｗの方向にいずれかのクラスのサポートベクトルの投影の中間にある。
【０２８２】
遺伝子選択方法
訓練された分類子の重量ベクトルの大きさを使用して、特徴（遺伝子）をランクづけた。直感的に、最小重量を有するこれらの特徴は、決定関数にもっとも寄与せず、したがって使わないでおくことができる。
【０２８３】
一変量方法では、そのようなランキングは、それらの関連性に個別にしたがってランキング特徴（遺伝子）に対応する。２つのクラスを最良に一緒に分離する相補的な遺伝子のサブセットは、一変量方法では見出すことができない。
【０２８４】
多変量方法では、各重量ｗは、訓練例のすべての特徴の関数である。したがって、そのような特徴の１つまたは数個を除去することは、決定関数の最適性に影響を与える。決定関数は、特徴除去後、再計算されなければならない（再訓練）。反復特徴排除（ＲＦＥ）、すなわち２つの工程の間で交替する反復プロセスは、すべての特徴がなくなるまで、（１）特徴を除去し、（２）再訓練することである。多変量方法では、再訓練は重量を変えず、したがって省略される。特徴除去の順番は、特徴ランキングかまたはより正確には特徴の入れ子状サブセットを規定する。実際、ＲＦＥ方法で除去される最後の特徴は、それ自体ではデータセットを最良に分離する特徴でないかもしれない。代わりに、除去される最後から２つ目または３つめの特徴が、２つのクラスを最良に一緒に分離する特徴の最良のサブセットを形成しうる。そのようなサブセットは普通、一変量方法で個別に高くランクする３特徴のサブセットよりも良好である。
【０２８５】
性能差の統計的有意
非常に小さなデータセットでは、結果の統計的有意を査定することが特に重要である。データセットは、訓練用の８例及び試験用の９例に分割されると想定する。この実験の条件は、試験セットでは結果として１または０エラーになることが多い。「統計的有意」（９５％信頼度）の標準定義を備えたｚ試験が使用された。試験セットのサイズｔ＝９及び真のエラー率ｐ＝１／９では、観察されたエラー率と真のエラー率との間の差は、１７％の大きさでありうる。公式ε＝ｚηｓｑｒｔ（ｐ（１−ｐ）／ｔ）、ただし、ｚη＝ｓｑｒｔ（２）、ｅｒｆｉｎｖ（−２（η−０．０５））、η＝０．０５が使用され、ただし、ｅｒｆｉｎｖは、逆エラー関数であり、表にされる。
【０２８６】
エラー関数は次のように規定される：
【数１３】
2005502097.tif 000046
この概算は、ｉ．ｉ．ｄ．エラー（訓練及び試験に使用されるデータは独立して且つ同一に分布された）、一方的リスク、及び、通常法による二項法の推定概算を想定する。これは、大きなエラーバーのため、絶対性能結果（問１）を極例で考慮しなければならないということである。
【０２８７】
対照的に、２つの分類システムの性能を比較することが可能であり（相対性能、問２）、場合によっては、一方が他方よりも良好であると自信を持って主張する。もっとも正確な試験の１つは、ＭｃＮｅｍａｒ試験であり、これは、最近のベンチマークで分類システムを比較するのに特に適していることがわかった。ＭｃＮｅｍａｒ試験は、当該の変数が二分法であるときには２つの従属試料の間の差の有意を査定する。信頼度（１−ｉｉ）で、下記の公式を使用して、一方の分類子が他方よりも良好であることを受け入れることができる：
（１−η）＝０．５＋０．５ｅｒｆ（ｚ／ｓｑｒｔ(２)）        （１５）
ただし、ｚ＝εｔ／ｓｑｒｔ（ｖ）であり、ｔは試験例の数であり、ｖは２つの分類子の一方のみが作るエラー（拒否）の総数であり、εはエラー率の差であり、ｅｒｆは、エラー関数
【数１４】
2005502097.tif 000047
である。
【０２８８】
これは、ｉ．ｉ．ｄ．エラー、一方的リスク、及び、通常法による二項法の推定概算を想定する。２つの分類システムの比較及び２つの分類アルゴリズムの比較は、弁別される必要がある。第１の問題は、試験データにおける２つのシステムの比較に対処し、これらのシステムがどのように得られたかは構わない（訓練によって得られていなくてもよい）。この問題は、例えば販売可能な状態の医療診断試験にパッケージされた２つの分類システムの品質比較で発生する。
【０２８９】
第２の問題は、所与のタスクの２つのアルゴリズムの性能の比較に対処する。データを所与のサイズの訓練セットと試験セットとに、無作為に分割することの数結果を平均することが慣例である。訓練データと試験データとの割合は変動し、結果は訓練セットサイズの関数としてグラフ化される。結果は、各割合でｓ＝２０の異なる分割に対して平均される（サイズ１６の訓練セットの場合は１７のみ。１７例しかないため）。２つのアルゴリズムを比較するために、訓練し試験すべき同一のデータセットが２つのアルゴリズムで使用され、したがって、対になった実験を得る。次いでＷｉｌｃｏｘｏｎ符号ランク試験を使用して、性能の差の有意を評価する。Ｗｉｌｃｏｘｏｎ試験は帰無仮説を試験し、Ｎ個人に適用される２つの治療は、有意に異ならない。治療結果の間の差は意味があると想定する。Ｗｉｌｃｏｘｏｎ試験は次のように適用される：各対の試験ｉに対しては、ｉ＝１、……ｓであり、訓練された２つの分類子のエラー率の差εｉが、比較されるべき２つのアルゴリズムで計算される。試験は最初にεｉの絶対値を最小から最大へ順序づける。試験されるべき量Ｔは、すべての正のεｉに対するεｉの絶対値のランクの総和である。Ｔの分布は、容易に計算されることができ、ｓの大きな値用に通常法によって正確に概算される。試験は、各対になった実験用に計算された、ＭｃＮｅｍａｒ試験用に（１５）で使用された標準化量εｉ／ｓｑｒｔ（ｖｉ）によってεｉを交換することによって適用することもできる。この研究において、エラー率の差εｉが使用される。試験のｐ値が本実験で使用される：Ｈ０が真である場合、偶然にＴよりもさらなる極値を観察する可能性は、Ｐｒｏｂａ（試験統計＞観察されたＴ）である。
【０２９０】
ｐ値が小さい場合、これはＨoの疑念を減らし、ここでは対になった実験の中央値が等しいことを述べる。対立仮説は、一方が他方より大きいということである。
【０２９１】
前処理
Ａｆｆｙｍｅｔｒｉｘによって提供された標準化アレイが使用された。データセット全体に他の前処理は行われない。しかし、データが訓練セットと試験セットとに分けられたときには、各遺伝子の平均が、すべての訓練例に対して引かれ、その標準偏差によって割られる。同一の平均及び標準偏差を使用して、試験例を移し倍率変更する。他の前処理またはデータクリーニングは行われなかった。
【０２９２】
不良に対照される遺伝子は非常に低い信号対ノイズ比を有すると論じることができる。したがって、標準偏差で割る前処理は、ノイズを増幅するだけである。組織にわたる活動の任意のパターンを、所与の遺伝子のために得ることができる。これは実際に、監視されていない学習技術にかかわる。しかし、監視された学習技術では、ノイズ遺伝子が偶然に訓練データを完璧に分離し、したがって特徴選択アルゴリズムによって自動的に処分されるということは、ありそうにない。具体的には、過剰発現遺伝子では、遺伝子発現係数は、Ｇ４では正の値を取り、ＢＰＨでは負の値を取る。値は、’／２の可能性で無作為に引かれ、１７組織の各々に、正または負の値を引く。すべての組織に正確に正しい符号を引く可能性は、（‘／２）”である。同一の値が不十分に発現された遺伝子（反対の符号）に存在する。このようにして、純粋なノイズ遺伝子がＧ４組織からすべてのＢＰＨを完璧に分離する可能性は、ｐ＝２（％２）”＝１．５．１０−５である。おそらくｍ＝７１２９−５１５０＝１９７９のノイズ遺伝子がある。すべてが純粋なノイズであるとすると、Ｇ４組織からすべてのＢＰＨを完璧に分離するものはないという可能性（１−ｐ）ｍがある。したがって、少なくともそのうちの１つがＧ４組織からすべてのＢＰＨを完璧に分離する可能性は、１−（１−ｐ）ｍ−３％である。
【０２９３】
単一特徴アルゴリズムでは、数個の処分された遺伝子のうち、これをトップにするものはなく、そのためリスクは関連がない。ＳＶＭ及びＬＤＡでは、単一の遺伝子ではなく遺伝子の相補性を使用して良好な分離を得るため、「悪い」遺伝子を使用するリスクは高い。しかし、最良な遺伝子リストにおいて、処分されたリストからの遺伝子がこれをトップにするものはない。
【０２９４】
データ分割
１７例（８ＢＰＨ及び９Ｇ４）のデータセットを訓練セットと試験セットとに複数分割することから生じるシミュレーションを走行した。訓練セットのサイズは変動する。引かれた各訓練セットでは、データの残りは試験に使用される。
【０２９５】
４より大きく１６より小さい訓練例の数では、２０訓練セットが無作為に選択された。１６訓練例では、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法が使用され、一時に１例を除去することによって得られたすべての可能な訓練セット（１７の可能な選択）が形成された。次いで、試験セットはサイズ１である。試験セットは、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法の場合でさえ、特徴選択プロセスの一部としては絶対に使用されないことに注意されたい。
【０２９６】
４例では、各クラスの２例（２ＢＰＨ及び２Ｇ４）を含むすべての可能な訓練セットが形成され、そのうちの２０が無作為に選択された。
【０２９７】
ＳＶＭ方法では、当初の訓練セットサイズは２例であり、各クラスに１つである（１ＢＰＨ及び１Ｇ４）。各クラスの例は、無作為に引かれる。クラス内標準偏差を計算するために少なくとも４例（各クラス２）が必要であるため、ＬＤＡ方法の性能は、２例のみでは計算することができない。訓練例の数は、２の工程で増分する。
【０２９８】
学習曲線及び特徴選択曲線
このセクションで呈される曲線は、下記の手順で得られる（表２６）：
（表２６）：実験手順
１）  各特徴選択／分類方法用に（ＳＶＭ、ＳＦ−ＳＶＭ、ＬＤＡ、ＳＦ−ＬＤＡ）：
２）  訓練例の各数用に（（２）、４、６、８、１０、１２、１４、１６）：
３）  訓練／試験分割の各特定の図用に（一般に、２０図）：
４）  特徴サブセットランキングを計算する（訓練例のみを使用する）
５）  ログ２スケールでサイズ０、１、２……の遺伝子の各サブセット用に：
６）  訓練例を使用して分類子の重量を計算する
７）  試験例に分類子の性能を計算する。終了。
【０２９９】
全体的に、ＳＦ−ＳＶＭが最良に機能し、下記の４つの象限が弁別される（表２７）。
【表２７】
2005502097.tif 000048
表２７：特徴選択／分類の最良機能方法。
【０３００】
ＳＦ−ＳＶＭの負のマージンの遺伝子用のｗｉ＝０の選択（方程式３）は、遺伝子を暗黙的に予め選択することに対応し、ＳＦ−ＳＶＭ機能が大きな数の遺伝子によく働く理由を部分的に説明する。事実、ＢＰＨからＧ４を完璧に分離する遺伝子の総数を超えて加えられる遺伝子はない。
【０３０１】
すべての例における最終走行
すべての方法は、データセット全体を使用して再走行された。トップランクの遺伝子は表２８〜３１に呈される。ＳＶＭ方法が特徴のもっともコンパクトなセットを提供してＬｅａｖｅ−ｏｎｅ−ｏｕｔエラーが０を達成し且つＳＦ−ＳＶＭ方法が訓練例の少ない数用に最良でもっとも頑強な方法であると決定したため、これらの方法によって見出されたトップ遺伝子は、文献で調査された。遺伝子の大半は癌に、またはより具体的には前立腺癌に、関係がある。
【表２８】
2005502097.tif 000049
表２８：１７最良ＢＨＰ／Ｇ４を使用するＳＦ−ＬＤＡ用トップランク遺伝子。ＧＡＮ＝遺伝子受入番号。ＥＸＰ＝発現（−１＝癌（Ｇ４）組織における過少発現、＋１＝癌組織における過剰発現）。
【表２９】
2005502097.tif 000050
表２９：１７最良ＢＨＰ／Ｇ４を使用するＬＤＡ用トップランク遺伝子。
【表３０】
2005502097.tif 000051
表３０：１７最良ＢＨＰ／Ｇ４を使用するＳＦ−ＳＶＭ用トップランク遺伝子。
【表３１】
2005502097.tif 000052
表３１：１７最良ＢＨＰ／Ｇ４を使用するＳＶＭ用トップランク遺伝子。
【０３０２】
４２組織の結果
「真の」Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法を使用して（遺伝子選択及び分類を含む）、実験は、２遺伝子が１００％予測精密度を達成するのに十分であるべきであることを示した。したがって、２つのトップ遺伝子が、文献でより詳細に調査された。結果は表３３に要約される。選択された２つの遺伝子が、１７の最良の遺伝子のみに訓練することによって得られた表２８〜３１のトップ１０リストに頻繁に現れることは興味深い。
【表３２】
2005502097.tif 000053
表３２：全４２ＢＨＰ／Ｇ４を使用するＳＶＭ用トップランク遺伝子。
【表３３】
2005502097.tif 000054
表３３：全４２ＢＨＰ／Ｇ４を使用するＳＶＭによって見出されたトップ２遺伝子用の所見。総合すると、これらの２遺伝子の発現は、その疾病の重篤度を示す（表３４）。
【表３４】
2005502097.tif 000055
表３４：全４２ＢＨＰ／Ｇ４を使用するＳＶＭによって選択されたトップ２ランキング遺伝子によって示される疾病の重篤度。
【０３０３】
Ｆ）方法論比較
Ｔ−試験
ＳＶＭと比較するための参照方法としてＳＦ−ＬＤＡを選択する理由の１つは、ＳＦ−ＬＤＡは、Ａｆｆｙｍｅｔｒｉｘによって使用される遺伝子ランキング技術の１つと多くの類似を担持するからである。実際、Ａｆｆｙｍｅｔｒｉｘは、遺伝子をランクづけるのにＴ−試験のそのｐ値を使用する。いずれの特定の理論で縛られることは望まないが、試験されるべき帰無仮説は、クラス（＋）ＢＰＨ及びクラス（−）Ｇ４用の所与の遺伝子の発現の２つの予想される値に等しいものであると思われる。対立仮説は、最大平均値を有するものは、最大予想値を有するというものである。ｐ値は、試験される量の単調に変動する関数である：
Ｔｉ＝（μｉ(+)−μｉ(-)）／（σｉｓｑｒｔ（１／ｐ(+)＋１／ｐ(-)）
ただし、μｉ(+)−μｉ(-)は、クラス(+)またはクラス(-)のすべての組織用の遺伝子ｉの遺伝子発現値の平均であり、ｉ＝１、……ｎであり、ｐ(+)及びｐ(-)はクラス(+)またはクラス(-)の例の数であり、σｉ２＝（ｐ(+)σｉ(+)２＋ｐ(-)σｉ(-)２）／ｐはクラス内分散である。ランキングに影響を与えない一定の要因まで、Ｔｉは、ＳＦ−ＬＤＡによって特徴をランクづけるために使用された方程式（２）のｗｉと同一の基準である。平均の差を調べることに基づいて、遺伝子が前立腺癌に関連するという誤った結論を引き出すというリスクの対策としてｐ値を使用しもてよいことが、Ａｆｆｙｍｅｔｒｉｘによって指摘された。閾値αよりも低いｐ値を有するすべての遺伝子が選択されると想定する。せいぜいこれらの遺伝子の分画αは、誤った選択であるべきである。しかし、同一チップ上の異なる遺伝子の遺伝子発現値が実験から独立していないため、この解釈はあまり正確ではない。加えて、これは、試験されるべき２つのクラスの分散が等しいことを想定している。
【０３０４】
Ｔの定義に変形がある。これは、遺伝子ランキングの小さな差を説明しうる。方法の別の変形は、遺伝子のリストを、すべてのＧ４組織で過剰発現されすべてのＢＰＨ組織で過少発現される（または逆の場合も同様である）遺伝子へ、制限することである。比較目的のために、訓練データでＧ４からＢＰＨを完璧に分離する遺伝子のみが使用されたＳＦ−ＬＤＡの変形も適用された。この変形は、少数の遺伝子ではＳＦ−ＬＤＡに類似して実行された（ＳＦ−ＬＤＡによって高くランクされた遺伝子の大きな分画も訓練セットを完璧に分離することが予想される）。多数の遺伝子ではＳＦ−ＳＶＭに類似して実行された（訓練セットを完璧に分離しないすべての遺伝子は、ゼロの重量を得、ＳＦ−ＳＶＭ用のように、すべての他の遺伝子が選択される）。しかし、これは、ＳＦ−ＳＶＭより良好には実行されなかったため、これは保持されなかった。
【０３０５】
クラスタリング
Ａｆｆｙｍｅｔｒｉｘが使用する別の技術はクラスタリングであり、より具体的には、自己組織マップ（ＳＯＭ）である。クラスタリングを使用して、遺伝子をクラスターにグループ化し、「スーパー遺伝子」（クラスター中心）を規定することができる。Ｇ４で過剰発現しＢＰＨ例で過少発現した（または逆の場合も同様である）スーパー遺伝子が、識別される（視覚的に）。そのクラスター部材は選択される。これらの選択された遺伝子及びＴ試験で選択された遺伝子の交差が取られ、最終遺伝子サブセットを得る。
【０３０６】
クラスタリングは、特徴選択の前に特徴空間の次元を減少する調節の手段である。特徴選択は、より少数の「スーパー遺伝子」に実行される。この特定のデータセットでこのようにクラスタリングと特徴選択とを組み合わせることが、将来の作業の目的である。
【０３０７】
Ｖ．結論
意味のある特徴選択が、ほんの１７例及び７１２９特徴で実行することができる。このデータセットでは、単一特徴ＳＶＭが最良に実行する。
【実施例５】
【０３０８】
リンパ腫へのＳＶＭ−ＲＦＥの適用
ＳＶＭ−ＲＦＥは、訓練データセットサイズの値の広い範囲及び一定のデータセットの選択された入力変数の数で、Ｇｏｌｕｂの方法を有意に凌ぐ。このデータセットは９６組織試料（７２リンパ腫及び２４非癌）を含み、このために４０２６遺伝子発現係数が記録された。簡単な前処理が行われ、失測値はゼロに差し替えられた。データセットは、様々な割合で訓練セットと試験セットとに分けられ、各実験は、９６の異なる分割で繰り返された。変数選択は、最小重量の遺伝子を除去し繰り返して再訓練することによって、ＲＦＥアルゴリズムで実行された。
【０３０９】
入力：
訓練例
【数１５】
2005502097.tif 000056
クラスラベル
【数１６】
2005502097.tif 000057
初期化：
残っている特徴のサブセット
ｓ＝［１，２，……ｎ］
特徴ランクづけリスト
ｒ＝［］
ｓ＝［］までの繰り返し
良好な特徴指数への訓練例の禁止
Ｘ＝Ｘ０（；，ｓ）
分類子を訓練
α＝ＳＶＭ−train（Ｘ，ｙ）
次元長（単／複）の重量ベクトルの計算
【数１７】
2005502097.tif 000058
ランキング基準の計算
すべてのｉに対して、ｃｉ＝（ｗｉ）２
最小ランキング基準を有する特徴を見出す
ｆ＝argmin（ｃ）
特徴ランクづけリストの更新
ｒ＝［ｓ（ｆ），ｒ］
最小ランキング基準を有する特徴を排除
ｓ＝ｓ（１：ｆ−１，ｆ＋１：長さ）
出力：
特徴ランクづけリストｒ。
【０３１０】
遺伝子セットサイズは、最後の６４遺伝子は別として、対数的に減少し、ＲＦＥ方法にしたがって、一時に１つ除去された。図３０は、遺伝子数が遺伝子排除プロセスに変動するときの学習曲線を例示する。成功率は、訓練セットサイズ及び遺伝子排除プロセスに保持された遺伝子の数の関数として表される。比較のため、図３１は、遺伝子のランク順をつけるために相関係数を使用するＧｏｌｕｂによる競争技術によって得られた結果を示す。
【０３１１】
Ｗｉ＝（μｉ(+)−μｉ(-)）／（σｉ(+)＋σｉ(-)）
ただし、μｉ及びσｉは、クラス(+)またはクラス(-)のすべての患者用の特定の遺伝子ｉの遺伝子発現値の平均及び標準偏差であり、ｉ＝１、…ｎである。大きな正ｗｉの値は、クラス(+)との強力な相関を示し、一方、大きな負ｗｉの値は、クラス(-)との強力な相関を示す。１つの方法は、正の相関係数及び負の相関係数を備えた等しい数の遺伝子を選択することである。
【０３１２】
分類は、トップランキング遺伝子を使用して行われ、各々が、その相関係数の大きさにしたがって投票することによって最終決定に寄与する。フィッシャーの判別、決定ツリー及び最近傍則を含む多数の他の方法との他の比較によって、ＳＶＭの優秀性を確認した。
【０３１３】
前述は、本発明の好適な実施形態のみに関係し、添付の特許請求の範囲に述べられた本発明の精神及び範囲から逸脱せずに、多数の修正例及び代替例を作ることができることを、当然ながら理解すべきである。そのような代替実施形態は、本発明の精神及び範囲内に包含されるとみなされる。したがって、本発明の範囲は特許請求の範囲に述べられ、前述の記載によって支持される。
【０３１４】
参考文献
すべての参考文献は、その全体が、ここに組み込まれる。
【０３１５】
（Ａｌｏｎ等，１９９９）オリゴヌクレオチドアレイによって精査された腫瘍及び正常結腸癌組織のクラスタリング分析によって明らかになった遺伝子発現の広範なパターン。ＰＮＡＳ  第９６巻６７４５〜６７５０頁、１９９９年６月、Ｃｅｌｌ  Ｂｉｏｌｏｇｙ．
（Ｅｉｓｅｎ，Ｍ．Ｂ．，等、１９９８）ゲノム幅の発現パターンのクラスター分析及び表示  Ｐｒｏｃ．Ｎａｔｌ．Ａｃａｄ．Ｓｃｉ．ＵＳＡ，第９５巻１４８６３〜１４８６８頁、１９９８年１２月、Ｇｅｎｅｔｉｃｓ．
（Ａｌｉｚａｄｅｈ，Ａ．Ａ．，等、２０００）遺伝子発現プロファイリングによって識別された広汎性大Ｂ細胞リンパ腫の弁別型。Ｎａｔｕｒｅ  第４０３巻、第３号、２０００年２月．
（Ｂｒｏｗｎ，Ｍ．Ｐ．Ｓ．，等、２０００）サポートベクトルマシンを使用することによるマイクロアレイ遺伝子発現データの知識データベースに基づく分析。ＰＮＡＳ，第９７巻第１号２６２〜２６７頁、２０００年１月．
（Ｐｅｒｏｕ，Ｃ．Ｍ．等、１９９９）ヒト乳房上皮細胞及び乳癌における特徴的遺伝子発現パターン。Ｐｒｏｃ．Ｎａｔｌ．Ａｃａｄ．Ｓｃｉ．ＵＳＡ第９６巻９２１２〜９２１７頁、１９９９年８月、Ｇｅｎｅｔｉｃｓ．
（Ｇｈｉｎａ、Ｃ．，等、１９９８）ヒトにおけるヘテロ核リボヌクレオプロテイン及びＳＲ因子の異常発現。Ｃａｎｃｅｒ  Ｒｅｓｅａｒｃｈ，５８，５８１８〜５８２４頁、１９９８年１２月１５日．
（Ｄｕｄａ，Ｒ．Ｏ．，等、１９７３）パターン認識及び情景分析。Ｗｉｌｅｙ．１９７３．
（Ｇｏｌｕｂ等、１９９９）癌の分子的分類：遺伝子発現モニタリングによるクラス発見及びクラス予測。Ｓｃｉｅｎｃｅ  第２８６巻、１９９９年１０月．
（Ｇｕｙｏｎ，Ｉ．，等、１９９２）文字認識用構造的リスク最小化。神経情報処理システムの進歩４（ＮＩＰＳ９１），４７１〜４７９頁、カリフォルニア州サンマテオ、Ｍｏｒｇａｎ  Ｋａｕｆｍａｎｎ．１９９２．
（Ｇｕｙｏｎ，Ｉ．，等、１９９６）情報的パターンの発見及びデータクリーニング。Ａｄｖａｎｃｅｓ  ｉｎ  Ｋｎｏｗｌｅｄｇｅ  Ｄｉｓｃｏｖｅｒｙ  ａｎｄ  Ｄａｔａ  Ｍｉｎｉｎｇ，１８１〜２０３頁、ＭＩＴ  Ｐｒｅｓｓ．１９９６．
（Ｖａｐｎｉｋ，Ｖ．Ｎ．，１９９８）統計学習理論。Ｗｉｌｅｙ  Ｉｎｔｅｒｓｃｉｅｎｃｅ．１９９８.
（Ｇｕｙｏｎ，Ｉ．等、１９９８）どのサイズの試験セットが良好なエラー率概算を与えるか？  ＰＡＭＩ、２０（１）、５２〜６４頁、ＩＥＥＥ．１９９８．
（Ｂｏｓｅｒ，Ｂ．等、１９９２）最適マージン分類子用訓練アルゴリズム。第５回計算学習理論年次ワークショップ，１４４〜１５３頁、ピッツバーグ、ＡＣＭ．１９９２．
（Ｃｒｉｓｔｉａｎｉｎｉ，Ｎ．，等、１９９９）サポートベクトルマシンへの手引き。ケンブリッジ大学Ｐｒｅｓｓ．１９９９．
（Ｋｅａｒｎｓ，Ｍ．等、１９９７）モデル選択法の実験的及び理論的比較。Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  ２７：７〜５０、１９９７．
（Ｓｈｕｅｒｍａｎｎ，Ｊ．、１９９６）パターン分類。Ｗｉｌｅｙ  Ｉｎｔｅｒｓｃｉｅｎｃｅ．１９９６．
（Ｍｏｚｅｒ，Ｔ．等、１９９９）アンギオスタチンはヒト上皮細胞の表面上でのＡＴＰ合成酵素に結合する。ＰＮＡＳ，第９６巻第６号２８１１〜２８１６頁、１９９９年３月１６日、Ｃｅｌｌ  Ｂｉｏｌｏｇｙ．
（Ｏｌｉｖｅｉｒａ，Ｅ．Ｃ．、１９９９）結腸癌関連慢性クルーズトリパノソーマ感染。ラットでの実験的研究。Ｒｅｓｕｍｏ  ｄｉ  Ｔｅｓｅ．  Ｒｅｖｉｓｔａ  ｄａ  Ｓｏｃｉｅｄａｄｅ  Ｂｒａｓｉｌｅｉｒａ  ｄｅ  Ｍｅｄｃｉｎａ  Ｔｒｏｐｉｃａｌ  ３２（１）：８１〜８１頁、１９９９年１月〜２月．
（Ｋａｒａｋｉｕｌａｋｉｓ，Ｇ．、１９９７）ヒト結腸の原発腫瘍から発する転移における増殖型ＩＶコラーゲン低下活動。Ｉｎｖａｓｉｏｎ  ａｎｄ  Ｍｅｔａｓｔａｓｉｓ，第１７巻第３号１５８〜１６８頁、１９９７．
（Ａｒｏｎｓｏｎ，１９９９）授乳終了時の乳腺の改造：新しい調節蛋白質ＢＲＰ３９の役割。Ｔｈｅ  Ｂｅａｔ、サウスアラバマ医科大学、１９９９年７月．
（Ｍａｃａｌｍａ，Ｔ．等、１９９６）ヒトザイキシンの分子的特徴。Ｊｏｕｒｎａｌ  ｏｆ  Ｂｉｏｌｏｇｉｃａｌ  Ｃｈｅｍｉｓｔｒｙ，第２７１巻第４９号３１４７０〜３１４７８頁、１９９６年１２月．
（Ｈａｒｌａｎ，Ｄ．Ｍ．等、１９９１）ヒトミリストレートアラニンに富むＣキナーゼ基質（ＭＡＲＣＫＳ）遺伝子（ＭＡＣＳ）。遺伝子産物、プロモータ及び染色体位置の分析。Ｊｏｕｒｎａｌ  ｏｆ  Ｂｉｏｌｏｇｉｃａｌ  Ｃｈｅｍｉｓｔｒｙ，第２６６巻第２２号１４３９９〜１４４０５頁、１９９１年８月．
（Ｔｈｏｒｓｔｅｉｎｓｄｏｔｔｉｒ，Ｕ．等、１９９９）腫瘍性蛋白質Ｅ２Ａ−Ｐｂｘ１ａがＨｏｘａ９と協働し、一次骨髄細胞を急激に変換する。Ｍｏｌｅｃｕｌａｒ  Ｃｅｌｌ  Ｂｉｏｌｏｇｙ，第１９巻第９号６３５５〜６６頁、１９９９年９月．
（Ｏｓａｋａ，Ｍ．等、１９９９）ＭＳＦ（ＭＬＬセプチン様溶融）、ｔ（１１；１７）（ｑ２３；ｑ２５）を有する療法関連急性骨髄性白血病におけるＭＬＬの溶融パートナー遺伝子。Ｐｒｏｃ  Ｎａｔｌ  Ａｃａｄ  Ｓｃｉ  ＵＳＡ，第９６巻第１１号６４２８〜３３頁、１９９９年５月．
（Ｗａｌｓｈ，Ｊ．Ｈ．、１９９９）疫学的証拠が結腸癌を未然に防ぐものとしての葉酸の役割を強調する。Ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ  Ｎｅｗｓ．  Ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ．１１６：３−４、１９９９．
（Ａｅｒｔｓ，Ｈ．、１９９６）キトトリオシダーゼ−新生化学マーカー。Ｇａｕｃｈｅｒｓ  Ｎｅｗｓ，１９９６年３月．
（Ｆｏｄｏｒ，Ｓ．Ａ．、１９９７）超並列ゲノム科学。Ｓｃｉｅｎｃｅ．２７７：３９３−３９５、１９９７．
（Ｓｈｏｅｌｋｏｐｆ，Ｂ．等、１９９９）高次元分布のサポートの評価。ＮＩＰＳ議事録１９９９．
【図面の簡単な説明】
【０３１６】
【図１】学習機械を使用してデータから発見されうる知識を増加するための例示的な一般方法を例示するフローチャートである。
【図２】サポートベクトルマシンを使用してデータから発見されうる知識を増加するための例示的な一般方法を例示するフローチャートである。
【図３】本発明の例示的な実施形態にしたがって前処理または後処理技術用に学習機械に関連してまたは独立構成で使用されうる例示的な最適カテゴリー化方法を例示するフローチャートである。
【図４】サポートベクトルマシンに入力されうる例示的な非拡大データセットを例示する。
【図５】図４のデータセットに基づいてサポートベクトルマシンに入力されうる例示的な拡大データセットを例示する。
【図６】図３の最適カテゴリー化方法の独立適用のための例示的なデータセットを例示する。
【図７】本発明の実施形態様の例示的な操作環境を例示する機能的ブロック図である。
【図８】複数のサポートベクトルマシンの階層システムを例示する機能的ブロック図である。
【図９】例示的なＳＶＭ−ＲＦＥを使用して生成されたバイナリツリーを例示する。
【図１０】図９のバイナリツリーを生成するのに使用される観察グラフを例示する。
【図１１】線形判別分類子の使用をグラフ的に例示する。Ａ）ＳＶＭでの訓練例の分離。Ｂ）同一ＳＶＭでの訓練例及び試験例の分離。Ｃ）ベースライン方法での訓練例の分離。Ｄ）ベースライン方法での訓練例及び試験例の分離。
【図１２】ＲＦＥを使用する結果のグラフを示す。
【図１３】２つの遺伝子用の組織試料にわたる遺伝子発現値の分布を示す。
【図１４】すべての組織試料の遺伝子にわたる遺伝子発現値の分布を示す。
【図１５】前処理後のＲＦＥの結果を示す。
【図１６】本発明とＧｏｌｕｂの方法とのグラフ比較を示す。
【図１７】１００デンスＱＴ＿ｃｌｕｓｔクラスターに訓練するときのＲＦＥの結果を示す。
【図１８】データセット全体に訓練するときのＳＶＭ−ＲＦＥの結果を示す。
【図１９】データセット全体に訓練するときのＧｏｌｕｂの方法の結果を示す。
【図２０】異なる方法を使用して結腸癌データ用の特徴（遺伝子）選択方法の比較を示す。
【図２１】結腸癌データ用の最適遺伝子数の選択を示す。
【図２２】分類子品質の測定基準を示す。三角及び四角の曲線は、２つのクラスの例分布を表す：クラス１（負のクラス）及びクラス２（正のクラス）
【図２３】白血病データ用のＳＶＭとベースライン方法との間の性能比較を示す。
【図２４】白血病データ用の１６遺伝子の最良セットを示す。
【図２５】白血病データ用の最適遺伝子数の選択を示す。
【図２６】前立腺癌分析用のＬＣＭデータ準備に基づいた結果を示すグラフである。
【図２７】前立腺癌用に本発明のＳＶＭ−ＲＦＥとＬｅａｖｅ−ｏｎｅ−ｏｕｔ分類子とをグラフ的に比較するグラフである。
【図２８】前立腺癌用にＧｏｌｕｂ及びＳＶＭの方法をグラフ的に比較する。
【図２９】２つの最良ランキング遺伝子用にＧｏｌｕｂ（ａ）及びＳＶＭ方法（ｂ）用に得られた決定関数を例示する。
【図３０】変動遺伝子数を備えたＳＶＭ−ＲＦＥ用の学習曲線のグラフである。
【図３１】Ｇｏｌｕｂの方法を使用する変動遺伝子数を備えた学習曲線のグラフである。
【図１】
2005502097.tif 000059
【図２】
2005502097.tif 000060
【図３】
2005502097.tif 000061
【図７】
2005502097.tif 000062
【図８】
2005502097.tif 000063
【図１０】
2005502097.tif 000064
【図１２】
2005502097.tif 000065
【図１５】
2005502097.tif 000066
【図１６】
2005502097.tif 000067
【図１７】
2005502097.tif 000068
【図１８】
2005502097.tif 000069
【図１９】
2005502097.tif 000070
【図２０】
2005502097.tif 000071
【図２１】
2005502097.tif 000072
【図２２】
2005502097.tif 000073
【図２３】
2005502097.tif 000074
【図２５】
2005502097.tif 000075
【図２６】
2005502097.tif 000076
【図２７】
2005502097.tif 000077
【図２８】
2005502097.tif 000078
【図３０】
2005502097.tif 000079
【図３１】
2005502097.tif 000080
【国際公開パンフレット】
2005502097.tif 000081
2005502097.tif 000082
2005502097.tif 000083
2005502097.tif 000084
2005502097.tif 000085
2005502097.tif 000086
2005502097.tif 000087
2005502097.tif 000088
2005502097.tif 000089
2005502097.tif 000090
2005502097.tif 000091
2005502097.tif 000092
2005502097.tif 000093
2005502097.tif 000094
2005502097.tif 000095
2005502097.tif 000096
2005502097.tif 000097
2005502097.tif 000098
2005502097.tif 000099
2005502097.tif 000100
2005502097.tif 000101
2005502097.tif 000102
2005502097.tif 000103
2005502097.tif 000104
2005502097.tif 000105
2005502097.tif 000106
2005502097.tif 000107
2005502097.tif 000108
2005502097.tif 000109
2005502097.tif 000110
2005502097.tif 000111
2005502097.tif 000112
2005502097.tif 000113
2005502097.tif 000114
2005502097.tif 000115
2005502097.tif 000116
2005502097.tif 000117
2005502097.tif 000118
2005502097.tif 000119
2005502097.tif 000120
2005502097.tif 000121
2005502097.tif 000122
2005502097.tif 000123
2005502097.tif 000124
2005502097.tif 000125
2005502097.tif 000126
2005502097.tif 000127
2005502097.tif 000128
2005502097.tif 000129
2005502097.tif 000130
2005502097.tif 000131
2005502097.tif 000132
2005502097.tif 000133
2005502097.tif 000134
2005502097.tif 000135
2005502097.tif 000136
2005502097.tif 000137
2005502097.tif 000138
2005502097.tif 000139
2005502097.tif 000140
2005502097.tif 000141
2005502097.tif 000142
2005502097.tif 000143
2005502097.tif 000144
2005502097.tif 000145
2005502097.tif 000146
2005502097.tif 000147
2005502097.tif 000148
2005502097.tif 000149
2005502097.tif 000150
2005502097.tif 000151
2005502097.tif 000152
2005502097.tif 000153
2005502097.tif 000154
2005502097.tif 000155
2005502097.tif 000156
2005502097.tif 000157
2005502097.tif 000158
2005502097.tif 000159
2005502097.tif 000160
2005502097.tif 000161
2005502097.tif 000162
2005502097.tif 000163
2005502097.tif 000164
2005502097.tif 000165
2005502097.tif 000166
2005502097.tif 000167
2005502097.tif 000168
2005502097.tif 000169
2005502097.tif 000170
2005502097.tif 000171
2005502097.tif 000172
2005502097.tif 000173
2005502097.tif 000174
2005502097.tif 000175
2005502097.tif 000176
2005502097.tif 000177
2005502097.tif 000178
2005502097.tif 000179
2005502097.tif 000180
2005502097.tif 000181
2005502097.tif 000182
2005502097.tif 000183
2005502097.tif 000184
2005502097.tif 000185
2005502097.tif 000186
2005502097.tif 000187
2005502097.tif 000188
2005502097.tif 000189
2005502097.tif 000190
2005502097.tif 000191
2005502097.tif 000192
2005502097.tif 000193
2005502097.tif 000194
2005502097.tif 000195
2005502097.tif 000196
2005502097.tif 000197
2005502097.tif 000198
2005502097.tif 000199
2005502097.tif 000200
2005502097.tif 000201
2005502097.tif 000202
2005502097.tif 000203
2005502097.tif 000204
2005502097.tif 000205
2005502097.tif 000206
2005502097.tif 000207
2005502097.tif 000208
2005502097.tif 000209
2005502097.tif 000210
2005502097.tif 000211
2005502097.tif 000212
2005502097.tif 000213
2005502097.tif 000214
2005502097.tif 000215
2005502097.tif 000216
2005502097.tif 000217
2005502097.tif 000218
2005502097.tif 000219
2005502097.tif 000220
2005502097.tif 000221
2005502097.tif 000222
2005502097.tif 000223
2005502097.tif 000224
2005502097.tif 000225
2005502097.tif 000226
2005502097.tif 000227
2005502097.tif 000228
2005502097.tif 000229
2005502097.tif 000230
2005502097.tif 000231
2005502097.tif 000232
2005502097.tif 000233
2005502097.tif 000234
2005502097.tif 000235
【国際公開パンフレット（コレクトバージョン）】
2005502097.tif 000236
2005502097.tif 000237
【国際調査報告】
2005502097.tif 000238
2005502097.tif 000239