(57)【要約】  記号シーケンスを解析する方法及びシステムが提供される。記号シーケンスのメタデータを所有者のコンピューティング・デバイスから受け取る。受け取ったメタデータに基づいてＲ個のランダムシーケンスの集合が生成され、Ｒ個のランダムシーケンスの集合及び記号シーケンスに基づく特徴行列の計算のために、記号シーケンスの所有者のコンピューティング・デバイスに送られる。特徴行列を、記号シーケンスの所有者のコンピューティング・デバイスから受け取る。特徴行列の内積が閾値精度を下回ると判定されると、繰返しプロセスは、Ｒ個のランダムシーケンスの生成に戻る。特徴行列の内積が前記閾値以上であると判定されると、特徴行列は、機械学習に基づいてカテゴリ化される。カテゴリ化された大域的特徴行列は、記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示されるために送られる。
2021522598.tif 000002
【特許請求の範囲】
【請求項１】
データを解析するためのコンピューティング・デバイスであって、
プロセッサと、
前記プロセッサに結合してネットワーク上での通信を可能にするネットワークインタフェースと、
前記プロセッサに結合したストレージデバイスと、
前記ストレージデバイスに格納された解析エンジンと、
を含み、前記プロセッサによる前記解析エンジンの実行は、
ａ）記号シーケンスのメタデータを前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、
ｂ）受け取った前記メタデータに基づいてＲ個のランダムシーケンスの集合を生成することと、
ｃ）前記Ｒ個のランダムシーケンスの集合及び前記記号シーケンスに基づく特徴行列の計算のために、前記ネットワーク上で前記記号シーケンスの所有者のコンピューティング・デバイスに前記Ｒ個のランダムシーケンスの集合を送ることと、
ｄ）前記特徴行列を前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、
ｅ）前記特徴行列の内積が閾値精度を下回ると判定されると、ステップｂに戻ることと、
ｆ）前記特徴行列の内積が前記閾値以上であると判定されると、
前記特徴行列を大域的特徴行列として識別することと、
前記大域的特徴行列を機械学習に基づいてカテゴリ化することと、
カテゴリ化された大域的特徴行列を、前記記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送ることと、
を含む動作を行うように前記コンピューティング・デバイスを構成する、
コンピューティング・デバイス。
【請求項２】
前記メタデータは、前記記号シーケンスのアルファベットの確率分布を含む、請求項１に記載のコンピューティング・デバイス。
【請求項３】
前記Ｒ個のランダムシーケンスの集合は、シーケンスのアルファベットの前記確率分布に基づく、請求項１に記載のコンピューティング・デバイス。
【請求項４】
各ランダムシーケンスの長さは、ＤｍｉｎからＤｍａｘまでであり、ここでＤｍｉｎは≧１かつＤｍａｘ≦２０である、請求項２又は請求項３のいずれかに記載のコンピューティング・デバイス。
【請求項５】
受け取った前記メタデータに基づいてＲ個のランダムシーケンスの集合を生成することは、前記Ｒ個のランダムシーケンスの各々に対して、長さＤのランダムシーケンスを一様にサンプリングして、前記プロセッサによって処理されるデータの量を減らすことを含み、
前記Ｒ個のランダムシーケンスの集合を送ることは、サンプリングされた前記長さＤのランダムシーケンスからなる、
前記請求項のいずれかに記載のコンピューティング・デバイス。
【請求項６】
前記大域的特徴行列をカテゴリ化することは、分類、クラスタ化、及び異常検出のうちの少なくとも１つを含む、前記請求項のいずれかに記載のコンピューティング・デバイス。
【請求項７】
前記記号シーケンスが前記解析エンジンのコンピューティング・デバイスに対して非公開に保たれる、前記請求項のいずれかに記載のコンピューティング・デバイス。
【請求項８】
前記大域的特徴行列は、対角優位カーネル行列を導入することなく、カーネルの正定値性を維持する、前記請求項のいずれかに記載のコンピューティング・デバイス。
【請求項９】
前記大域的特徴行列のカテゴリ化は、訓練サンプルの長さ及び数に対して線形の機械学習訓練コストを有する、前記請求項のいずれかに記載のコンピューティング・デバイス。
【請求項１０】
記号シーケンスのメタデータを前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることは、
記号シーケンスの所有者のコンピューティング・デバイスからデータ解析の要求を受け取ることと、
前記記号シーケンスの所有者のコンピューティング・デバイスの記号シーケンスのアルファベットの確率分布を表す人工メタデータを作成することと、
を含む、前記請求項のいずれかに記載のコンピューティング・デバイス。
【請求項１１】
データを解析するための方法であって、
ａ）記号シーケンスのメタデータを前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、
ｂ）受け取った前記メタデータに基づいてＲ個のランダムシーケンスの集合を生成することと、
ｃ）前記Ｒ個のランダムシーケンスの集合及び前記記号シーケンスに基づく特徴行列の計算のために、前記記号シーケンスの所有者のコンピューティング・デバイスに前記Ｒ個のランダムシーケンスの集合を送ることと、
ｄ）前記特徴行列を前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、
ｅ）前記特徴行列の内積が閾値精度を下回ると判定されると、ステップｂに戻ることと、
ｆ）前記特徴行列の内積が前記閾値以上であると判定されると、
前記特徴行列を大域的特徴行列として識別することと、
前記大域的特徴行列を機械学習に基づいてカテゴリ化することと、
カテゴリ化された大域的特徴行列を、前記記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送ることと、
を含む、方法。
【請求項１２】
前記メタデータは、前記記号シーケンスのアルファベットの確率分布を含み、
前記Ｒ個のランダムシーケンスの集合は、シーケンスのアルファベットの前記確率分布に基づく、請求項１１に記載の方法。
【請求項１３】
受け取った前記メタデータに基づいてＲ個のランダムシーケンスの集合を生成することは、前記Ｒ個のランダムシーケンスの各々に対して、長さＤのランダムシーケンスを一様にサンプリングして、前記プロセッサによって処理されるデータの量を減らすことを含み、
前記Ｒ個のランダムシーケンスの集合を送ることは、サンプリングされた前記長さＤのランダムシーケンスからなる、
請求項１１又は請求項１２のいずれかに記載の方法。
【請求項１４】
前記大域的特徴行列をカテゴリ化することは、分類、クラスタ化、及び異常検出のうちの少なくとも１つを含む、請求項１１から請求項１３のいずれかに記載の方法。
【請求項１５】
前記記号シーケンスが解析エンジンのコンピューティング・デバイスに対して非公開に保たれる、請求項１１から請求項１４のいずれかに記載の方法。
【請求項１６】
データを解析するためのコンピュータプログラム製品であって、
請求項１１から請求項１５のいずれかに記載の方法を実施するために処理回路によって実行される命令を格納する、前記処理回路によって可読のコンピュータ可読ストレージ媒体を含む、コンピュータプログラム製品。
【請求項１７】
コンピュータ可読媒体に格納され、デジタルコンピュータの内部メモリにロード可能なコンピュータプログラムであって、ソフトウェアコード部分を含み、前記プログラムがコンピュータ上で実行されるとき、請求項１１から請求項１５のいずれかに記載の方法を実施するための、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に線形シーケンスの分類に関し、より具体的には、センシティブなデータの、クラウドベースの記号シーケンス解析に関する。
【背景技術】
【０００２】
近年、ストリング解析は、中心的な学習タスクへと発展してきており、計算生物学、テキストのカテゴリ化、及び音楽の分類を含む多くの用途においてかなり注目されている。ストリングデータにおける１つの難題は、シーケンス内に明示的な特徴（feature）がないことに関連する。本明細書において用いられる場合、特徴とは、観察される現象の個別の測定可能な性質又は特性である。先進的な特徴選択技術を用いてもなお、潜在的な特徴の次元は依然として高次である場合があり、特徴のシーケンスの性質を捉えることは難しい。このことにより、シーケンス分類は、特徴ベクトルの分類より困難なタスクになる。
【０００３】
したがって、当該分野において上記の課題に取り組むことが必要とされている。
【発明の概要】
【０００４】
第１の態様から見て、本発明は、データを解析するためのコンピューティング・デバイスであって、プロセッサと、プロセッサに結合してネットワーク上での通信を可能にするネットワークインタフェースと、プロセッサに結合したストレージデバイスと、ストレージデバイスに格納された解析エンジンと、を含み、プロセッサによる解析エンジンの実行は、記号シーケンスのメタデータを記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、受け取ったメタデータに基づいてＲ個のランダムシーケンスの集合を生成することと、Ｒ個のランダムシーケンスの集合及び記号シーケンスに基づく特徴行列の計算のために、ネットワーク上で記号シーケンスの所有者のコンピューティング・デバイスにＲ個のランダムシーケンスの集合を送ることと、特徴行列の内積が閾値精度を下回ると判定されると、受け取ったメタデータに基づいてＲ個のランダムシーケンスの集合を生成するステップに戻ることと、特徴行列の内積が閾値以上であると判定されると、特徴行列を大域的特徴行列として識別することと、大域的特徴行列を機械学習に基づいてカテゴリ化することと、カテゴリ化された大域的特徴行列を、記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送ることと、を含む動作を行うようにコンピューティング・デバイスを構成する、コンピューティング・デバイスを提供する。
【０００５】
さらなる態様から見て、本発明は、データを解析するための方法であって、記号シーケンスのメタデータを記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、受け取ったメタデータに基づいてＲ個のランダムシーケンスの集合を生成することと、Ｒ個のランダムシーケンスの集合及び記号シーケンスに基づく特徴行列の計算のために、記号シーケンスの所有者のコンピューティング・デバイスにＲ個のランダムシーケンスの集合を送ることと、特徴行列を記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、特徴行列の内積が閾値精度を下回ると判定されると、受け取ったメタデータに基づいてＲ個のランダムシーケンスの集合を生成するステップに戻ることと、特徴行列の内積が閾値以上であると判定されると、特徴行列を大域的特徴行列として識別することと、大域的特徴行列を機械学習に基づいてカテゴリ化することと、カテゴリ化された大域的特徴行列を、記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送ることと、を含む方法を提供する。
【０００６】
さらなる態様から見て、本発明は、コンピュータデバイスであって、プロセッサと、プロセッサに結合してネットワーク上での通信を可能にするネットワークインタフェースと、プロセッサに結合したストレージデバイスと、ストレージデバイスに格納された解析エンジンと、を含み、プロセッサによる解析エンジンの実行は、記号シーケンスの所有者のコンピューティング・デバイスからデータ解析の要求を受け取ることと、記号シーケンスの所有者のコンピューティング・デバイスの記号シーケンスのアルファベットの確率分布を表す人工メタデータを作成することと、人工メタデータに基づいてＲ個のランダムシーケンスの集合を生成することと、Ｒ個のランダムシーケンスの集合及び記号シーケンスに基づく特徴行列の計算のために、記号シーケンスの所有者のコンピューティング・デバイスにＲ個のランダムシーケンスの集合を送ることと、特徴行列を記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、特徴行列の内積が閾値精度を下回ると判定されると、人工メタデータに基づいてＲ個のランダムシーケンスの集合を生成するステップに戻ることと、特徴行列の内積が閾値以上であると判定されると、特徴行列を大域的特徴行列として識別することと、大域的特徴行列を機械学習に基づいてカテゴリ化することと、カテゴリ化された大域的特徴行列を、記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送ることと、を含む動作を行うようにコンピューティング・デバイスを構成する、コンピューティング・デバイスを提供する。
【０００７】
さらなる態様から見て、本発明は、データを解析するためのコンピュータプログラム製品であって、本発明のステップを行うための方法を実施するために処理回路によって実行される命令を格納する、処理回路によって可読のコンピュータ可読ストレージ媒体を含む、コンピュータプログラム製品を提供する。
【０００８】
さらなる態様から見て、本発明は、コンピュータ可読媒体に格納され、デジタルコンピュータの内部メモリにロード可能なコンピュータプログラムであって、ソフトウェアコード部分を含み、該プログラムがコンピュータ上で実行されるとき、本発明のステップを行うための、コンピュータプログラムを提供する。
【０００９】
コンピューティング・デバイスであって、プロセッサと、プロセッサに結合してネットワーク上での通信を可能にするネットワークインタフェースと、プロセッサに結合したストレージデバイスと、ストレージデバイスに格納された解析エンジンと、を含み、プロセッサによる解析エンジンの実行は、記号シーケンスの所有者のコンピューティング・デバイスからデータ解析の要求を受け取ることと、記号シーケンスの所有者のコンピューティング・デバイスの記号シーケンスのアルファベットの確率分布を表す人工メタデータを作成することと、人工メタデータに基づいてＲ個のランダムシーケンスの集合を生成することと、Ｒ個のランダムシーケンスの集合及び記号シーケンスに基づく特徴行列の計算のために、記号シーケンスの所有者のコンピューティング・デバイスにＲ個のランダムシーケンスの集合を送ることと、特徴行列を記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、特徴行列の内積が閾値精度を下回ると判定されると、前のステップに戻ることと、特徴行列の内積が閾値以上であると判定されると、特徴行列を大域的特徴行列として識別することと、大域的特徴行列を機械学習に基づいてカテゴリ化することと、カテゴリ化された大域的特徴行列を、記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送ることと、を含む動作を行うようにコンピューティング・デバイスを構成する、コンピューティング・デバイス。
【００１０】
種々の実施形態において、データのプライバシーを維持しながら記号シーケンスを解析するためのコンピューティング・デバイス、非一時的なコンピュータ可読ストレージ媒体、及び方法が提供される。記号シーケンスのメタデータを、データ所有者のコンピューティング・デバイスから受け取る。受け取ったメタデータに基づいてＲ個のランダムシーケンスの集合が生成される。Ｒ個のランダムシーケンスの集合は、Ｒ個のランダムシーケンスの集合及び記号シーケンスに基づく特徴行列の計算のために、ネットワーク上でデータ所有者のコンピューティング・デバイスに送られる。特徴行列を、記号シーケンスのデータ所有者のコンピューティング・デバイスから受け取る。特徴行列の内積が閾値精度を下回ると判定されると、プロセスは、受け取ったメタデータに基づいてＲ個のランダムシーケンスの集合を生成することに戻って繰り返す。特徴行列の内積が閾値以上であると判定されると、特徴行列は、大域的特徴行列として識別される。大域的特徴行列は、機械学習に基づいてカテゴリ化される。カテゴリ化された大域的特徴行列は、所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送られる。
【００１１】
他の実施形態によれば、データのプライバシーを維持しながら記号シーケンスを解析するためのコンピューティング・デバイス、非一時的なコンピュータ可読ストレージ媒体、及び方法が提供される。データ解析の要求を、記号シーケンスの所有者のコンピューティング・デバイスから受け取る。記号シーケンスの所有者のコンピューティング・デバイスの記号シーケンスのアルファベットの確率分布を表す人工メタデータが作成される。人工メタデータに基づいてＲ個のランダムシーケンスの集合が作成される。Ｒ個のランダムシーケンスの集合は、Ｒ個のランダムシーケンスの集合及び記号シーケンスに基づく特徴行列の計算のために、記号シーケンスの所有者のコンピューティング・デバイスに送られる。特徴行列を、記号シーケンスの所有者のコンピューティング・デバイスから受け取る。特徴行列の内積が閾値精度を下回ると判定されると、プロセスは、受け取った人工メタデータに基づいてＲ個のランダムシーケンスの集合を生成することに戻って繰り返す。特徴行列の内積が閾値以上であると判定されると、特徴行列は、大域的特徴行列として識別され、機械学習に基づいてカテゴリ化される。カテゴリ化された大域的特徴行列は、記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送られる。
【００１２】
これら及び他の特徴は、添付の図面との関連で解釈すべき、以下の例証的な実施形態の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００１３】
図面は、例証的な実施形態の図面である。図面はすべての実施形態を示しているわけではない。これに加えて又はその代わりに他の実施形態を用いることができる。明らかな又は不必要な場合がある詳細は、スペースの節約又はより効果的な例証のために省略されている場合がある。いくつかの実施形態は、追加の構成要素を伴って実施される場合もあり、もしくは図示されているすべての構成要素又はステップを伴うことなく実施される場合もあり、又はその両方の場合もある。異なる図面において同じ数字が現れる場合、それは同じ又は同様の構成要素又はステップを指す。
【図１】ランダムシーケンス埋込みを用いた効率的な記号シーケンス解析を実装するための例示的なアーキテクチャを示す。
【図２】例証的な実施形態に従う、シーケンスデータの処理のためのシステムの概念的ブロック図である。
【図３】例証的な実施形態に従う、シーケンスデータの処理のためのシステムの、別の概念的ブロック図である。
【図４】例証的な実施形態に従う、ランダムストリング埋込みのために用いられる教師なし特徴生成のアルゴリズムである。
【図５】例証的な実施形態に従う、異なる例示的なサンプリング戦略の態様をまとめた第２のアルゴリズムである。
【図６】８つの異なるランダムストリング埋込みのバリアント間の分類精度についての比較を提示する表を示す。
【図７】ランダムストリング埋込みの精度を他の既知のストリング分類方法に対して比較した表を示す。
【図８】ランダムに生成されたストリングデータセットに対して、それぞれ、ストリングの数Ｎ及びストリングの長さＬを変化させて、ランダムストリング埋込みのスケーラビリティを示す。
【図９】例証的な実施形態に従う、ランダムシーケンス埋込みを用いた効率的な記号シーケンス解析のためのコールフロープロセスを提示する。
【図１０】例証的な実施形態に従う、データ所有者がメタデータを解析エンジンに提供しないプロセスフローである。
【図１１】種々のネットワーク・コンポーネントと通信することができるコンピュータ・ハードウェア・プラットフォームの機能ブロック図である。
【図１２】例証的な実施形態に従う、クラウド・コンピューティング環境を示す。
【図１３】例証的な実施形態に従う、抽象モデル層を示す。
【発明を実施するための形態】
【００１４】
概要
以下の詳細な説明において、関連する教示の完全な理解を与えるために例示として多数の具体的な詳細を示す。しかしながら、本教示は、このような詳細がなくても実施できることが明らかである。他の例において、本開示の態様を不必要に不明瞭にすることを避けるために、周知の方法、手順、構成要素、もしくは回路又はそれらの組合せは、詳細を伴わずに比較的高いレベルで説明されている。
【００１５】
本開示は、ランダムシーケンス埋込みを用いた、クラウドベースの記号シーケンス解析のシステム及び方法に関する。ストリング分類法は、バイオインフォマティクス、ヘルスインフォマティクス、異常検出、及び音楽解析を含む種々の分野で重要である。本明細書において用いられる場合、シーケンスは、事象の順序付きリストである。各事象は、実数値、記号値、実数値のベクトル、又は複合データ型とすることができる。記号シーケンスは、所定のアルファベットからの記号の順序付きリストとすることができる。例えば、アミノ酸（例えばイソロイシン）は、ＤＮＡコドンＡＴＴ、ＡＴＣ、ＡＴＡを有する。
【００１６】
既存のストリング・カーネルは、典型的には、（ｉ）ストリング内の短いサブ構造の特徴に依存し、これは長い弁別パターンを効果的に捉えることができない場合がある、（ｉｉ）多すぎるサブ構造、例えば可能なすべてのサブシーケンスにわたる和を取り、これはカーネル行列の対角優位をもたらす、又は（ｉｉｉ）編集距離から導かれた非正定値の類似度測度に依存する。本明細書において用いられる場合、正定値性（positive definiteness）は、双線形形式又は半双線形形式が必然的に関連付けられる任意のオブジェクトの数学的性質に関連し、これは正定値（positive definite）である。ストリングの長さに関する計算の難題に取り組む努力がなされてきたが、このような手法は、カーネルベースの分類器において用いられる場合、典型的には訓練サンプルの数に関して二次の複雑さを有する。
【００１７】
１つの態様において、本明細書で提供されるのは、（ｉ）大域的アライメントを通じてストリング内に隠された大域的性質を発見し、(ｉｉ）対角優位カーネル行列を導入することなく、カーネルの正定値性を維持し、（ｉｉｉ）訓練サンプルの長さのみならず数に対して線形の訓練コストを有するように動作する、ストリング・カーネルの新たなクラスである。この目的で、提案されるカーネルは、各々がランダムストリングの分布に対応する異なるランダム特徴マップを通じて定義される。このような特徴マップによって定義されたカーネルは、正定値性の性質を有するとともに、線形分類モデルにおいて直接用いることができるランダムストリング埋込み（ＲＳＥ：Random String Embedding）を生成するので計算に関して有益である。
【００１８】
表現的ＲＳＥを生成するための４つの異なるサンプリング戦略が本明細書において提供される。出願人は、ランダムストリングの長さが典型的にはデータストリング（本明細書では記号シーケンスと呼ぶこともある）の長さに対して伸長しないことにより、ランダムストリングのストリングの数及びその長さの両方においてＲＳＥの計算の複雑さが二次から線形に低減されることを確認した。１つの態様において、ＲＳＥは、厳密なカーネル（exact kernel）まで小さい許容差で一様収束する。ＲＳＥは、ストリングの数（及びストリングの長さ）の増大と共に線形にスケール変化する。本明細書で説明する技術は、多くの方式で実施することができる。例示的な実施を以下の図を参照して下記で提供する。
例示的なアーキテクチャ
【００１９】
図１は、ランダムシーケンス埋込みを用いた効率的な記号シーケンス解析を実装するための例示的なアーキテクチャ１００を示す。アーキテクチャ１００は、種々のコンピューティング・デバイス１０２（１）から１０２（Ｎ）が互いに通信するネットワーク１０６、並びに、ネットワーク１０６に接続された訓練データソース１１２、解析サービスサーバ１１６、及びクラウド１２０などの他の要素を含む。
【００２０】
ネットワーク１０６は、限定されないが、ローカルエリアネットワーク（「ＬＡＮ」）、仮想私設ネットワーク（「ＶＰＮ」）、セルラーネットワーク、インターネット、又はそれらの組合せとすることができる。例えば、ネットワーク１０６は、種々のアプリケーションストア、ライブラリ、及びインターネットとの通信といった種々の補助的サービスを提供する、イントラネットと呼ばれることもある私設ネットワークに通信可能に結合した、モバイルネットワークを含むことができる。ネットワーク１０６は、解析サービスサーバ１１６上で実行されるソフトウェアプログラムである解析エンジン１１０が、訓練データソース１１２、コンピューティング・デバイス１０２（１）から１０２（Ｎ）、及びクラウド１２０と通信して、カーネル学習を提供することを可能にする。１つの実施形態において、データ処理は、少なくとも一部がクラウド１２０上で行われる。
【００２１】
後で検討する目的で、非公開に保たれることが意図された記号シーケンスデータのソースとなり得るコンピューティング・デバイスのある種の例を代表して、いくつかのユーザデバイスが図中に示されている。記号シーケンスデータ(例えば、１０３（１）及び１０３（Ｎ））の態様は、ネットワーク１０６上で解析サービスサーバ１１６の解析エンジン１１０に伝達されることができる。今日、ユーザデバイスは、典型的には、ポータブルハンドセット、スマートフォン、タブレットコンピュータ、携帯情報端末（ＰＤＡ）、及びスマートウォッチの形態を取るが、消費者用及びビジネス用の電子デバイスを含む他の形状因子で実装される場合もある。
【００２２】
例えば、コンピューティング・デバイス（例えば、１０２（Ｎ））は、コンピューティング・デバイス１０２（Ｎ）に格納されたシーケンスデータの特徴をカテゴリ化する要求１０３（Ｎ）を、コンピューティング・デバイス１０２（Ｎ）に格納されたシーケンスデータが解析エンジン１１０に対して明かされないような方法で解析エンジン１１０に送ることができる。いくつかの実施形態において、本明細書においてランダムシーケンスと呼ばれることもある訓練データを解析エンジン１１０に提供するように構成された、訓練データソース１１２が存在する。他の実施形態において、ランダムシーケンスは、トリガ事象に応答して、解析サービスサーバ１１６もしくはクラウド１２０又はその両方によって生成される。
【００２３】
訓練データソース１１２及び解析エンジン１１０は、例として異なるプラットフォーム上に描かれているが、種々の実施形態において、訓練データソース１１２と学習サーバとを組み合わせることができることが理解されるであろう。他の実施形態において、これらのコンピューティング・プラットフォームは、クラウド１２０にホストされた仮想機械又はソフトウェアコンテナの形態の仮想コンピューティング・デバイスによって実装することもでき、これにより処理及びストレージのための弾力的なアーキテクチャが提供される。
例示的なブロック図
【００２４】
記号シーケンスの分類、クラスタ化、もしくは誤り検出又はそれらの組合せは、本明細書においてまとめてカテゴリ化と呼ばれ、その１つの難題は、データに関する有効な結論に達するのに十分な精度を達成することである。この点に関して、ここで例証的な実施形態に従うシーケンスデータの処理のためのシステムの概念的ブロック図２００である図２を参照する。図２の例において入力データ２０２で表される記号シーケンスは、必ずしも固定長であるとは限らず、異なるサブ構造を含んでもよいことが注目される。入力データ２０２は、限定ではなく単なる例として、ＤＮＡシーケンス２０４から２０６で表される。
【００２５】
サポートベクトルマシン（ＳＶＭ）、ロジスティック回帰、ニューラルネットワークなどのような従来の高度な機械学習技術は、入力データが可変長であることによって妨げられる場合がある。したがって、ストリング・シーケンス（例えば、２０４又は２０６）の特徴表現は、本明細書において機械学習２１４に適した特徴表現に変形され、これは後で詳細に検討する解析サーバプロバイダによって提供することができる。長さが非一様であってもよいターゲット・シーケンスの特徴表現２１２によって、バイオインフォマティクスにおけるＤＮＡ及びプロテイン配列の類似度の定量、神経言語プログラミング（ＮＬＰ）における自動スペル訂正、ユーザのシステムのシーケンスの異常検出、カーネル表現を用いたテキストカテゴリ化などを含む種々の用途における情報の処理が促進される。
【００２６】
記号シーケンスの分類及びクラスタ化における別の難題は、データ・セキュリティに関連する。実際、多くの用途は、２人以上の個人由来のセンシティブなデータが関与する計算を伴う。今日、ゲノムデータのプライバシーに関する懸念は、コンピュータサイエンスと医学と公益との岐路に立っている。例えば、ある個人が、自身のゲノムを異なる関係者グループのゲノムと比較して適切な治療を識別することを望む場合がある。こうした比較は、価値はあるかもしれないがプライバシーに関する懸念ゆえに禁止される場合がある。したがって、１つの実施形態において、本明細書において提供されるのは、データ所有者と解析サービス・プロバイダとの間の効果的なバリア２１０であり、これにより生のセンシティブな情報を二者間で送る必要がなくなる。
【００２７】
ここで、例証的な実施形態に従うシーケンスデータの処理のためのシステムの概念的ブロック図３００である図３を参照する。コンピューティング・デバイスは、ある所有者に帰属する生シーケンスデータ３０２を含む。コンピューティング・デバイスは、本明細書において生シーケンスデータのメタデータと呼ばれることがある生シーケンスデータの確率解析を行うように動作する、メタデータ・モジュール３０６を含む。例えば、メタデータ・モジュール３０６は、シーケンス内の文字（例えばアルファベット）を判定し、生シーケンスデータ内のアルファベットの各文字の頻度分布を判定することができる。
【００２８】
メタデータは、解析エンジン（例えば、図１の解析エンジン１１０と同様の）に送られる。注目すべきは、生シーケンスデータを解析エンジンと共有する必要がないことであり、この概念はウォールバリア３０８によって表される。
【００２９】
解析エンジンは、データ所有者から受け取った文字の分布に基づいて可変長さＤのＲ個のランダムシーケンスを生成するように動作するモジュール３１０を含む。Ｒ個のランダムシーケンスは、さらなる処理のためにデータ所有者のコンピューティング・デバイスに送られる。
【００３０】
データ所有者のコンピューティング・デバイスは、受け取ったＲ個のランダムシーケンスを用いることによって生シーケンスデータに対する特徴行列を計算するように構成されたモジュール３１４を有する。特徴行列Ｚは、サイズＮ×Ｒを有し、ここでＮは生シーケンスデータ内のストリングの数を表す。解析エンジンによるランダムシーケンスの生成及びその後の特徴行列Ｚの作成を、所定の条件に至るまで、例えば、所定の繰返し回数、最大帯域幅使用、もしくはカテゴリ化における所望の精度、又はそれらの組合せが得られるまで、繰り返すことができる。例えば、繰返しプロセスは、特徴行列の内積が閾値精度を有すようになるまで続く。別の言い方をすれば、モジュール３１０及び３１４は、閾値精度に達成するまで繰り返し動作することができる。特徴行列Ｚは、次に解析エンジンによって用いられ、適切なモジュール３１８を介して、分類、誤り検出、もしくはクラスタ化又はそれらの組合せが行われる。カーネル行列は、Ｋ＝Ｚ*ＺＴである。次いでこの結果を、適切な受け手、例えばデータ所有者のコンピューティング・デバイスに提供することができる。
サブ構造をカウントすることによる例示的なストリング・カーネル
【００３１】
１つの手法において、２つのストリングｘ，ｙ∈Ｘ間のカーネルｋ（ｘ，ｙ）は、ｘとｙとの間の共有サブ構造の数をカウントすることによって計算される。例えば、Ｓは、ｘ内の特定のサブ構造（例えば、サブシーケンス、サブストリング、又は単一文字）のインデックスの集合を表すものとし、Ｓ（ｘ）は、すべての可能なインデックス集合の集合であるとする。さらに、Ｕは、このようなサブ構造のすべての可能な値（例えば、文字）であるとする。ストリング・カーネルのファミリーは、次式１で定義することができる。
【数１】
2021522598.tif 000003
ここで
【数２】
2021522598.tif 000004
は、長さなどのＳの性質に従ってカウントを低減するγ（Ｓ）で重み付けされた、値ｕのｘにおけるサブ構造の数である。
【００３２】
例えば、バニラ・テキストのカーネルにおいて、Ｓは、文書ｘ内のワード位置を表し、Ｕはボキャブラリ集合を表す（γ（Ｓ）＝１）。
【００３３】
サブ構造をカウントするカーネルに関する１つの懸念は、対角優位性であり、その場合、カーネルのグラム行列の対角要素は非対角要素より有意に（例えば、しばしば桁のオーダーで）大きく、ほぼ恒等のカーネル行列を与える。なぜなら、ストリングは多数の共通サブ構造を自身と共有するからであり、この問題は、Ｓのより多くのサブ構造にわたる問題解決に対して、より甚大である。
例示的な編集距離置換カーネル
【００３４】
１つの手法において、ストリング・カーネルは、編集距離（レーベンシュタイン距離と呼ばれることもある）を用いて定義される。例えば、ｄ（ｉ，ｊ）が２つのサブストリング間のレーベンシュタイン距離（ＬＤ）ｄ（ｘ［１：ｉ］，ｙ［１：ｊ］）を表すものとする。この距離は、以下のように再帰的に定義することができる：
【数３】
2021522598.tif 000005
【００３５】
したがって、上記式２における距離は、ｘをｙにするための編集（すなわち、挿入、削除、又は置換）の最小数を与える。距離測度はメトリックとして知られ、すなわち、（ｉ）ｄ（ｘ，ｙ）≧０、（ｉｉ）ｄ（ｘ１，ｙ）＝ｄ（ｙ，ｘ）、（ｉｉｉ）ｄ（ｘ，ｙ）＝０⇔ｘ＝ｙ及び（ｉｖ）ｄ（ｘ，ｙ）＋ｄ（ｙ，ｘ３）≧ｄ（ｘ，ｘ３）を満たす。距離置換カーネルは、典型的なカーネル関数におけるユークリッド距離を新たな距離ｄ（ｘ，ｙ）で置き換える。例えば、ガウス及びラプラス動径基底関数（ＲＢＦ：Radial basis function）カーネルに対して、距離置換は、以下を与える：
【数４】
2021522598.tif 000006
【００３６】
上記式３及び式４に関する１つの懸念は、これらが編集距離について正定値（p.d.：positive-definite）ではないことである。したがって、式３及び式４によって表されるカーネルをサポートベクトルマシン（ＳＶＭ）などのカーネル法において使用することは、損失最小化問題に対応せず、非数値的手順は、非正定値カーネル行列が非凸最適化問題を生じるので最適解に収束しないことがある。
例示的な編集距離からのストリング・カーネルの決定
【００３７】
１つの実施形態において、記号シーケンスの分類は、シーケンス距離（編集距離と呼ぶこともある）決定による。距離関数を用いて、２つのシーケンス間の類似度を計測する。距離関数が決定されると、分類法を適用することができる。そのために、ストリング・カーネルは、編集距離を用いて正定値性を確立する。
【００３８】
例えば、結合長さＬのストリング、すなわちＸ∈ΣＬを考える。Ω∈ΣＬもまたストリングのドメインとし、ｐ（ω）：Ω→Ｒをランダムストリングω∈Ωのコレクション（collection）にわたる確率分布とする。提案するカーネルは、次式５によって定義される。
【数５】
2021522598.tif 000007
ここで、表現Φωは、入力シーケンスｘをランダムストリングωのコレクションに関して特徴値に変形する特徴関数である。
【００３９】
表現Φωを、次式６によって与えられる距離に直接設定することができる。
【数６】
2021522598.tif 000008
【００４０】
あるいは、表現Φωを、次式７で与えられる変形によって類似度測度に変換することができる。
【数７】
2021522598.tif 000009
【００４１】
後者のシナリオにおいて、距離Φωは、ソフトな距離置換カーネルと解釈することができる。「距離」を関数に代入する代わりに、次式８で与えられるように、式３は、カーネルの「ソフトバージョン」を代入する。
【数８】
2021522598.tif 000010
ここで
【数９】
2021522598.tif 000011
である。Ωは、非ゼロ確率（すなわちｐ（ω）＞０）のストリングのみを含むものとする。γ→∞のとき、
【数１０】
2021522598.tif 000012
であることに我々は注目する。
【００４２】
さらに、Ｘ⊆Ωである限り、三角不等式によって以下の表現を得る。
【数１１】
2021522598.tif 000013
【００４３】
したがって、γ→∞のとき、
【数１２】
2021522598.tif 000014
である。
【００４４】
上記式１１は、式８のカーネルと式４の距離置換カーネルとの間の比較を可能にする（極限の場合）。式４の距離置換カーネルとは異なり、式８の新規カーネルは、以下の表現
【数１３】
2021522598.tif 000015
により、式５の文脈において与えられるように、その定義により常に正定値であることが注目される。
例示的なランダムストリング埋込み（ＲＳＥ）の効率的な計算
【００４５】
式６及び式７のカーネルを定義したが、式５のカーネルに対する解の単純な解析形を提供することは有用であるだろう。以下のランダム特徴（ＲＦ）近似を用いて、カーネルを決定することができる：
【数１４】
2021522598.tif 000016
【００４６】
例えば、特徴ベクトルＺ（ｘ）は、相違点（dissimilarity）測度
【数１５】
2021522598.tif 000017
を用いて計算され、ここで
【数１６】
2021522598.tif 000018
は、分布ｐ（ω）から抽出した可変長さＤのランダムストリングの集合である。特に、関数φは、アライメントを通じて大域的性質を考慮する、任意の距離測度又は変換された類似度測度とすることができる。一般性を失うことなく、本発明者らは、ＬＤを我々の距離測度とみなす。ランダム近似は、本明細書においてランダムストリング埋込み（ＲＳＥ）と呼ばれる。
【００４７】
ここで、例証的な実施形態に従うＲＳＥのために用いられる教師なし特徴生成のアルゴリズム４００である図４を参照する。入力４０２は、以下の表現で特徴づけることができる。
【数１７】
2021522598.tif 000019
ここでＬは、元のシーケンスのストリングの長さであり、
ｘｉは、記号シーケンス（すなわち入力ストリング）であり、
Ｎは入力ストリングの数である。
【００４８】
ランダムストリングの最大長さはＤｍａｘであり、ストリング埋込みサイズＲを有する（特徴行列）。Ｒは、ランダムシーケンスの数でもあることが注目される。出力４０６は、サイズＺＮ×Ｒを有する特徴行列である。図４のＲＳＥがストリング埋め込みのための教師なし特徴生成法であることによって、分類に加えて種々の機械学習タスクで用いられるフレキシビリティが提供される。ハイパーパラメータＤｍａｘは、式６及び式７の両方のカーネルに対するものである。ハイパーパラメータγは、「ソフトバージョン」ＬＤ距離を特徴として用いる式７のカーネルに対するものである。例えば、ランダムストリングの最大長さＤｍａｘの役割は、データに埋め込まれた高度に弁別的な特徴に対応する、元のストリングの最長セグメントを捉えることである。出願人は、これらの長いセグメントが、長い（例えば、Ｌ＞１０００）ストリングの大域的性質を捉えるために特に重要であることを実験で確認した。
【００４９】
シナリオによっては、Ｄ（すなわち、ランダムシーケンスのストリングの長さ）の値に関する予備知識がない場合があるので、Ｄの各ランダムストリングを［１，Ｄｍａｘ］の範囲内でサンプリングして、不偏推定量を与える。いくつかの実施形態において、Ｄは定数である。出願人は、Ｄにとって、３０以下の値が解像度と計算の複雑さとの間の良好なバランスを提供するので理想的であることを確認した。さらに、表現的表示（expressive representation）を学習するためには、高品質のランダムストリングの集合を生成することが適切であり、このことは後のセクションで詳述する。
【００５０】
本明細書で検討するＲＳＥ法に関する１つの態様は、ＲＳＥが、ストリングの数及びストリングの長さの両方で線形にスケール変化することに関する。２つのデータストリング間のＬＤの典型的な評価は、これら２つのデータストリングがほぼ等しい長さＬを有するという条件でＯ（Ｌ２）であることが注目される。本発明者らのＲＳＥを用いると、ＬＤの計算コストをＯ（ＬＤ）まで劇的に低減することができ、ここでＤは図４のアルゴリズム４００において定数として扱われる。この計算効率における改善は、本明細書において記号シーケンスと呼ばれることもある元のストリングの長さが長い場合に特に顕著である。シーケンスの長さは、その用途に依存したものであることが理解されるであろう。例えば、たんぱく質配列の長さは、１００から１０，０００、さらにはもっと長い場合がある。
【００５１】
例えば、普及している既存のストリング・カーネルの大部分はまた、ストリングの数に関して二次の複雑さを有しているので、大きいデータのスケールは非現実的ものとなる。対照的に、本明細書で検討するＲＳＥは、完全なカーネル行列を構築する代わりに行列を埋め込むことによって、サンプルの数に関して複雑さを二次から線形に低減する。したがって、１つ実施形態において、本明細書で検討するＲＳＥの全体としての計算の複雑さは、Ｄが定数として取り扱われる場合、アルファベットのサイズに関係なくＯ（ＮＲＬ）である。
【００５２】
ＲＳＥの有効性に対する要因は、どのようにして高品質のランダムストリングの集合を作成するかということである。この点に関して、本明細書において４つの異なるサンプリング戦略を検討し、データ非依存性分布及びデータ依存性分布の両方から導かれるリッチな特徴空間を提供する。この点に関して、図５は、例証的な実施形態に従う、異なる例示的なサンプリング戦略の態様をまとめたアルゴリズム５００（すなわち第２のアルゴリズム）である。入力５０２は、上記式１４と同様に特徴づけることができる。出力５０６は、ランダムストリングωｉを含む。
【００５３】
第１のサンプリング戦略は、ＲＦ法に基づくものであ、この場合、事前定義されたカーネル関数に関連付けられた分布が見いだされる。しかしながら、カーネル関数は、明示的な分布によって定義されるので、シーケンスデータに適合し得る任意の適切な分布を使用するフレキシビリティがある。この目的で、１つの実施形態において、一様分布を用いて、シーケンスデータの対象アルファベットにおける文字の真の分布を表す。このサンプリング手法を、本明細書においてＲＳＥ（ＲＦ）と呼ぶ。
【００５４】
別の実施形態において、既存の分布を用いる代わりに、第２のサンプリング戦略を反映して、データストリング（すなわちシーケンスデータ）内に出現する対象アルファベットに対して各文字のヒストグラムが計算される。学習されたヒストグラムは、真の確率分布に対する偏りのある推定量である。本発明者らは、このサンプリングスキームをＲＳＥ（ＲＦＤ）と呼ぶ。これら２つのサンプリング戦略は、本質的に、対応するアルファベットの低レベル文字からどのようにランダムストリングを生成するかを考慮する。データ依存性分布は、より良好な汎化誤差をもたらすことができる。
【００５５】
したがって、ここで検討する上記の２つのデータ依存性サンプリング手法は、ランダムストリングを生成するように構成される。１つの実施形態（すなわち、第３の手法）において、大きい汎化誤差に至ることがある全データシーケンスを用いる既知の技術とは異なり、可変長のセグメント（例えばサブストリング）が元のストリングからサンプリングされる。サブストリングが長すぎる又は短すぎると、ノイズ、又は真のデータ分布に関して不十分な情報のいずれかを伝えることになりかねない。したがって、ランダムストリングの長さは、一様にサンプリングされる。本発明者らは、このサンプリング手法をＲＳＥ（ＳＳ）と呼ぶ。
【００５６】
１つの実施形態において、よりランダムなストリングを１回のサンプリング期間内でサンプリングするために、元のストリングをサブストリングのいくつかのブロックに分割し、あるいくつかの数のこれらのブロックをランダムストリングとして一様にサンプリングする。この実施形態（すなわち第４の手法）では、複数のランダムストリングをサンプリングし、これらを１つの長いストリングとして連結しないことに留意されたい。この手法は、ＬＤを用いて元のストリングとランダムストリングとを比較する場合のより多くの計算を代償として、弁別的特徴の学習を促進する。本発明者らは、この手法をＲＳＥ（ＢＳＳ）と呼ぶ。
収束解析
【００５７】
１つの実施形態において、上記式５で表されるカーネルは解析形を有さず、式１３で与えられるようにサンプリング近似のみを有するので、式１３において正確な近似を得るにはいくつのランダム特徴が適切であるかを知ることは妥当であろう。このような精度が訓練データを超えてストリングに対して一般化するのかどうかを知ることもまた妥当であろう。本発明者らは、これらの問いに、次式１５で与えられる定理を通して答える。
【数１８】
2021522598.tif 000020
【００５８】
ΔＲ（ｘ，ｙ）は、式５の厳密なカーネル（exact kernel）と、そのＲ個のサンプルによる式１３のランダム特徴近似との間の差を表す。ＫＲ（ｘ，ｙ）は、特徴行列の内積である。一様収束は、次式１６で与えられる。
【数１９】
2021522598.tif 000021
ここでＬはＸにおけるストリングの長さの限界（bound）であり、
｜Σ｜はアルファベットのサイズである。
【００５９】
したがって、少なくとも１−δの確率で｜ΔＲ（ｘ，ｙ）｜≦εをもたらすには、以下の数Ｒのランダムシーケンスがあれば十分である。
【数２０】
2021522598.tif 000022
【００６０】
それゆえ、定理１は、任意の２つのストリングｘ，ｙ∈Ｘに対して、対数係数まで
【数２１】
2021522598.tif 000023
である限り、誤差がε未満のカーネル近似を提供することができることを説明する。
例示的なＲＳＥのバリアント
【００６１】
上述のように、２つの異なる大域的ストリング・カーネルと４つの異なるランダムストリング生成手法とがあり、結果として８つの異なる組合せのＲＳＥが得られる。この点に関して、図６は、これら８つの異なるＲＳＥのバリアント間の分類精度についての比較を提示する表を示す。
【００６２】
ＲＳＥ（ＲＦ−ＤＦ）バリアント６１０は、各文字の事前定義された分布を用いたランダム特徴（Random Features）を組み合わせて、式６で与えられる直接ＬＤ距離を伴うランダムストリングを生成する。ＲＳＥ（ＲＦ−ＳＦ）バリアント６１２は、各文字の事前定義された分布を用いたランダム特徴を組み合わせて、式７で与えられるソフトバージョンのＬＤ距離を伴うランダムストリングを与える。ＲＳＥ（ＲＦＤ−ＤＦ）バリアント６１４は、ＲＳＥ（ＲＦ−ＤＦ）バリアント６１０と類似であり、ランダムストリングを生成するためにデータセットからの各文字の分布を計算し、式６の特徴のような直接ＬＤ距離を用いる。ＲＳＥ（ＲＦＤ−ＳＦ）バリアント６１６は、ＲＳＥ（ＲＦ−ＳＦ）バリアント６１２と類似であり、ランダムストリングを生成するためにデータセットからの各文字の分布を計算し、式７の特徴のようなソフトバージョンのＬＤ距離を用いる。
【００６３】
ＲＳＥ（ＳＳ−ＤＦ）バリアント６１８は、データセットから生成されたデータ依存性サブストリングを組み合わせ、式６の特徴のような直接ＬＤ距離を伴う。ＲＳＥ（ＳＳ−ＳＦ）バリアント６２０は、データセットから生成されたデータ依存性サブストリングを組み合わせ、式７の特徴のようなソフトＬＤ距離を伴う。ＲＳＥ（ＢＳＳ−ＤＦ）バリアント６２２は、ＲＳＥ（ＳＳ−ＤＦ）バリアント６１８と類似であり、データ依存性分布からサブストリングのブロックを生成し、式６の特徴のような直接ＬＤ距離を用いる。ＲＳＥ（ＢＳＳ−ＳＦ）バリアント６２４は、ＲＳＥ（ＳＳ−ＳＦ）バリアント６２０と類似であり、データ依存性分布からサブストリングのブロックを生成し、式７の特徴のようなソフトバージョンＬＤ距離を用いる。
【００６４】
ここで、ＲＳＥの精度を他の既知のストリング分類方法に対して比較した表７００を示す図７を参照する。既知の方法は、サブシステム・ストリング・カーネル（ＳＳＫ）７１２、近似不一致ストリング・カーネル（ＡＳＫ）７１４、長・短期記憶（ＬＳＴＭ）７１６、及び正規化線形ユニット（rectified linear unit）を含むＲＮＮ（ｉＲＮＮ）７１８を用いたシンプルであるがエレガントな解を含む。表７００における「−」は、ＳＳＫ法及びＡＳＫ法がメモリ不足（ワークステーション上に５１２Ｇを有する例示的なシステムにおいて）であることを示すことに留意されたい。
【００６５】
有意に、表７００は、本明細書で検討するＲＳＥ手法７１０が分類精度に関してベースライン７１２から７１８を性能で上回るか又は匹敵することができ、その一方で同じ又はより良い精度を達成するのに用いられる計算時間はより短いことを示す。例えば、ＲＳＥ手法７１０は、ＳＳＫ７１２及びＡＳＫ７１４よりも実質的に良好に、しばしば大きいマージンで（すなわち、ＲＳＥ７１０は、３つのたんぱく質データセットにおいてＳＳＫ７１２及びＡＳＫ７１４より２５％〜３３％高い精度を達成する）機能する。なぜなら、（ｋ，ｍ）不一致ストリング・カーネルは、長いストリングに対してセンシティブであり、それはしばしば短いサブストリング（ｋ−ｍｅｒ）の特徴空間サイズを指数関数的に増大させ、対角優位の問題をもたらすからである。
【００６６】
より重要なことに、元のストリングから抽出された小さいサブストリングのみを用いると、結果として本来的に局所的な捉え方になり、ストリングの大域的性質を捉え損ねることになりかねない。さらに、同じ精度を達成するのに、ＲＳＥ７１０のランタイムをＳＳＫ７１２及びＡＳＫ７１４のランタイムよりも有意に短くすることができる。例えば、データセットｓｕｐｅｒｆａｍｉｌｙの場合、ＲＳＥ７１０は、わずか３．７秒で精度４６.５６％に達することができるが、ＳＳＫ７１２及びＡＳＫ７１４は、同様の精度４４．６３％及び４４．７９％に達するのにそれぞれ１４０．０秒及び２５７．０秒を要する。
【００６７】
さらに、表７００は、ＲＳＥ７１０が、全部で９個のデータセットのうちの７個で（例えば、ｄｎａ３−ｃｌａｓｓ３及びｍｎｉｓｔ−ｓｔｒ８を除いて）ＬＳＴＭ７１６及びｉＲＮＮ７１８より高い精度を達成することを示す。表７００は、両モデル（すなわちＬＳＴＭ７１６及びｉＲＮＮ７１８）がデータセットを直接テストしたときの最高精度を含むことが注目され、そのことにより、これらのモデルがｍｎｉｓｔ−ｓｔｒ８に対して好適な数を示す理由を説明することができる。ＬＳＴＭ７１６のモデルパラメータはｉＲＮＮ７１８よりかなり大きいので、ＬＳＴＭ７１６は、より高い計算コストを代償として、一般にｉＲＮＮと比べてより良好な性能を有する。しかしながら、これらのモデルは両方とも、ＲＳＥよりも達成する分類精度が低い一方で実質的に長い時間を要することが多く、本明細書で検討した我々のＲＳＥ７１０の有効性及び効率を際立たせる。
例示的なＲＳＥのスケーラビリティ
【００６８】
従来の記号シーケンス分類及びクラスタ化システムが直面する難題はスケーラビリティである。例えば、従来のシステムにおいて、異なる記号シーケンスの距離又は類似度スコアを計算するために、編集距離（レーベンシュタイン距離と呼ばれることもある）などの距離関数を用いる場合がある。しかしながら、このような手法は、計算が複雑であるので、計算を実行するコンピューティング・デバイス上での計算が効率的ではない。
【００６９】
したがって、１つの態様において、本明細書で検討するＲＳＥは、ストリングの数Ｎが増大すると線形にスケール変化する。この点に関して、図８（Ａ）及び図８（Ｂ）は、ランダムに生成されたストリングデータセットに対して、それぞれストリングの数Ｎ及びストリングの長さＬを変化させて、ＲＳＥのスケーラビリティを示す。この実験において、それぞれ、ストリングの数は、Ｎ＝[１２８，１３１０７２］の範囲で変更され、ストリングの長さは、Ｌ＝［１２８，８１９２］の範囲で変更される。ランダムストリング・データセットを作成するとき、そのアルファベットは、そのたんぱく質ストリングと同じになるように選択される。さらに、ＲＳＥに関連したハイパーパラメータについて、Ｄｍａｘ＝１０及びＲ＝２５６である。図８（Ａ）及び図８（Ｂ）は、８１４Ａ及び８１４Ｂにおいて、我々の方法ＲＳＥの４つのバリアントを用いてストリング埋込みを計算するためのランタイムを提示する。
【００７０】
図８（Ａ）に示すように、ＲＳＥは、ストリングの数が増大すると線形にスケール変化し、これは我々の事前のコンピュータ解析を裏付ける。第２に、図８（Ｂ）は、ＲＳＥがストリングの長さＬに関しても線形のスケーラビリティを達成することを実験的に確証する。したがって、本明細書で検討するストリング・カーネルから導かれたＲＳＥは、ストリングサンプルの数及びストリングの長さの両方において線形にスケール変化する。このことは、実世界の大規模ストリングデータに対してより高い精度及び線形スケーラビリティの両方に恵まれた、ストリング・カーネルの新たなファミリーを開発することを容易にする。
例示的なプロセス
【００７１】
前述の例示的なアーキテクチャ１００の概要、ブロック図、及び解析手法を用いて、ここで例示的なプロセスの高レベルの検討を考察することが有用であろう。この目的で、図９及び図１０は、それぞれ、例証的な実施形態に従う、ランダムシーケンス埋込みを用いた効率的な記号シーケンス解析のためのコールフロープロセス９００及び１０００を提示する。
【００７２】
コールフロー９００及び１０００は、論理フローチャートにおけるプロセスの集まりとして描かれており、各々が、ハードウェア、ソフトウェア、又はそれらの組合せで実装できる動作のシーケンスを表す。ソフトウェアの文脈において、プロセスは、１つ又は複数のプロセッサで実行されたときに、列挙された動作を行うコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、機能を実行する又は抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含むことができる。動作が記載されている順序は、限定として解釈されることを意図したものではなく、任意の数の記載したプロセスを任意の順序で組み合わせて及び／又は並列に実行して、プロセスを実装することができる。議論の目的で、プロセス９００及び１０００を図１のアーキテクチャ１００を参照して説明する。
【００７３】
ステップ９０２において、記号シーケンスの所有者（すなわち、データ所有者のコンピューティング・デバイス１０２）は、生の記号シーケンスに基づいてメタデータを作成する。１つの実施形態において、メタデータは、生の記号シーケンスの文字（例えばアルファベット）の確率分布を含む。
【００７４】
ステップ９０６において、解析サービスサーバ１１６の解析エンジン１１０は、記号シーケンスのメタデータをデータ所有者のコンピューティング・デバイス１０２から受け取る。１つの実施形態において、メタデータは、解析サーバのレポジトリに格納される。
【００７５】
ステップ９１０において、解析エンジン１１０は、受け取ったメタデータに基づいてＲ個のランダムシーケンスを生成する。例えば、Ｒ個のランダムシーケンスの集合は、シーケンスの文字の確率分布に基づくものとすることができる。１つの実施形態において、受け取ったメタデータ情報に基づいてＲ個のランダムシーケンスを生成することは、Ｒ個のランダムシーケンスの各々に対して、ランダムシーケンスの長さＤを一様にサンプリングして、生の記号シーケンスのアライメントを捉えることを含む。各ランダムシーケンスＲの長さＤは，ＤｍｉｎからＤｍａｘまでであり、ここでＤｍｉｎ。
【００７６】
ステップ９１４において、Ｒ個のランダムシーケンスは、さらなる処理のためにデータ所有者のコンピューティング・デバイス１０２に送られる。
【００７７】
ステップ９１８において、コンピューティング・デバイス１０２は、受け取ったＲ個のランダムシーケンスに基づいて特徴行列Ｚを決定する。例えば、コンピューティング・デバイス１０２は、ランダムシーケンスと生の記号シーケンスとの間のレーベンシュタイン距離（ＬＤ）によって特徴行列を決定することができる。
【００７８】
ステップ９２２において、解析エンジン１１０は、コンピューティング・デバイス１０２から特徴行列Ｚを受け取る。
【００７９】
ステップ９２６において、解析エンジン１１０は、コンピューティング・デバイス１０２から受け取った特徴行列Ｚの精度を判定する。特徴行列Ｚが閾値精度を下回った場合、ステップ９１０から９２２までが繰り返される。この繰返しプロセスは、受け取った特徴行列が閾値精度以上であると解析エンジン１１０が判定するまで続く。閾値精度が達成されたと判定されると、特徴行列は、大域的特徴行列として識別され、種々の機械学習技術を用いてカテゴリ化される。種々の実施形態において、機械学習は、教師なし又は半教師ありとすることができる。本明細書において用いられる場合、カテゴリ化は、機械学習による、分類、クラスタ化、及び異常検出のうちの少なくとも１つを含む。
【００８０】
ステップ９３０において、分類された大域的特徴行列は、データ所有者のコンピューティング・デバイス１０２に送られ、そこで結果をそのユーザインタフェース上で表示することができる。
【００８１】
ここで、例証的な実施形態に従う、データ所有者がメタデータを解析エンジンに提供しないプロセスフロー１０００である図１０を参照する。その代わり、ステップ１００６において、記号シーケンスの所有者（すなわち、データ所有者のコンピューティング・デバイス１０２）は、データ解析の要求を解析サービスサーバ１１６の解析エンジン１１０に送る。
【００８２】
ステップ１００８において、解析エンジン１１０は、データ所有者１０２のシーケンスデータを表すためにランダム分布を決定する。１つの実施形態において、分布は一様分布である。言い換えれば、データ所有者の生の記号シーケンスの文字の確率分布を表す、本明細書では人工メタデータと呼ばれる人工分布が作成される。
【００８３】
ステップ１０１０において、解析エンジン１１０は、人工メタデータに基づいてＲ個のランダムシーケンスを生成する。例えば、Ｒ個のランダムシーケンスの集合は、人工メタデータにおいて提供されるシーケンスの文字の確率分布に基づくものとすることができる。各ランダムシーケンスの長さＤは，ＤｍｉｎからＤｍａｘまでであり、ここでＤｍｉｎ≧１かつＤｍａｘ≦２０である。
【００８４】
ステップ１０１４において、Ｒ個のランダムシーケンスは、さらなる処理のためにデータ所有者のコンピューティング・デバイス１０２に送られる。
【００８５】
ステップ１０１８において、コンピューティング・デバイス１０２は、受け取ったＲ個のランダムシーケンスに基づいて特徴行列Ｚを決定する。例えば、コンピューティング・デバイス１０２は、ランダムシーケンスと生の記号シーケンスとの間のレーベンシュタイン距離（ＬＤ）によって、特徴行列を決定することができる。
【００８６】
ステップ１０２２において、解析エンジン１１０は、コンピューティング・デバイス１０２から特徴行列Ｚを受け取る。
【００８７】
ステップ１０２６において、解析エンジン１１０は、コンピューティング・デバイス１０２から受け取った特徴行列Ｚの精度を判定する。特徴行列Ｚが閾値精度を下回った場合、ステップ１００８から１０２２までが繰り返される。この繰返しプロセスは、解析エンジン１１０が、受け取った特徴行列が閾値精度以上であると判定するまで続く。閾値精度が達成されたと判定されると、特徴行列は、大域的特徴行列として識別され、種々の機械学習技術を用いてカテゴリ化される。
【００８８】
ステップ１０３０において、分類された大域的特徴行列は、データ所有者のコンピューティング・デバイス１０２に送られる。
【００８９】
本明細書で検討するシステム及びプロセスによって、生の記号シーケンスデータのプライバシーは、二者システム（two-party system）を通じて保護される。カーネル行列の計算に関連したメモリ消費をＯ（ＮＬ＋Ｎ＾２）からＯ（ＮＲ）まで低減することができ、Ｒ＜＜Ｎである。さらに、カーネル又は類似度行列を計算する計算の複雑さが有意に低減される。例えば、編集距離をＯ（Ｎ＾２Ｌ＾２）からＯ（ＮＲＬＤ）まで低減することができ、Ｒ＜＜Ｎ、Ｄ＜＜Ｌである。さらにまた、学習された特徴表現に基づく種々の機械学習分類器及びクラスタ化技術を用いることができ、これにより既知の分類技術に対して改善された性能が達成される。
例示的なコンピュータプラットフォーム
【００９０】
上述のように、ランダムシーケンス埋込みを用いる効率的な記号シーケンスに関連した機能は、図１に示すように、無線又は優先通信を介したデータ通信用に接続された１つ又は複数のコンピューティング・デバイスで実行することができる。図１１は、訓練入力データソース、クラウドなどのような種々のネットワーク・コンポーネントと通信することができるコンピュータハードウェアプラットフォームの機能ブロック図である。具体的には、図１１は、図１の解析サービスサーバ１１６などのサーバを実装するために用いることができるような、ネットワークまたはホストコンピュータプラットフォーム１１００を示す。
【００９１】
コンピュータプラットフォーム１１００は、中央処理ユニット（ＣＰＵ）１１０４、ハードディスクドライブ（ＨＤＤ）１１０６、ランダムアクセスメモリ（ＲＡＭ）及び／又は読み出し専用メモリ（ＲＯＭ）１１０８、キーボード１１１０、マウス１１１２、ディスプレイ１１１４、及び通信インタフェース１１１６を含むことができ、これらはシステムバス１１０２に接続される。
【００９２】
１つの実施形態において、ＨＤＤ１１０６は、本明細書で説明した方式で解析エンジン１１４０などの種々のプロセスを実行することができるプログラムを格納することを含む機能を有する。解析エンジン１１４０は、異なる機能を実施するように構成された種々のモジュールを有することができる。例えば、１つ又は複数のコンピューティング・デバイスと対話して、メタデータなどのデータ、特徴行列、及びシーケンスデータの所有者からの要求を受け取るように動作する対話モジュール１１４２が存在してもよい。対話モジュール１１４２は、本明細書で検討するように、訓練データソースから訓練データを受け取るように動作することもできる。
【００９３】
１つの実施形態において、データの所有者のコンピューティング・デバイスによって提供されるメタデータ又は解析エンジンによって生成されるもしくは訓練入力データソースからの人工メタデータに基づいてＲ個のランダムシーケンスを生成するように動作する、ランダムシーケンスモジュール１１４４がある。
【００９４】
１つの実施形態において、計算リソースを節約しながら、範囲［１，Ｄｍａｘ］のＤの各ランダムストリングをサンプリングして、各ランダムストリングＤの不偏分散量を与えるように動作するサンプリングモジュール１１４６がある
【００９５】
１つの実施形態において、データ所有者のコンピューティング・デバイスから受け取った特徴行列Ｚの精度を判定するように動作する精度モジュール１１４８がある。特徴行列Ｚが閾値精度を下回る場合、受け取った特徴行列が閾値精度以上であると解析エンジン１１４０の精度モジュール１４８が判定するまで、繰返しプロセスが続く。
【００９６】
１つの実施形態において、決定された特徴行列に基づいて（ｉ）分類、（ｉｉ）クラスタ化、及び（ｉｉｉ）異常検出のうちの少なくとも１つを実施するように動作するカテゴリ化モジュール１１５０がある。
【００９７】
１つの実施形態において、決定された特徴行列に対して、サポートベクトルマシン（ＳＶＭ）、ロジスティック回帰、ニューラルネットワークなどのような１つ又は複数の機械学習技術を行うように動作する機械学習モジュール１１５６がある。
【００９８】
１つの実施形態において、システムをウェブサーバとして動作させるために、Ａｐａｃｈｅ（商標）などのプログラムを格納することができる。１つの実施形態において、ＨＤＤ１１０６は、ＪＶＭ（Ｊａｖａ（商標）仮想マシン）を実現するためのＪａｖａ（商標）Ｒｕｎｔｉｍｅ  Ｅｎｖｉｒｏｎｍｅｎｔプログラム用のものなど、１つ又は複数のライブラリソフトウェア・モジュールを含む実行アプリケーションを格納することができる。
例示的なクラウドプラットフォーム
【００９９】
上述のように、ランダムシーケンス埋込みを用いた効率的な記号シーケンス解析に関連した機能は、クラウド２００（図１参照）を含んでもよい。本開示はクラウド・コンピューティングについての詳細な説明を含むが、本明細書に記載される教示の実施は、クラウド・コンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在既知の又は後で開発される他のあらゆるタイプのコンピューティング環境と共に実施することができる。
【０１００】
クラウド・コンピューティングは、最小限の管理労力又はサービス・プロバイダとの対話で迅速にプロビジョニング及び解放することができる構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス）の共有プールへの、便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス配信のモデルである。
このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、及び少なくとも４つのデプロイメント・モデルを含むことができる。
【０１０１】
特徴は、以下の通りである。
オンデマンド・セルフサービス：クラウド・コンシューマは、必要に応じて、サーバ時間及びネットワーク・ストレージ等のコンピューティング機能を、人間がサービスのプロバイダと対話する必要なく自動的に、一方的にプロビジョニングすることができる。広範なネットワーク・アクセス：機能は、ネットワーク上で利用可能であり、異種のシン又はシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、及びＰＤＡ）による使用を促進する標準的な機構を通じてアクセスされる。
リソース・プール化：プロバイダのコンピューティング・リソースは、マルチ・テナント・モデルを用いて、複数のコンシューマにサービスを提供するためにプールされ、異なる物理及び仮想リソースが要求に応じて動的に割り当て及び再割り当てされる。コンシューマは、一般に、提供されるリソースの正確な位置についての制御又は知識を持たないという点で位置とは独立しているといえるが、より抽象化レベルの高い位置（例えば、国、州、又はデータセンタ）を特定できる場合がある。
迅速な弾力性：機能を、迅速かつ弾力的に、場合によっては自動的に、プロビジョニングしてすばやくスケールアウトし、迅速に解放して素早くスケールインすることができる。コンシューマにとって、プロビジョニングに利用可能な機能は、多くの場合、無制限であるように見え、いつでもどんな量でも購入できる。
計測されるサービス：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、及びアクティブなユーザ・アカウント）に適した何らかの抽象化レベルでの計量機能を用いることによって、リソースの使用を自動的に制御及び最適化する。リソース使用を監視し、制御し、報告して、利用されるサービスのプロバイダとコンシューマの両方に対して透明性をもたらすことができる。
【０１０２】
サービス・モデルは以下の通りである。
Ｓｏｆｔｗａｒｅ  ａｓ  ａ  Ｓｅｒｖｉｃｅ（ＳａａＳ）：コンシューマに提供される機能は、クラウド・インフラストラクチャ上で動作するプロバイダのアプリケーションを使用することである。
これらのアプリケーションには、ウェブ・ブラウザ（例えば、ウェブ・ベースの電子メール）などのシン・クライアント・インターフェースを通じて、種々のクライアント・デバイスからアクセス可能である。コンシューマは、限定されたユーザ固有のアプリケーション構成設定を想定される例外として、ネットワーク、サーバ、オペレーティング・システム、ストレージ、又は個々のアプリケーション機能をも含めて、基礎をなすクラウド・インフラストラクチャを管理又は制御しない。
Ｐｌａｔｆｏｒｍ  ａｓ  ａ  Ｓｅｒｖｉｃｅ（ＰａａＳ）：コンシューマに提供される機能は、プロバイダによってサポートされるプログラミング言語及びツールを用いて生成された、コンシューマが作成又は取得したアプリケーションを、クラウド・インフラストラクチャ上にデプロイすることである。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、又はストレージを含む基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、デプロイされたアプリケーション、及び場合によってはアプリケーション・ホスティング環境構成に対する制御を有する。
Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ  ａｓ  ａ  Ｓｅｒｖｉｃｅ（ＩａａＳ）：コンシューマに提供される機能は、コンシューマが、オペレーティング・システム及びアプリケーションを含み得る任意のソフトウェアをデプロイして動作させることができる、処理、ストレージ、ネットワーク、及び他の基本的なコンピューティング・リソースをプロビジョニンングすることである。コンシューマは、基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションに対する制御、及び場合によってはネットワーク・コンポーネント（例えば、ホストのファイアウォール）選択に対する限定された制御を有する。
【０１０３】
デプロイメント・モデルは以下の通りである。
プライベート・クラウド：クラウド・インフラストラクチャは、ある組織のためだけに運営される。これは、その組織又は第三者によって管理することができ、オンプレミス又はオフプレミスに存在することができる。
コミュニティ・クラウド：クラウド・インフラストラクチャは、幾つかの組織によって共有され、共通の関心事項（例えば、ミッション、セキュリティ要件、ポリシー、及びコンプライアンス上の考慮事項）を有する特定のコミュニティをサポートする。これは、それらの組織又は第三者によって管理することができ、オンプレミス又はオフプレミスに存在することができる。
パブリック・クラウド：クラウド・インフラストラクチャは、一般公衆又は大規模な業界グループによって利用可能であり、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド：クラウド・インフラストラクチャは、固有のエンティティのままであるが、データ及びアプリケーションのポータビリティを可能にする標準化技術又は専用技術（例えば、クラウド間の負荷平衡のためのクラウド・バースティング）によって互いに結び付けられた、２つ以上のクラウド（プライベート、コミュニティ、又はパブリック）の組合せである。クラウド・コンピューティング環境は、サービス指向であり、ステートレス性、低結合性、モジュール性、及びセマンティック相互運用性に焦点を置く。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。
【０１０４】
ここで図１２を参照すると、例証的なクラウド・コンピューティング環境１２００が描かれている。図示されるように、クラウド・コンピューティング環境１２００は、例えば携帯情報端末（ＰＤＡ）又は携帯電話１２５４Ａ、デスクトップ・コンピュータ１２５４Ｂ、ラップトップ・コンピュータ１２５４Ｃ、及び／又は自動車コンピュータ・システム１２５４Ｎ等の、クラウド・コンシューマによって用いられるローカル・コンピューティング・デバイスが通信することができる１つ又は複数のクラウド・コンピューティング・ノード１２１０を含む。ノード１２１０は、互いに通信することができる。これらを物理的又は仮想的にグループ化（図示せず）して、上述のようなプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド若しくはハイブリッド・クラウド又はこれらの組合せ等の１つ又は複数のネットワークにすることができる。これにより、クラウド・コンピューティング環境１２５０は、クラウド・コンシューマがローカル・コンピューティング・デバイス上にリソースを保持する必要のないサービスとしてインフラストラクチャ、プラットフォーム及び／又はソフトウェアを提供することが可能になる。図１２に示されるコンピューティング・デバイス１２５４Ａ−Ｎのタイプは単なる例証であることが意図されており、コンピューティング・ノード１２１０及びクラウド・コンピューティング環境１２５０は、任意のタイプのネットワーク及び／又はネットワーク・アドレス指定可能な接続上で（例えば、ウェブ・ブラウザを用いて）、任意のタイプのコンピュータ化された装置と通信できることが理解される。
【０１０５】
ここで図１３を参照して、クラウド・コンピューティング環境１２５０(図１２）によって提供される機能抽象化層の組を示す。図１３に示されるコンポーネント、層及び機能は単なる例証を意図したものであり、本発明の実施形態はそれらに限定されないことを予め理解されたい。図示されるように、以下の層及び対応する機能が提供される。
【０１０６】
ハードウェア及びソフトウェア層１３６０は、ハードウェア及びソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム１３６１、ＲＩＳＣ（Reduced Instruction Set Computer（縮小命令セット・コンピュータ））アーキテクチャ・ベースのサーバ１３６２、サーバ１３６３、ブレードサーバ１３６４、ストレージデバイス１３６５、並びにネットワーク及びネットワーキング・コンポーネント１３６６を含む。いくつかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア１３６７及びデータベース・ソフトウェア１３６８を含む。
【０１０７】
仮想化層１３７０は、抽象層を提供し、この層により、仮想エンティティティの以下の例、すなわち、仮想サーバ１３７１、仮想ストレージ１３７２、仮想プライベート・ネットワークを含む仮想ネットワーク１３７３、仮想アプリケーション及びオペレーティング・システム１３７４、並びに仮想クライアント１３７５を提供することができる。
【０１０８】
一例において、管理層１３８０は、以下で説明される機能を提供することができる。リソース・プロビジョニング１３８１は、クラウド・コンピューティング環境内でタスクを行うために利用されるコンピューティング・リソース及び他のリソースの動的な調達を提供する。計量及び価格設定１３８２は、クラウド・コンピューティング環境内でリソースが利用されたときの費用追跡と、これらのリソースの消費に対する課金又は請求とを提供する。一例において、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含むことができる。セキュリティは、クラウド・コンシューマ及びタスクについての識別検証、並びにデータ及び他のリソースに対する保護を提供する。ユーザ・ポータル１３８３は、コンシューマ及びシステム管理者に対してクラウド・コンピューティング環境へのアクセスを提供する。サービスレベル管理１３８４は、必要なサービスレベルが満たされるようにクラウド・コンピューティング・リソースの割当て及び管理を提供する。
サービスレベル・アグリーメント（ＳＬＡ）計画及び履行１３８５は、ＳＬＡに従って将来的な必要性が予測されるクラウド・コンピューティング・リソースの事前配置及び調達を提供する。
【０１０９】
ワークロード層１３９０は、クラウド・コンピューティング環境を利用することができる機能の例を提供する。この層から提供することができるワークロード及び機能の例は、マッピング及びナビゲーション１３９１、ソフトウェア開発及びライフサイクル管理１３９２、仮想教室教育配信１３９３、データ解析処理１３９４、トランザクション処理１３９５、並びに本明細書で検討する記号シーケンス解析１３９６を含む。
結論
【０１１０】
本発明の種々の実施形態の説明は、例証の目的で提示したものであるが、網羅的であることも、又は開示された実施形態に限定することも意図しない。説明した実施形態の範囲から逸脱することなく、多くの修正及び変形が当業者には明らかであろう。本明細書で用いる用語は、実施形態の原理、実際的な用途、若しくは市場において見いだされる技術に優る技術的改善を最も良く説明するように、又は当業者が本明細書で開示される実施形態を理解することを可能にするように、選択されたものである。
【０１１１】
上記では、最良の状態及び／又は他の例であると考えられるものを説明してきたが、これに種々の修正を行うことができること、及び本明細書で開示される主題を種々の形態及び例において実施できること、並びに教示を多数の用途に適用することができ、そのうちのいくつかを本明細書において説明したに過ぎないことが理解される。以下の特許請求の範囲によって、本開示の真の範囲内のいずれか及びすべての用途、修正及び変形を特許請求することが意図される。
【０１１２】
本明細書において論じてきた構成要素、ステップ、特徴、目的、利益及び利点は、単なる例証である。これらの又はこれらに関連した議論はいずれも、保護の範囲を限定することを意図しない。本明細書において種々の利点を論じたが、必ずしもすべての実施形態がすべての利点を含むわけではないことが理解されるであろう。特段の断りがなければ、以下の特許請求の範囲を含めて本明細書において述べたすべての測定、値、格付け、位置、規模、サイズ、及び他の仕様は、近似であり、厳密なものではない。これらは、それらに関連した機能及びそれらが属する分野の慣例と矛盾しない、合理的な範囲を有することが意図される。
【０１１３】
多数の他の実施形態もまた企図される。これらは、より少ない、追加の、及び／又は異なる構成要素、ステップ、特徴、目的、利益及び利点を有する実施形態を含む。これらはまた、構成要素及び／又はステップが異なって配置された及び／又は異なった順序である実施形態も含む。
【０１１４】
本発明の態様は、本明細書において、本開示の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図もしくはブロック図又はその量オフを参照して説明される。フローチャート図もしくはブロック図又はその両方の各ブロック、並びにフローチャート図もしくはブロック図又はその両方のブロックの組合せは、コンピュータプログラム命令によって実装することができることが理解されるであろう。
【０１１５】
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を作り出すようにすることができる。
これらのコンピュータ可読プログラム命令を、コンピュータ、プログラム可能データ処理装置、もしくは他のデバイス又はそれらの組合せを特定の方式で機能させるように指示することができるコンピュータ可読ストレージ媒体内に格納し、それにより、その中に格納された命令を有するコンピュータ可読媒体が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロックにおいて指定された機能／動作の態様を実装する命令を含む製品を含むようにすることもできる。
【０１１６】
コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置又は他のデバイス上で行わせてコンピュータ実装のプロセスを生成し、それにより、コンピュータ、他のプログラム可能装置又は他のデバイス上で実行される命令が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロックにおいて指定された機能／動作を実装するようにすることもできる。
【０１１７】
図面内のフローチャート及びブロック図は、本開示の種々の実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。幾つかの代替的な実装において、ブロック内に記された機能は、図中に記された順序とは異なる順序で行われることがある。例えば、連続して示された２つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。
ブロック図もしくはフローチャート図又はその両方の各ブロック、及びブロック図もしくはフローチャート図又はその両方の中のブロックの組合せは、指定された機能又は動作を実行する専用ハードウェア・ベースのシステムによって実装することもでき、又は専用ハードウェアとコンピュータ命令との組合せを実行することもできることにも留意されたい。
【０１１８】
上記のことを例示的な実施形態と関連して説明したが、「例示的」という用語は、最良又は最適ではなく、単なる例を意味するに過ぎないことが理解される。直前に記述されていない限り、述べた又は示した事柄はいずれも、いかなる構成要素、ステップ、特徴、目的、利益、利点、又は均等物も、それが特許請求の範囲に記載されているかどうかにかかわらず、公共の用に供するものと解釈されることを意図せず、又はそのように解釈すべきではない。
【０１１９】
本明細書において用いられる用語及び表現は、特別な意味が本明細書で特段に述べられていない限り、それぞれの対応する調査及び研究の分野に関してそうした用語及び表現に合致した通常の意味を有することが理解されるであろう。第１及び第２などのような関係語（relational word）は、単に１つの実体又は動作を別の実体又は動作から区別するために用いられる場合があり、そのような実体又は動作間に現実にそのような関係性又は順序が存在することを必ずしも必要とするものではなく、それを含意するものでもない
「含む（comprise）」、「含んでいる（comprising）」、又は他のそれらのいかなる変形も、非排他的な含有をカバーすることが意図されているので、要素の列挙を含むプロセス、方法、物品又は装置は、それらの要素を含むのみならず、明示的に列挙されていない他の要素、又はそのようなプロセス、方法、物品又は装置に固有の他の要素もまた含み得る。「１つの（a 又は an）」が語頭に付された要素は、それ以上の制約がなければ、その要素を含むプロセス、方法、物品又は装置内に付加的に同一の要素が存在することを排除するものではない。
【０１２０】
「要約書」は、読者が技術的開示の本質を素早く把握することを可能にするために提供されるものである。要約書は、請求項の範囲又は意味を解釈する又は限定するために用いられることはないという理解のもとに提出される。さらに、上記の「詳細な説明」において、開示を簡素化する目的で、種々の実施形態において種々の特徴をまとめてグループ化している場合がある。この開示方法は、特許請求される実施形態が各請求項において明示的に記載された特徴より多くの特徴を有しているという意図を反映したものとして解釈されるべきものではない。むしろ、以下の特許請求の範囲が反映しているように、発明の主題は、単一の開示された実施形態のすべての特徴よりも少ないところに存する。それゆえ、以下の特許請求の範囲は、ここで「詳細な説明」に組み入れられ、各請求項は、別個に特許請求される主題として独立している。
【図１】
2021522598.tif 000024
【図２】
2021522598.tif 000025
【図３】
2021522598.tif 000026
【図４】
2021522598.tif 000027
【図５】
2021522598.tif 000028
【図６】
2021522598.tif 000029
【図７】
2021522598.tif 000030
【図８】
2021522598.tif 000031
【図９】
2021522598.tif 000032
【図１０】
2021522598.tif 000033
【図１１】
2021522598.tif 000034
【図１２】
2021522598.tif 000035
【図１３】
2021522598.tif 000036
【手続補正書】
【提出日】令和2年11月5日(2020.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データを解析するためのコンピューティング・デバイスであって、
プロセッサと、
前記プロセッサに結合してネットワーク上での通信を可能にするネットワークインタフェースと、
前記プロセッサに結合したストレージデバイスと、
前記ストレージデバイスに格納された解析エンジンと、
を含み、前記プロセッサによる前記解析エンジンの実行は、
ａ）記号シーケンスのメタデータを前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、
ｂ）受け取った前記メタデータに基づいてＲ個のランダムシーケンスの集合を生成することと、
ｃ）前記Ｒ個のランダムシーケンスの集合及び前記記号シーケンスに基づく特徴行列の計算のために、前記ネットワーク上で前記記号シーケンスの所有者のコンピューティング・デバイスに前記Ｒ個のランダムシーケンスの集合を送ることと、
ｄ）前記特徴行列を前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、
ｅ）前記特徴行列の内積が閾値精度を下回ると判定されると、ステップｂに戻ることと、
ｆ）前記特徴行列の内積が前記閾値以上であると判定されると、
前記特徴行列を大域的特徴行列として識別することと、
前記大域的特徴行列を機械学習に基づいてカテゴリ化することと、
カテゴリ化された大域的特徴行列を、前記記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送ることと、
を含む動作を行うように前記コンピューティング・デバイスを構成する、
コンピューティング・デバイス。
【請求項２】
前記メタデータは、前記記号シーケンスのアルファベットの確率分布を含む、請求項１に記載のコンピューティング・デバイス。
【請求項３】
前記Ｒ個のランダムシーケンスの集合は、前記記号シーケンスのアルファベットの前記確率分布に基づく、請求項２に記載のコンピューティング・デバイス。
【請求項４】
各ランダムシーケンスの長さは、ＤｍｉｎからＤｍａｘまでであり、ここでＤｍｉｎ≧１かつＤｍａｘ≦２０である、請求項２又は請求項３のいずれかに記載のコンピューティング・デバイス。
【請求項５】
受け取った前記メタデータに基づいてＲ個のランダムシーケンスの集合を生成することは、前記Ｒ個のランダムシーケンスの各々に対して、長さＤのランダムシーケンスを一様にサンプリングして、前記プロセッサによって処理されるデータの量を減らすことを含み、
前記Ｒ個のランダムシーケンスの集合を送ることは、サンプリングされた前記長さＤのランダムシーケンスからなる集合を送ることを含む、
請求項１から請求項４までのいずれかに記載のコンピューティング・デバイス。
【請求項６】
前記大域的特徴行列をカテゴリ化することは、分類、クラスタ化、及び異常検出のうちの少なくとも１つを含む、請求項１から請求項５までのいずれかに記載のコンピューティング・デバイス。
【請求項７】
前記記号シーケンスが前記解析エンジンのコンピューティング・デバイスに対して非公開に保たれる、請求項１から請求項６までのいずれかに記載のコンピューティング・デバイス。
【請求項８】
前記大域的特徴行列は、対角優位カーネル行列を導入することなく、カーネルの正定値性を維持する、請求項１から請求項７までのいずれかに記載のコンピューティング・デバイス。
【請求項９】
前記大域的特徴行列のカテゴリ化は、訓練サンプルの長さ及び数に対して線形の機械学習訓練コストを有する、請求項１から請求項８までのいずれかに記載のコンピューティング・デバイス。
【請求項１０】
記号シーケンスのメタデータを前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることは、
記号シーケンスの所有者のコンピューティング・デバイスからデータ解析の要求を受け取ることと、
前記記号シーケンスの所有者のコンピューティング・デバイスの記号シーケンスのアルファベットの確率分布を表す人工メタデータを作成することと、
を含む、請求項１から請求項９までのいずれかに記載のコンピューティング・デバイス。
【請求項１１】
データを解析するための方法であって、
ａ）記号シーケンスのメタデータを前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、
ｂ）受け取った前記メタデータに基づいてＲ個のランダムシーケンスの集合を生成することと、
ｃ）前記Ｒ個のランダムシーケンスの集合及び前記記号シーケンスに基づく特徴行列の計算のために、前記記号シーケンスの所有者のコンピューティング・デバイスに前記Ｒ個のランダムシーケンスの集合を送ることと、
ｄ）前記特徴行列を前記記号シーケンスの所有者のコンピューティング・デバイスから受け取ることと、
ｅ）前記特徴行列の内積が閾値精度を下回ると判定されると、ステップｂに戻ることと、
ｆ）前記特徴行列の内積が前記閾値以上であると判定されると、
前記特徴行列を大域的特徴行列として識別することと、
前記大域的特徴行列を機械学習に基づいてカテゴリ化することと、
カテゴリ化された大域的特徴行列を、前記記号シーケンスの所有者のコンピューティング・デバイスのユーザインタフェース上で表示させるために送ることと、
を含む、方法。
【請求項１２】
前記メタデータは、前記記号シーケンスのアルファベットの確率分布を含み、
前記Ｒ個のランダムシーケンスの集合は、前記記号シーケンスのアルファベットの前記確率分布に基づく、請求項１１に記載の方法。
【請求項１３】
受け取った前記メタデータに基づいてＲ個のランダムシーケンスの集合を生成することは、前記Ｒ個のランダムシーケンスの各々に対して、長さＤのランダムシーケンスを一様にサンプリングして、前記プロセッサによって処理されるデータの量を減らすことを含み、
前記Ｒ個のランダムシーケンスの集合を送ることは、サンプリングされた前記長さＤのランダムシーケンスからなる集合を送ることを含む、
請求項１１又は請求項１２のいずれかに記載の方法。
【請求項１４】
前記大域的特徴行列をカテゴリ化することは、分類、クラスタ化、及び異常検出のうちの少なくとも１つを含む、請求項１１から請求項１３のいずれかに記載の方法。
【請求項１５】
前記記号シーケンスが解析エンジンのコンピューティング・デバイスに対して非公開に保たれる、請求項１１から請求項１４のいずれかに記載の方法。
【請求項１６】
請求項１１から請求項１５までのいずれかに記載の方法をコンピュータに実行させるコンピュータプログラム。
【請求項１７】
請求項１６に記載のコンピュータプログラムを格納したコンピュータ可読ストレージ媒体。
【国際調査報告】
2021522598.tif 000037
2021522598.tif 000038
2021522598.tif 000039