(57)【要約】      （修正有）【課題】アクセス可能な機械学習バックエンドを提供する【解決手段】機械学習のための構成設定の推奨を生成する方法は、グラフを表現するデータセットを列挙するデータセットメニューの表示を指示し、データセット内の特徴をノード及びエッジに対応するものとして識別し、カテゴリ特徴値を数値にマッピングするためにローカル又はグローバルマッピングを選択する。さらに、分類モデルを訓練するためにローカル及びグローバルマッピング間の選択を示す構成設定の表示を指示し、選択した構成設定を取得し、選択した構成設定及びデータセットを機械学習バックエンドに提供する。そして、機械学習アルゴリズム、データセット及び選択された構成設定を利用して分類モデルを訓練する。【選択図】図８
2020061136.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のデータセットを列挙するデータセットメニューの、表示画面への表示を指示することであり、各データセットは１つ以上のグラフを表現し、１つ以上の特徴を含み、前記特徴の各々は対応する特徴値を含む、ことと、
１つ以上のデータセットのユーザ選択に応答して、前記データセット内の特徴を前記表現グラフ内のノード及びエッジに対応するものとして識別することと、
前記ノード及び前記エッジの前記特徴値のカテゴリ値を機械学習アルゴリズムによる使用のため数値ターゲット値にマッピングするために、ローカルマッピングスキーム又はグローバルマッピングスキームを選択することであり、前記ローカルマッピングスキームは異なるグラフにわたり一意値を利用し、ノード及びエッジに対して、前記ノード及び前記エッジの特徴値の分布が異なるグラフにわたり対応しないことに応じて選択され、前記グローバルマッピングスキームは異なるグラフにわたり同じ値を利用し、ノード及びエッジに対して、前記ノード及び前記エッジの前記特徴値の分布が異なるグラフにわたり対応することに応じて選択される、ことと、
前記データセットにより表現される前記グラフに基づいてグラフを分類するために、グラフ分類モデルを訓練するための１つ以上の構成設定の、前記表示画面への表示を指示することであり、前記構成設定は、前記ノード及び前記エッジの前記特徴値の前記カテゴリ値の各々について前記ローカルマッピングスキームと前記グローバルマッピングスキームとの間の前記選択を示す、ことと、
１つ以上の構成設定の表示の指示に応答して、ユーザからの選択された構成設定を取得することと、
前記選択された構成設定の取得に応答して、前記選択された構成設定及び前記データセットを機械学習バックエンドに提供することであり、前記機械学習バックエンドは、前記機械学習アルゴリズム、前記データセット、及び前記選択された構成設定を利用して前記グラフ分類モデルを訓練する、ことと、
を含む方法。
【請求項２】
前記ローカルマッピングスキーム又は前記グローバルマッピングスキームを選択することは、
各グラフについて前記特徴値のヒストグラムを生成することと、
前記ヒストグラムの各組み合わせについて、１−コサインに従い、組み合わせられたヒストグラムのセットに含まれる各特徴値間の距離（各グラフ内の特徴発生に対応する距離）を決定することと、
前記ヒストグラムにわたり前記特徴値の各々について平均類似度値を決定することであり、グローバルマッピングは、対応するノード又はエッジに対して、対応する特徴値の前記平均類似度値が類似度閾値より大きい場合に選択され、ローカルマッピングは、対応するノード又はエッジに対して、対応する平均類似度値が前記類似度閾値以下である場合に選択される、ことと、
を含む、請求項１に記載の方法。
【請求項３】
１つ以上のノード又は１つ以上のエッジに対してグローバルマッピングが選択されたことに応答して、当該方法は、
前記ヒストグラムにわたり一意特徴値の数を決定することと、
前記ヒストグラムにわたる前記一意特徴値の数が一意値閾値を超えているかどうかに基づいて、グローバルマッピングが利用される各ノード及びエッジについてデータ削減スキーム又は非データ削減スキームを選択することであり、前記データ削減スキームは、グローバルマッピングが利用される各ノード及びエッジに対応する特徴値の数を削減し、前記ヒストグラムにわたる前記一意特徴値の数が前記一意値閾値を超えていることに応じて選択され、前記非データ削減スキームは、グローバルマッピングが利用される各ノード及びエッジに対応する前記特徴値の数を削減せず、前記ヒストグラムにわたる前記一意特徴値の数が前記一意値閾値を超えていないことに応じて選択される、ことと、
をさらに含む、請求項２に記載の方法。
【請求項４】
前記ローカルマッピングスキーム又は前記グローバルマッピングスキームを選択することは、
前記データセット内の各特徴を確実な次元又は可能な次元のいずれかとして分類することと、
可能な次元及び確実な次元の各組み合わせについて相関値を決定することと、
各相関値を統計的有意性閾値と比較することであり、１つ以上の可能な次元が、対応する相関値が前記統計的有意性閾値以上である場合に前記確実な次元のラベルとして分類され、１つ以上の可能な次元が、対応する相関値が前記統計的有意性閾値より小さい場合に前記確実な次元として再分類される、ことと、
をさらに含む、請求項２に記載の方法。
【請求項５】
前記ローカルマッピングスキーム又は前記グローバルマッピングスキームを選択することは、確実な次元として分類された特徴に対応する前記特徴値と、確実な次元として再分類された可能な次元に対応する前記特徴値とを使用して実行される、請求項４に記載の方法。
【請求項６】
前記選択された構成設定は、表示されるよう指示された前記構成設定と異なる構成設定を含み、前記構成設定は、前記構成設定に関連づけられた選択可能要素を通じて手動構成可能である、請求項１に記載の方法。
【請求項７】
訓練部分及びテスト部分として分離するための前記データセットのパーセンテージを示すために選択可能な１つ以上の訓練及びテストのフィールド及び要素の、前記表示画面への表示を指示することと、
前記ユーザが１つ以上の要素を選択したことに応答して、選択された前記要素に基づいて、前記データセットを前記訓練部分及び前記テスト部分に分離することと、
をさらに含む請求項１に記載の方法。
【請求項８】
前記グラフ分類モデルの前記訓練の間に前記訓練部分により表現されるグラフが正しく識別された回数を示す混同行列の、前記表示画面への表示を指示すること、をさらに含む請求項７に記載の方法。
【請求項９】
前記機械学習バックエンドから機械学習データを受信することであり、前記機械学習データは、前記データセット及び前記選択された構成設定を使用する前記グラフ分類モデルの前記訓練の性能を示す、ことと、
前記グラフ分類モデルの前記訓練の間に前記データセットで表現されるグラフの分類を説明する機械学習結果の、前記表示画面への表示を指示することであり、前記機械学習結果は、前記機械学習データを人間が読めるフォーマットで表現する、ことと、
をさらに含む請求項１に記載の方法。
【請求項１０】
前記機械学習結果は、自然言語におけるテキスト表現、表形式表現、及び人間が読めるフォーマットにおけるグラフィカル表現、のうち少なくとも１つを含み、当該方法は、前記自然言語における前記テキスト表現、前記表形式表現、及び前記人間が読めるフォーマットにおける前記グラフィカル表現、のうち少なくとも１つの、前記表示画面への表示を指示することをさらに含む、請求項９に記載の方法。
【請求項１１】
システムであって、
命令を記憶するように構成された１つ以上のコンピュータ読取可能記憶媒体と、
前記１つ以上のコンピュータ読取可能記憶媒体に通信上結合され、前記命令の実行に応じて当該システムに１つ以上の構成設定の推奨を生成する動作を実行させる１つ以上のプロセッサと、
を含み、前記動作は、
１つ以上のデータセットを列挙するデータセットメニューの、表示画面への表示を指示することであり、各データセットは１つ以上のグラフを表現し、１つ以上の特徴を含み、前記特徴の各々は対応する特徴値を含む、ことと、
１つ以上のデータセットのユーザ選択に応答して、前記データセット内の特徴を前記表現グラフ内のノード及びエッジに対応するものとして識別することと、
前記ノード及び前記エッジの前記特徴値のカテゴリ値を機械学習アルゴリズムによる使用のため数値ターゲット値にマッピングするために、ローカルマッピングスキーム又はグローバルマッピングスキームを選択することであり、前記ローカルマッピングスキームは異なるグラフにわたり一意値を利用し、ノード及びエッジに対して、前記ノード及び前記エッジの特徴値の分布が異なるグラフにわたり対応しないことに応じて選択され、前記グローバルマッピングスキームは異なるグラフにわたり同じ値を利用し、ノード及びエッジに対して、前記ノード及び前記エッジの前記特徴値の分布が異なるグラフにわたり対応することに応じて選択される、ことと、
前記データセットにより表現される前記グラフに基づいてグラフを分類するために、グラフ分類モデルを訓練するための１つ以上の構成設定の、前記表示画面への表示を指示することであり、前記構成設定は、前記ノード及び前記エッジの前記特徴値の前記カテゴリ値の各々について前記ローカルマッピングスキームと前記グローバルマッピングスキームとの間の前記選択を示す、ことと、
前記１つ以上の構成設定の表示の指示に応答して、ユーザからの選択された構成設定を取得することと、
前記選択された構成設定の取得に応答して、前記選択された構成設定及び前記データセットを機械学習バックエンドに提供することであり、前記機械学習バックエンドは、前記機械学習アルゴリズム、前記データセット、及び前記選択された構成設定を利用して前記グラフ分類モデルを訓練する、ことと、
を含む、システム。
【請求項１２】
前記ローカルマッピングスキーム又は前記グローバルマッピングスキームを選択する前記動作は、
各グラフについて前記特徴値のヒストグラムを生成することと、
前記ヒストグラムの各組み合わせについて、１−コサインに従い、組み合わせられたヒストグラムのセットに含まれる各特徴値間の距離（各グラフ内の特徴発生に対応する距離）を決定することと、
前記ヒストグラムにわたり前記特徴値の各々について平均類似度値を決定することであり、グローバルマッピングは、対応するノード又はエッジに対して、対応する特徴値の前記平均類似度値が類似度閾値より大きい場合に選択され、ローカルマッピングは、対応するノード又はエッジに対して、対応する平均類似度値が前記類似度閾値以下である場合に選択される、ことと、
を含む、請求項１１に記載のシステム。
【請求項１３】
１つ以上のノード又は１つ以上のエッジに対してグローバルマッピングが選択されたことに応答して、前記動作は、
前記ヒストグラムにわたり一意特徴値の数を決定することと、
前記ヒストグラムにわたる前記一意特徴値の数が一意値閾値を超えているかどうかに基づいて、グローバルマッピングが利用される各ノード及びエッジについてデータ削減スキーム又は非データ削減スキームを選択することであり、前記データ削減スキームは、グローバルマッピングが利用される各ノード及びエッジに対応する特徴値の数を削減し、前記ヒストグラムにわたる前記一意特徴値の数が前記一意値閾値を超えていることに応じて選択され、前記非データ削減スキームは、グローバルマッピングが利用される各ノード及びエッジに対応する前記特徴値の数を削減せず、前記ヒストグラムにわたる前記一意特徴値の数が前記一意値閾値を超えていないことに応じて選択される、ことと、
をさらに含む、請求項１２に記載のシステム。
【請求項１４】
前記ローカルマッピングスキーム又は前記グローバルマッピングスキームを選択する前記動作は、
前記データセット内の各特徴を確実な次元又は可能な次元のいずれかとして分類することと、
可能な次元及び確実な次元の各組み合わせについて相関値を決定することと、
各相関値を統計的有意性閾値と比較することであり、１つ以上の可能な次元が、対応する相関値が前記統計的有意性閾値以上である場合に前記確実な次元のラベルとして分類され、１つ以上の可能な次元が、対応する相関値が前記統計的有意性閾値より小さい場合に前記確実な次元として再分類される、ことと、
をさらに含む、請求項１２に記載のシステム。
【請求項１５】
前記ローカルマッピングスキーム又は前記グローバルマッピングスキームを選択する前記動作は、確実な次元として分類された特徴に対応する前記特徴値と、確実な次元として再分類された可能な次元に対応する前記特徴値とを使用して実行される、請求項１４に記載のシステム。
【請求項１６】
前記選択された構成設定は、表示されるよう指示された前記構成設定と異なる構成設定を含み、前記構成設定は、前記構成設定に関連づけられた選択可能要素を通じて手動構成可能である、請求項１１に記載のシステム。
【請求項１７】
前記動作は、
訓練部分及びテスト部分として分離するための前記データセットのパーセンテージを示すために選択可能な１つ以上の訓練及びテストのフィールド及び要素の、前記表示画面への表示を指示することと、
前記ユーザが１つ以上の要素を選択したことに応答して、選択された前記要素に基づいて、前記データセットを前記訓練部分及び前記テスト部分に分離することと、
をさらに含む、請求項１１に記載のシステム。
【請求項１８】
前記動作は、前記グラフ分類モデルの前記訓練の間に前記訓練部分により表現されるグラフが正しく識別された回数を示す混同行列の、前記表示画面への表示を指示することをさらに含む、請求項１７に記載のシステム。
【請求項１９】
前記動作は、
前記機械学習バックエンドから機械学習データを受信することであり、前記機械学習データは、前記データセット及び前記選択された構成設定を使用する前記グラフ分類モデルの前記訓練の性能を示す、ことと、
前記グラフ分類モデルの前記訓練の間に前記データセットで表現されるグラフの分類を説明する機械学習結果の、前記表示画面への表示を指示することであり、前記機械学習結果は、前記機械学習データを人間が読めるフォーマットで表現する、ことと、
をさらに含む、請求項１１に記載のシステム。
【請求項２０】
前記機械学習結果は、自然言語におけるテキスト表現、表形式表現、及び人間が読めるフォーマットにおけるグラフィカル表現、のうち少なくとも１つを含み、前記動作は、前記自然言語における前記テキスト表現、前記表形式表現、及び前記人間が読めるフォーマットにおける前記グラフィカル表現、のうち少なくとも１つの、前記表示画面への表示を指示することをさらに含む、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本特許出願は、2018年10月8日に出願され「ACCESSIBLE  MACHINE  LEARNING  BACKENDS」と題された米国仮出願第62/742,836号に対する利益及び優先権を主張し、該出願はその全体を参照により本開示に援用される。
【０００２】
［技術分野］
本開示において論じられる実施形態は、アクセス可能な機械学習バックエンドに関する。
【背景技術】
【０００３】
機械学習システムは、機械学習バックエンドを構成するために、複数の異なるテキストファイル、フォーマット、又は構成スクリプトを利用することがある。しかしながら、異なるテキストファイル、フォーマット、及び構成スクリプトは、機械学習システムのユーザにより容易に理解されない方法で表示される言語及び情報を含むことがある。例えば、ユーザは、特定の機械学習バックエンドのエキスパートではなくドメインエキスパートであり得る。このように、機械学習システムのユーザは、機械学習バックエンドにより使用される用語及びファイルフォーマットに精通していない可能性がある。
【０００４】
本開示において請求される対象事項は、何らかの欠点を解決し又は上述されたような環境においてのみ動作する実施形態に限定されない。むしろ、この背景技術は、本開示に記載されるいくつかの実施形態が実施され得る１つの例示的な技術分野を示すためにのみ提供される。
【発明の概要】
【０００５】
本開示の１つ以上の実施形態が、方法を含み得る。当該方法は、１つ以上のデータセットを列挙するデータセットメニューの、表示画面への表示を指示することを含み得る。各データセットは、１つ以上のグラフを表現することができる。さらに、各データセットは、対応する特徴値を含む１つ以上の特徴を含んでもよい。１つ以上のデータセットのユーザ選択に応答して、当該方法は、データセット内の特徴を表現グラフ内のノード及びエッジに対応するものとして識別することをさらに含み得る。さらに、当該方法は、ノード及びエッジの特徴値のカテゴリ値を機械学習アルゴリズムによる使用のため数値ターゲット値にマッピングするために、ローカルマッピングスキーム又はグローバルマッピングスキームを選択することを含み得る。ローカルマッピングスキームは、異なるグラフにわたり一意値を利用することができる。ローカルマッピングスキームは、ノード及びエッジに対して、ノード及びエッジの特徴値の分布が異なるグラフにわたり対応しないことに応じて選択されてもよい。グローバルマッピングスキームは、異なるグラフにわたり同じ値を利用することができる。グローバルマッピングスキームは、ノード及びエッジに対して、ノード及びエッジの特徴値の分布が異なるグラフにわたり対応することに応じて選択されてもよい。さらに、当該方法は、データセットにより表現されるグラフに基づいてグラフを分類するために、グラフ分類モデルを訓練するための１つ以上の構成設定の、表示画面への表示を指示することを含み得る。構成設定は、ノード及びエッジの特徴値のカテゴリ値の各々について、ローカルマッピングスキームとグローバルマッピングスキームとの間の選択を示すことができる。１つ以上の構成設定の表示の指示に応答して、当該方法は、ユーザからの選択された構成設定を取得することを含み得る。選択された構成設定の取得に応答して、当該方法は、選択された構成設定及びデータセットを機械学習バックエンドに提供することをさらに含み得る。機械学習バックエンドは、機械学習アルゴリズム、データセット、及び選択された構成設定を利用してグラフ分類モデルを訓練することができる。
【０００６】
実施形態の目的及び利点は、少なくとも特許請求の範囲において特に指し示された要素、特徴、及び組み合わせにより実現され、達成される。上記の一般的な説明及び以下の詳細な説明はいずれも例示的かつ説明的であり、限定的なものではない。
【図面の簡単な説明】
【０００７】
例示的な実施形態は、添付の図面を使用することにより、さらなる特定性及び詳細さを伴って記載され、説明される
【図１】アクセス可能な機械学習（ＭＬ）バックエンドに関する例示的な環境を示す。
【図２】図１の動作環境で実現され得るアクセス可能なＭＬプロセスのブロック図を示す。
【図３Ａ】図３Ａ及び図３Ｂは、図１のコンピューティングデバイスで実現され得るアクセス可能なＭＬのためのデータセットインポート及びフィルタリングに関連した選択フィールドを表示するグラフィカルユーザインターフェース（ＧＵＩ）の画面ショットを示す。
【図３Ｂ】図３Ａ及び図３Ｂは、図１のコンピューティングデバイスで実現され得るアクセス可能なＭＬのためのデータセットインポート及びフィルタリングに関連した選択フィールドを表示するグラフィカルユーザインターフェース（ＧＵＩ）の画面ショットを示す。
【図４】図１のコンピューティングデバイスで実現され得るインポートされたデータセットを表現するグラフの生成に関連した選択フィールドを表示するＧＵＩの画面ショットを示す。
【図５】図１のコンピューティングデバイスで実現され得るＭＬに関連した構成設定の推奨及び選択フィールドを表示するＧＵＩの画面ショットを示す。
【図６】図１のコンピューティングデバイスで実現され得るＭＬに関連した混同行列及び選択フィールドを表示するＧＵＩの画面ショットを示す。
【図７】例示的なコンピューティングシステムのブロック図である。
【図８】本開示に記載された少なくとも１つの実施形態に専ら従う、ＭＬのための構成設定の推奨を生成する例示的な方法のフローチャートを示す。
【発明を実施するための形態】
【０００８】
データセットは、異なるドメインの態様を、これらのドメインに含まれる構成要素及び項目と共に記述することができる。データセットは、ドメインを記述するグラフに対応するノード及びエッジを表現する情報を含んでもよい。ノード、エッジ、及びグラフは、グラフィカルフォーマットに従ってドメインを記述することができる。いくつかの実施形態において、ノードは、ドメイン内の異なる構成要素及び／又は項目を表現することができる。さらに、いくつかの実施形態において、エッジは、ドメイン内のノード間の関係（例えば、ドメイン内の異なる構成要素及び／又は項目間の関係）を表現することができる。同様に、いくつかの実施形態において、グラフは、複数の構成要素（例えば、ノード）及び構成要素間の接続を表現する有向エッジ及び／又は無向エッジの表現であってもよい。データセットは、エッジ及びノードに対応する特徴を含むことができる。データセットはまた、エッジ及びノードのラベルに対応する特徴を含んでもよい。さらに、特徴は、エッジ及びノードの態様を記述する特徴値を含んでもよい。
【０００９】
データセットはまた、グラフの分類を表現する情報を含むことができる。例えば、グラフの分類を表現する情報は、グラフの各々の関連づけられたカテゴリを示してもよい。グラフの分類を表現する特徴、特徴値、及び情報のうち少なくとも一部は、機械学習バックエンドに提供されてもよい。グラフの分類を表現する特徴、特徴値、及び情報は、グラフ分類モデルを生成又は訓練するためにＭＬバックエンドにより使用されてもよく、グラフ分類モデルは、未知のグラフを、グラフ分類モデルが訓練されるカテゴリに分類するように構成できる。
【００１０】
いくつかのグラフ分類技術において、データセットの表示は、ユーザ書き込みコードにより実行されることがある。さらに、いくつかのグラフ分類技術では、表示又は他の方法のいずれかを介してデータセットにクエリすることができない場合がある。ＭＬバックエンドに提供される前にデータセットにクエリする選択肢の欠如は、ユーザがデータセットを探索し、データセットのどの部分をＭＬバックエンドに提供するかに関して判断する能力を大幅に低減させる可能性がある。
【００１１】
いくつかのグラフ分類技術において、データセットが表示されるフォーマットは、ユーザにより容易に理解されない可能性がある。例えば、データセットは、ラベル又は他の識別情報を伴わない表形式フォーマット（例えば、表形式データを含む）で表示されることがある。表形式フォーマットのデータセットの手動分析は、ユーザにとって、表示内のどの文字及び値がどのデータセット、特徴、特徴値、及び／又はグラフの分類に対応するかを解読及び／又は決定するのが困難な可能性がある。
【００１２】
さらに、いくつかのグラフ分類技術において、データセットは、３つ以上の次元で表示されるように設計されたフォーマットで記憶されることがある（例えば、データセットはテンソルとして記憶されることがある）ので、データセットは、２次元で容易に表示されない可能性がある。これら及び他のグラフ分類技術において、３つ以上の次元のデータセットを表示することは、ユーザがデータセットを理解するのに困難さを増大させる可能性がある。さらに、いくつかのグラフ分類技術において、ユーザは、データセット又は他の構成設定のどの部分をＭＬバックエンドに提供するかに関する推奨を提供されない場合がある。
【００１３】
いくつかのグラフ分類技術において、グラフ分類モデルを訓練するためにＭＬバックエンドによる使用のためのデータセットを準備することは、特定のデータセット及び／又はデータセットの表形式フォーマットを処理するためにコードを書くことにより行われることがある。データセットを準備するためのコードを手動で書くことは、遅く、エラーを起こしやすい可能性がある。さらに、データセットを準備するためのコードを手動で書くことは、グラフ分類モデルの訓練及びテストに関連する開発時間及びコストを増加させる可能性がある。
【００１４】
いくつかのグラフ分類技術において、グラフ分類モデルを訓練するためにＭＬバックエンドによる使用のためのデータセットを準備することは、構成フォーマットのテキストファイルにより実現されることがある。これらのテキストファイルは、ユーザにより容易に読み出されない及び／又は理解されない可能性がある。例えば、テキストファイルは、異なる状況に対してどのフィールドを選択する及び／又は埋める（populate）か（例えば、異なる状況に対してどの特徴及び特徴値を選択する及び／又は埋めるか）を決定するために、ユーザにマニュアルを参照させることがある。さらに、テキストファイルのテキストは、ユーザにとって、どの文字がどのデータセット、特徴、特徴値、及び／又はグラフの分類に対応するかを解読及び決定するのが困難な可能性がある。マニュアルを参照し、異なるフィールドを手動で選択し、埋め、テキストファイル内のフィールドを手動で確認するプロセスは、遅く、エラーを起こしやすい可能性があり、これもまた、グラフ分類モデルの訓練及びテストに関連する開発時間及びコストを増加させる可能性がある。
【００１５】
いくつかのグラフ分類技術において、グラフ分類モデルを訓練するためにＭＬバックエンドにより使用されるデータセットを準備することは、複雑で相互接続された構成スクリプトを編集することを含むことがある。さらに、構成スクリプトの相互接続性は、構成スクリプト内で明確に示されない可能性がある。
【００１６】
いくつかのグラフ分類技術において、ＭＬバックエンドがグラフ分類モデルを訓練した結果（例えば、ＭＬデータ）は、数値データ（例えば、数字）のみを含むテキストファイルとして出力されることがある。ＭＬデータに数字のみを含めることは、ＭＬバックエンドがアルファベット文字（例えば、アルファ文字（alpha  characters））でなく数字を使用して読み出し及び動作ができることに起因して生じる可能性がある。数値データは、ユーザにとって、どの文字がどのデータセット、特徴、特徴値、及び／又はグラフの分類に対応するかを解読及び決定するのが困難な可能性がある。ユーザは、テキストファイルの数字を容易に読み出し及び理解できない可能性があり、これは、グラフ分類モデルの訓練の確認におけるエラーの数を増加させる可能性がある。
【００１７】
さらに、いくつかのグラフ分類技術において、ＭＬデータは、ＭＬバックエンド特有の表現を含むことがある。例えば、ＭＬデータは、テンソル表現（例えば、多次元行列表現）を含み得る。さらに、ＭＬデータは、多くのユーザに一般に知られていない数学的特有の用語を含むことがある。さらに、いくつかのグラフ分類技術は、構成スクリプトとしてＭＬデータを出力することがある。ユーザが構成スクリプトとしてＭＬデータをレビュー及び編集することもまた、グラフ分類モデルの訓練及びテストに関連する時間及びコストを増加させる可能性がある。
【００１８】
いくつかのグラフ分類技術は、ＭＬバックエンドの使用を、ＭＬバックエンドに精通しているユーザに制限することがある。例えば、ユーザが構成スクリプトを編集及びレビューすることは、ＭＬバックエンドの使用を、ＭＬバックエンドの特定の構成設定に精通しているユーザに制限する可能性がある。別の例として、ユーザがＭＬバックエンド特有の表現内又は構成スクリプト内のＭＬデータを編集及びレビューすることは、ＭＬバックエンドの使用を、ＭＬバックエンドの数値出力に精通しているユーザに制限する可能性がある。
【００１９】
したがって、その使用をＭＬバックエンドに精通しているユーザに制限しない、アクセス可能なＭＬバックエンドの必要がある。本開示に記載される種々の実施形態によれば、表示画面に表示されるグラフィカルユーザインターフェース（ＧＵＩ）が、グラフ分類モデルを訓練するために、データセットを選択及びインポートし、推奨される構成設定についてデータセットを解析し、構成設定を選択し、データセットをＭＬバックエンドに提供するステップを通じてユーザをガイドすることができる。
【００２０】
いくつかの実施形態において、選択すべきデータセットを列挙するデータセットメニューが表示画面に表示され得る。さらに、これら及び他の実施形態において、データセットメニューは、１つ以上の新しいデータセットをインポートする選択肢を列挙してもよい。ユーザは、グラフ分類モデルの訓練に使用するために、データセットのうち１つ以上を選択することができる。データセット内の特徴は、グラフ内のエッジ又はノードに対応するものとして識別され得る。さらに、エッジ及びノードとして識別された特徴の各々について、データセットが解析されて、グラフ分類モデルの訓練の間にＭＬアルゴリズムによって対応するエッジ又は対応するノードをマッピングするためにグローバルマッピングが使用されるべきか又はローカルマッピングが使用されるべきかを決定してもよい。いくつかの実施形態において、ローカルマッピングは、ＭＬアルゴリズムによりエッジ及びノードをグラフにマッピングするために、一意値（unique  values）を利用することができる。例えば、第１の特徴が、ＭＬアルゴリズムにより、第１のグラフ内の「１」とラベル付けされたノード及び第２のグラフ内の「２」とラベル付けされたノードにマッピングされてもよい。同様に、いくつかの実施形態において、グローバルマッピングは、ＭＬアルゴリズムによりエッジ及びノードをグラフにマッピングするために、同じ値を利用することができる。例えば、ノードとして識別される第１の特徴は、ＭＬアルゴリズムにより、グラフの各々において「１」とラベル付けされたノードにマッピングされてもよい。
【００２１】
いくつかの実施形態において、ＭＬアルゴリズムの構成設定が表示画面に表示され得る。構成設定は、データセット内に表現されるエッジ及びノードの各々について、ローカルマッピング又はグローバルマッピングの選択を示してもよい。表示画面に表示されるＧＵＩを介してユーザ入力が受け取られ、構成設定を選択してもよい（例えば、選択された構成設定を提供する）。例えば、選択された構成設定は、データセットで表現されるノード及びエッジの各々についてローカルマッピング及びグローバルマッピングの選択を示す構成設定を含んでもよい。別の例として、選択された構成設定は、ユーザにより手動で選択された構成設定を含んでもよい。選択された構成設定及びデータセットは、ＭＬバックエンドに送信され得る。ＭＬバックエンドは、ＭＬアルゴリズム、データセット、及び選択された構成設定を利用して、グラフ分類モデルを訓練することができる。
【００２２】
本開示に記載される実施形態の利点は、グラフ分類モデルの訓練及びテストに関してのユーザの開発時間及びコストの削減を含み得る。例えば、ユーザは、データセットを選択するため、ＭＬバックエンドに提供されるデータセットを準備するため、又はＭＬアルゴリズムの構成設定を選択するために、構成スクリプトを編集しなくてもよい。構成スクリプトの使用がないことで、ＭＬバックエンドに精通していないユーザが、グラフ分類モデルを訓練及びテストすることを可能にし得る。
【００２３】
さらに、本開示に記載される実施形態の利点は、電子デバイスに記憶されたデータへのより迅速なアクセスを含むことができる。例えば、本開示に記載される実施形態は、ユーザがマニュアルを参照すること又は大きい表形式データブロックを解読することなく、グラフ分類モデルを訓練及びテストすることを可能にし得、これは、ユーザがテキストファイル及び／又は構成スクリプトを使用するより迅速に、ＭＬバックエンドにアクセスし、グラフ分類モデルを適切に訓練及びテストすることを可能にし得る。
【００２４】
同様に、本開示に記載される実施形態は、データセット及びＭＬデータを変換し、グラフィカル表現（graphical  representations）として表示することができ、これは、ユーザがデータセット及び／又はＭＬデータを理解するためのプロセスを高速化し得る。例えば、ＭＬデータは、人間が読めるＭＬ結果に変換されてもよい。同様に、本開示に記載される実施形態は、グラフ分類モデルの訓練及びテストのナビゲーションが生じる速度を増加させ得る。例えば、本開示において開示される実施形態は、構成スクリプト及び表形式データよりさらに迅速にナビゲート及び探索できるグラフィカル表現としてデータセットを表示することができる。グラフィカル表現は、ユーザが、グラフ分類モデルを訓練及びテストするためにプロセスをより迅速にナビゲートすることを可能にし得る。
【００２５】
さらに、本開示において開示される実施形態は、ユーザがデータを入力し、グラフ分類モデルを訓練及びテストするためにどの値を選択すべきか及び有効な値範囲は何かを明確にするための、選択フィールドを提供することができる。同様に、本開示において開示される実施形態は、構成推奨を決定することができ、これは、どの構成設定を使用するかをユーザが推測する必要がなくなり得るため、グラフ分類モデルを訓練及びテストする時間の量を削減する可能性がある。さらに、本開示において開示される実施形態は、ＭＬデータに含まれる数値データをＭＬ結果においてグラフィカル表現に変換することにより、ユーザの体験を向上させ得る。ユーザは、ＭＬ結果に含まれるグラフィカル表現に基づいて、後続のアクションに関する判断を行うことができ得る。
【００２６】
本開示において開示される実施形態は、表形式データの各行及び／又は列、又はデータセット又はＭＬデータの各数字を含むことにより、ユーザを圧倒することなく、データセット及びＭＬデータのサンプルを提供することができる。さらに、ＧＵＩ内にデータセット及びＭＬデータのサンプルを表示することで、データセット及びＭＬデータを見るために別個のアプリケーションを開くことを排除することができる。さらに、本開示において論じられる実施形態は、パラメータスイープ（parameter  sweeps）を実行して対応するファイルを生成するために使用される時間の量を削減し得る。
【００２７】
本開示の実施形態は、添付の図面を参照して説明される。
【００２８】
図１は、アクセス可能なＭＬバックエンドに関する例示的な環境を示す。動作環境１００は、アクセス可能なＭＬバックエンドプロセスに対して構成され得るコンピューティングデバイス１０２を含んでもよい。また、動作環境１００は、表示画面１１２、ネットワーク１１４、データセットリポジトリ１１６、グラフデータベース１１８、及びアプリケーションデータベース１２０を含んでもよい。
【００２９】
コンピューティングデバイス１０２は、データセットインポート及びクリーニング（cleaning）モジュール１０４、データセット解析モジュール１０６、ＭＬ構成及び処理モジュール１０８、並びにＭＬバックエンドモジュール１１０を含んでもよい。コンピューティングデバイス１０２、データセットリポジトリ１１６、グラフデータベース１１８、アプリケーションデータベース１２０、又はこれらのいくつかの組み合わせは、ネットワーク１１４を介して情報及びデータを通信することができる。コンピューティングデバイス１０２、データセットリポジトリ１１６、グラフデータベース１１８、及びアプリケーションデータベース１２０の各々について、以下に簡単に説明する。
【００３０】
ネットワーク１１４は、動作環境１００の構成要素（例えば、１０２、１１６、１１８、及び１２０）のいずれかの間の信号の通信に対して構成された任意の通信ネットワークを含んでもよい。ネットワーク１１４は、有線又は無線であってもよい。ネットワーク１１４は、スター構成、トークンリング構成、又は他の適切な構成を含む多数の構成を有することができる。さらに、ネットワーク１１４は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、及び／又は、複数のデバイスが通信することができる他の相互接続されたデータパスを含んでもよい。いくつかの実施形態において、ネットワーク１１４は、ピアツーピアネットワークを含んでもよい。また、ネットワーク１１４は、種々の異なる通信プロトコルにおけるデータの通信を可能にし得る通信ネットワークの一部に結合され、あるいはこれを含んでもよい。
【００３１】
いくつかの実施形態において、ネットワーク１１４は、ＢＬＵＥＴＯＯＴＨ（登録商標）通信ネットワーク、Ｚ−Ｗａｖｅ（登録商標）通信ネットワーク、Ｉｎｓｔｅｏｎ（登録商標）通信ネットワーク、ＥｎＯｃｅａｎ（登録商標）通信ネットワーク、Ｗｉ‐Ｆｉ（登録商標）通信ネットワーク、ＺｉｇＢｅｅ（登録商標）通信ネットワーク、ＨｏｍｅＰｌｕｇ（登録商標）通信ネットワーク、電力線通信（Power-line  Communication、ＰＬＣ）通信ネットワーク、メッセージキューテレメトリトランスポート（message  queue  telemetry  transport、ＭＱＴＴ）通信ネットワーク、ＭＱＴＴセンサ（ＭＱＴＴ‐Ｓ）通信ネットワーク、制約付きアプリケーションプロトコル（constrained  application  protocol、ＣｏＡＰ）通信ネットワーク、代表的状態転送アプリケーションプロトコルインターフェース（representative  state  transfer  application  protocol  interface、ＲＥＳＴ  ＡＰＩ）通信ネットワーク、拡張可能メッセージング及びプレゼンスプロトコル（extensible  messaging  and  presence  protocol、ＸＭＰＰ）通信ネットワーク、セルラー通信ネットワーク、任意の同様の通信ネットワーク、又はデータを送受信するためのこれらの任意の組み合わせを含み、あるいは含むように構成される。ネットワーク１１４で通信されるデータは、ショートメッセージングサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接データ接続、無線アプリケーションプロトコル（ＷＡＰ）、電子メール、スマートエネルギープロファイル（ＳＥＰ）、ＥＣＨＯＮＥＴ  Ｌｉｔｅ、ＯｐｅｎＡＤＲ、又はコンピューティングデバイス１０２、データセットリポジトリ１１６、グラフデータベース１１８、及びアプリケーションデータベース１２０で実現可能な任意の他のプロトコルを介して通信されるデータを含んでもよい。
【００３２】
データセットリポジトリ１１６、グラフデータベース１１８、及びアプリケーションデータベース１２０は、任意のメモリ又はデータ記憶装置を含んでもよく、これらは、図７に関連して以下で論じられるメモリ７８２と同様であってもよい。データセットリポジトリ１１６、グラフデータベース１１８、及びアプリケーションデータベース１２０は、動作環境１００内の他の構成要素がデータセットリポジトリ１１６、グラフデータベース１１８、及びアプリケーションデータベース１２０と通信できるように、ネットワーク通信機能を含んでもよい。
【００３３】
データセットリポジトリ１１６は、任意のコンピュータベース又はハードウェアベースのコンピューティングシステムを含んでもよい。データセットリポジトリ１１６は、データセットが記憶されるように構成されるシステム又はデバイスを含んでもよい。データセットリポジトリ１１６は、ドメインを記述するグラフに対応するノード及びエッジを表現する情報を含むデータセットを含んでもよい。
【００３４】
グラフデータベース１１８は、任意のコンピュータベース又はハードウェアベースのコンピューティングシステムを含んでもよい。グラフデータベース１１８は、グラフフォーマットが記憶されるように構成されるシステム又はデバイスを含んでもよい。グラフデータベース１１８は、本開示において論じられるように、例示的なグラフ、グラフフォーマットファイル、又はデータセット、及びグラフィカル表現を含んでもよい。
【００３５】
アプリケーションデータベース１２０は、任意のコンピュータベース又はハードウェアベースのコンピューティングシステムを含んでもよい。アプリケーションデータベース１２０は、データセット及びグラフィカル表現が記憶されるように構成されるシステム又はデバイスを含んでもよい。アプリケーションデータベース１２０は、本開示において論じられるように、データセット及びグラフィカル表現を含んでもよい。
【００３６】
コンピューティングデバイス１０２は、プロセッサ、メモリ、及び通信機能を含むコンピュータベースのハードウェアデバイスを含んでもよい。コンピューティングデバイス１０２は、動作環境１００の他の構成要素（例えば、１１６、１１８、及び１２０）のうち１つ以上とデータを通信するためにネットワーク１１４に結合されてもよい。コンピューティングデバイス１０２のいくつかの例は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、又はデスクトップコンピュータ等を含んでもよい。コンピューティングデバイス１０２は、プロセッサベースのコンピューティングデバイスを含んでもよい。例えば、コンピューティングデバイス１０２は、ハードウェアサーバ、又はサーバとして機能するように構成された別のプロセッサベースのコンピューティングデバイスを含んでもよい。
【００３７】
表示画面１１２は、ＧＵＩをユーザに表示して、訓練モデル（trained  model）１２４（例えば、グラフ分類モデル）を訓練及びテストするプロセスを通じてユーザをガイドすることができる。表示画面１１２に表示されたＧＵＩは、ユーザが、データセット、構成設定、及びＭＬアルゴリズムを使用して、訓練モデル１２４をロードし、フィルタリングし、表示し、訓練及びテストを実行することを可能にし得る。ＧＵＩは、ウェブブラウザ、又はコンピューティングデバイス１０２に対してネイティブなアプリケーションを通じて表示画面１１２に表示されてもよい。
【００３８】
データセットインポート及びクリーニングモジュール１０４は、ＧＵＩを介したデータセットメニューの、表示画面１１２への表示を指示することができる。データセットメニューは、データセットリポジトリ１１６に含まれるデータセットを列挙することができる。データセットは、特徴及び対応する特徴値を含んでもよい。特徴の一部は、データセットで表現されるグラフのエッジ又はノードに対応し得る。さらに、特徴の一部は、エッジ及びノードのラベルに対応し得る。同様に、特徴値は、エッジ及びノードの態様を記述することができる。さらに、データセットメニューは、データセットに対応する選択可能フィールドを列挙することができる。ユーザは、データセットメニュー内の１つ以上の対応する選択可能フィールドを選択することにより、データセットリポジトリ１１６からインポートするデータセットを選択することができる。
【００３９】
データセットインポート及びクリーニングモジュール１０４は、データセットリポジトリ１１６からデータセットを受信することができる。いくつかの実施形態において、データセットインポート及びクリーニングモジュール１０４は、データセットリポジトリから受信したデータセットを、ＧＵＩと互換性のあるフォーマットに変換することができる。これら及び他の実施形態において、データセットは、スプレッドシートフォーマット、コンマ区切り値（ＣＳＶ）フォーマット、テキストフォーマット、関係データベースフォーマット、又は任意の他の適切な表形式ファイルフォーマットで受信され、あるいはこれらへ変換されてもよい。
【００４０】
データセットインポート及びクリーニングモジュール１０４は、データセットリポジトリ１１６から受信したデータセットをインポートし、読み出すことができる。いくつかの実施形態において、データセットは、前に分類及びラベル付けされたグラフを表現する履歴データ（例えば、グラフの分類）を含んでもよい。データセットインポート及びクリーニングモジュール１０４は、グラフ内のノード及びエッジに対応するデータセット内の特徴を識別することができる。いくつかの実施形態において、データセットは、ノード及びエッジとして前に識別された特徴を表現する履歴データを含んでもよい。他の実施形態において、データセットインポート及びクリーニングモジュール１０４は、表示画面１１２に表示されたＧＵＩを介して、どの特徴がエッジに対応し、どの特徴がノードに対応するかを示すユーザ入力を受信することができる。さらに又は代わりに、データセットインポート及びクリーニングモジュール１０４は、表示画面１１２に表示されたＧＵＩを介して、どの特徴がエッジ及びノードのラベルに対応するかを示すユーザ入力を受信することができる。同様に、いくつかの実施形態において、データセットインポート及びクリーニングモジュール１０４は、データセットに含まれる履歴データと、表示画面１１２に表示されたＧＵＩを介して受信したユーザ入力との組み合わせに基づいて、グラフ内のノード及びエッジに対応するデータセット内の特徴を識別することができる。
【００４１】
いくつかの実施形態において、データセットインポート及びクリーニングモジュール１０４は、表示画面１１２上のＧＵＩを介したデータセットの一部の表示を指示することができる。例えば、データセットがスプレッドシートフォーマットで記憶されている場合、スプレッドシートのサンプルが表示されてもよい。これら及び他の実施形態において、特徴値の範囲もまた表示画面１１２に表示されてもよい。データセットの一部が、データセットの現在の状態をユーザに示すために表示されてもよい。さらに、データセットの一部が、どのタイプの特徴及び特徴値がデータセットに含まれるかをユーザに示すために表示されてもよい。
【００４２】
データセットインポート及びクリーニングモジュール１０４は、データセットに含まれる特徴及び特徴値をフィルタリングするために、表示画面１１２上のＧＵＩを介した１つ以上のフィルタフィールドの表示を指示することができる。例えば、データセットインポート及びクリーニングモジュール１０４は、削除及び／又は編集すべきデータセットの１つ以上の列及び／又は行の表示を指示することができる。さらに又は代わりに、データセットインポート及びクリーニングモジュール１０４は、列を昇順に配置するように構成されたフィルタフィールドの表示を指示してもよい。いくつかの実施形態において、データセットインポート及びクリーニングモジュール１０４は、データセット閾値を下回る又は上回るデータセットの部分を削除するように構成されたフィルタフィールドの表示を指示することができる。特徴及び特徴値のフィルタリングは、フィルタリングされた特徴及びフィルタリングされた特徴値が、訓練モデル１２４を訓練するためにＭＬバックエンドモジュール１１０に提供されることを防ぐことができる。
【００４３】
いくつかの実施形態において、データセットインポート及びクリーニングモジュール１０４は、ユーザが異なる特徴をラベル付けし、特徴をノード、エッジ、又はラベルとして識別し、あるいはデータセット内のグラフを分類するために、表示画面１１２上のＧＵＩを介した選択可能フィールドの表示を指示することができる。これら及び他の実施形態において、異なる特徴のラベル、特徴のアイデンティティ、及びグラフの分類を示すユーザ入力の受信に応答して、データセットインポート及びクリーニングモジュール１０４は、グラフデータベース１１８に記憶された例示的なグラフを使用して、データセットを１つ以上のグラフィカル表現にマッピングすることができる。データセットインポート及びクリーニングモジュール１０４は、表示画面１１２上のＧＵＩを介したグラフィカル表現としてのデータセットの表示を指示することができる。グラフデータベース１１８は、Ｎｅｏ４ｊ（登録商標）データベース又は任意の他の適切なグラフデータベースを含んでもよい。
【００４４】
いくつかの実施形態において、ユーザは、データセットのグラフィカル表現をクエリし、データセットのグラフィカル表現が表示される方法を変更してもよい。例えば、ユーザは、ＧＵＩを介して入力されたクエリ言語を使用して（例えば、Ｃｙｐｈｅｒ（登録商標）を使用して）、データセットのグラフィカル表現の部分に関する詳細をクエリすることができる。別の例として、ユーザは、ＧＵＩを介してユーザに表示される予め定義されたクエリを通じて、データセットのグラフィカル表現の部分に関する詳細をクエリすることができる。さらに、ＧＵＩを介してデータセットのグラフィカル表現をクエリすることで、ノード及び／又はエッジのフィルタリングを可能にすることができる。例えば、データセットのグラフィカル表現をクエリすることで、第１のカテゴリのグラフの最初のＮ１個のノード及びエッジ、並びに第２のカテゴリのグラフの最初のＮ２個のノードをフィルタリングすることを可能にしてもよい。
【００４５】
いくつかの実施形態において、データセット、並びに特徴のラベル付け、特徴の識別、及びグラフの分類は、アプリケーションデータベース１２０に提供され、アプリケーションデータベース１２０により記憶され得る。さらに又は代わりに、データセット並びに特徴のラベル付け、特徴の識別、及びグラフの分類は、グラフデータベース１１８に提供され、グラフデータベース１１８により記憶されてもよい。データセットは、データベースフォーマット、フラットファイルフォーマット、又は任意の他の適切なフォーマットを使用して記憶されてもよい。
【００４６】
データセット解析モジュール１０６は、ユーザに推奨する１つ以上の構成設定を選択することができる。ユーザに推奨される構成設定は、訓練モデル１２４のより良い訓練及びテストを提供するために、ＭＬアルゴリズムが異なるグラフにおいてノードの各々のどのタイプのマッピング（例えば、ローカルマッピング又はグローバルマッピング）を実行すべきかを示すことができる。さらに、いくつかの実施形態において、データセット解析モジュール１０６により選択された構成設定は、特徴の分解が訓練モデル１２４の訓練及びテストの結果を向上させ得るかどうかを示すことができる。代わりに又はさらに、データセット解析モジュール１０６により選択される構成設定は、以下でより詳細に論じられるように、訓練部分及びテスト部分として分離すべきデータセットのパーセンテージを含んでもよい。いくつかの実施形態において、訓練部分はデータセットの７０及び９０％の間を含むことができ、テスト部分はデータセットの１０及び３０％の間を含むことができる。
【００４７】
さらに、データセット解析モジュール１０６は、各特徴を可能な次元（possible  dimension）として分類するか、確実な次元（sure  dimension）として分類するか（例えば、可能なエッジ若しくはノード、又は確実なエッジ若しくはノードとして分類する）、あるいはデータセットの非部分（例えば、非ノード、非エッジ、又は非ラベル値）として分類するかを示す構成設定を選択することができる。同様に、データセット解析モジュール１０６により選択された構成設定は、各可能な次元が、確実な次元として再分類され得るか、あるいは確実な次元のラベルとして分類され得るかを示すことができる。同様に、データセット解析モジュール１０６は、データセット内の各タイプのグラフが等しい数でサンプリングされるべきか否か（例えば、各カテゴリのグラフが等しい数でサンプリングされるべきかどうか）を示す構成設定を選択することができる。データセット解析モジュール１０６は、表示画面１１２上のＧＵＩを介した、データセット解析モジュール１０６により選択された構成設定の表示を指示することができる。
【００４８】
いくつかの実施形態において、データセット解析モジュール１０６により選択される構成設定は、データセットの統計解析を使用して決定されてもよい。いくつかの実施形態において、統計解析は、ノードとエッジとの間の任意の相関、及びノードとエッジとの特徴値分布の類似度を含んでもよい。
【００４９】
いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、数量でない離散的エンティティを表現するカテゴリデータを処理することができ得る。このカテゴリデータは、整数値又はアルファベット文字値の形式であってもよい。これら及び他の実施形態において、データセット解析モジュール１０６は、特定のエッジ又はノードに対してグローバルマッピング又はローカルマッピングを選択して、特定のエッジ又はノードに関連づけられたカテゴリ値（例えば、特定のエッジ又はノードに関連づけられたアルファベット文字）がＭＬバックエンドモジュール１１０と互換性のある数値ターゲット値にどのようにマッピングされるべきかを示すことができる。
【００５０】
いくつかの実施形態において、データセット解析モジュール１０６は、特定のノード又はエッジのアイデンティティが対応するグラフのトポロジより重要である場合、特定のノード又はエッジに対してグローバルマッピングを選択することができる。例えば、データセット解析モジュール１０６は、対応する特徴値の分布がデータセット内の異なるグラフにわたり対応する場合、特定のエッジ又はノードに対してグローバルマッピングを選択してもよい。これら及び他の実施形態において、データセット解析モジュール１０６は、特定のノード又はエッジのアイデンティティが対応するグラフのトポロジほど重要でない場合、特定のノード又はエッジに対してローカルマッピングを選択することができる。例えば、データセット解析モジュール１０６は、特徴値の分布がデータセット内の異なるグラフにわたり対応しない場合、特定のエッジ又はノードに対してローカルマッピングを選択してもよい。
【００５１】
いくつかの実施形態において、データセット解析モジュール１０６は、データセット内の各特徴を、確実な次元（例えば、確実なエッジ又は確実なノード）、可能な次元（例えば、可能なエッジ又は可能なノード）、又はデータセットの非部分（例えば、非ノード、非エッジ、又は非ラベル値）として分類することができる。いくつかの実施形態において、データセット解析モジュール１０６は、データセットに含まれる情報に基づいて、データセット内の各特徴を分類することができる。他の実施形態において、データセット解析モジュール１０６は、表示画面１１２に表示されたＧＵＩを介して受信したユーザ入力に基づいて、データセット内の各特徴を分類してもよい。同様に、いくつかの実施形態において、データセット解析モジュール１０６は、データセットに含まれる情報と、表示画面１１２に表示されたＧＵＩを介して受信したユーザ入力との組み合わせに基づいて、データセット内の各特徴を分類することができる。
【００５２】
さらに、いくつかの実施形態において、データセット解析モジュール１０６は、データセット内の各グラフについてヒストグラムを生成することができる。これら及び他の実施形態において、ヒストグラムは、対応するグラフ内の確実な次元に対応する各特徴値を含んでもよい。
【００５３】
いくつかの実施形態において、データセット解析モジュール１０６は、確実な次元の分布が異なるグラフにわたり類似しているかどうかを決定することができる。例えば、データセット解析モジュール１０６は、特徴値がグラフにわたり生じるかどうかを決定してもよい。これら及び他の実施形態において、特徴値がグラフにわたり生じる場合、対応する確実な次元は安定的である可能性があり、グローバルマッピングを割り当てられてもよい。あるいは、特徴値がグラフにわたり生じない場合、対応する確実な次元は安定的でない可能性があり、ローカルマッピングを割り当てられてもよい。いくつかの実施形態において、各グラフについての特徴値のヒストグラムが生成されてもよい。これら及び他の実施形態において、ヒストグラムの各組み合わせについて、組み合わせられたヒストグラムのセットに含まれる特徴値間の距離が決定されてもよい。さらに、いくつかの実施形態において、組み合わせられたヒストグラムのセットに含まれる特徴値間の距離は、式１に従って決定されてもよい。
１−（各グラフ内の特徴発生に対応するコサイン距離）  式１
【００５４】
グラフのセットに対応するヒストグラム間の距離は、グラフのセット内の対応する特徴値間の距離に等しくてもよい。他の実施形態において、特徴値間の距離は、Ｌｐノルム法、Ｋｕｌｌｂａｃｋ‐Ｌｅｉｂｌｅｒ（ＫＬ）ダイバージェンス法、又は任意の他の適切な方法に従って決定されてもよい。これら及び他の実施形態において、ヒストグラムにおける各特徴値間の距離は、対応する合計類似度値に加算されてもよい。例えば、第１の特徴値を含むヒストグラムの各組み合わせにおける第１の特徴値間の距離が、第１の合計類似度値に加算されてもよい。
【００５５】
いくつかの実施形態において、データセット解析モジュール１０６は、ヒストグラムにわたる特徴値の各々についての平均類似度値（例えば、ヒストグラム内の特徴値間の平均距離）を決定することができる。これら及び他の実施形態において、データセット解析モジュール１０６は、合計類似度値を対応する特徴値を含むグラフ数で割ることにより、平均類似度値を決定してもよい。代わりに又はさらに、データセット解析モジュール１０６は、特定の確実な次元の平均類似度値を類似度閾値と比較してもよい。いくつかの実施形態において、特定の確実な次元の平均類似度値が類似度閾値より大きい場合、データセット解析モジュール１０６は、特定の確実な次元に対してグローバルマッピングを選択することができる。これら及び他の実施形態において、平均類似度値が類似度閾値以下である場合、データセット解析モジュール１０６は、特定の確実な次元に対してローカルマッピングを選択することができる。
【００５６】
いくつかの実施形態において、類似度閾値は、表示画面１１２に表示されたＧＵＩを介して受信したユーザ入力に基づくことができる。他の実施形態において、類似度閾値は、データセットに含まれるデータの量に基づいてもよい。例えば、データセット内の特徴若しくは特徴値の数、又はデータセットを記憶するために使用されるメモリ空間の量である。さらに又は代わりに、類似度閾値は、表現データセット（representative  datasets）を使用して表示画面１１２に表示されたＧＵＩを介してユーザにより実行されるテスト及びシミュレーションに基づいてもよい。例えば、ユーザは、表現データセット及び類似度閾値のための複数の値（例えば、３〜５つの異なる値）の集合を使用して、ＭＬバックエンドモジュール１１０を操作することができる。表現データセットに対して最良の結果をもたらす値が、類似度閾値として選択されてもよい。これら及び他の実施形態において、類似度閾値は、０．１と１との間の値であってもよい。例えば、類似度閾値は、とりわけ、０．４、０．５、０．５５３、０．６３、０．６８２、０．７２１、０．８１９、０．９２の値であってもよい。
【００５７】
いくつかの実施形態において、データセット解析モジュール１０６は、グローバルマッピングが選択される各確実な次元についてデータ分解を実行するかどうかを決定することができる（例えば、データセット解析モジュール１０６は、グローバルマッピングが利用される各確実な次元についてデータ削減スキーム又は非データ削減スキームを選択することができる）。これら及び他の実施形態において、データ分解が、グローバルマッピングが選択される各確実な次元に対応する特徴値の数を削減してもよい。データセット解析モジュール１０６は、一意特徴値の数が一意値閾値を超えているかどうかに基づいてデータ分解を実行するかどうかを決定することができる。
【００５８】
データセット解析モジュール１０６は、ヒストグラムにわたり一意特徴値の数を決定することができる。一意特徴値の数は、ヒストグラムにわたり異なる特徴値の数を含んでもよい。例えば、第１のヒストグラムが特徴値１、３、６、及び１０を含み、第２のヒストグラムが特徴値１、６、９、及び１０を含む場合、一意特徴値の数は５であり得る。データセット解析モジュール１０６は、一意特徴値の数を一意値閾値と比較することができる。いくつかの実施形態において、一意特徴値の数が一意値閾値を超えている場合、データセット解析モジュール１０６は、データセット内の各確実な次元に対してデータ分解を実行されるよう選択することができる。これら及び他の実施形態において、一意特徴値の数が一意値閾値以下である場合、データセット解析モジュール１０６は、データセット内の確実な次元に対してデータ分解を実行されないよう選択することができる。
【００５９】
いくつかの実施形態において、データセット解析モジュール１０６は、特定の確実な次元を含むヒストグラムにのみわたり一意値の数を決定することができる。データセット解析モジュール１０６は、特定の確実な次元を含むヒストグラムのみにわたっての一意値の数を一意値閾値と比較することができる。いくつかの実施形態において、特定の確実な次元を含むヒストグラムのみにわたっての一意値の数が一意値閾値を超えている場合、データセット解析モジュール１０６は、対応する確実な次元に対してデータ分解を実行されるよう選択することができる。これら及び他の実施形態において、特定の確実な次元を含むヒストグラムのみにわたっての一意値の数が一意値閾値以下である場合、データセット解析モジュール１０６は、対応する確実な次元に対してデータ分解を実行されないよう選択することができる。
【００６０】
いくつかの実施形態において、一意値閾値は、表示画面１１２に表示されたＧＵＩを介して受信したユーザ入力に基づくことができる。他の実施形態において、一意値閾値は、データセットに含まれるデータの量に基づいてもよい。例えば、データセット内の特徴若しくは特徴値の数、又はデータセットを記憶するために使用されるメモリ空間の量である。さらに又は代わりに、一意値閾値は、表現データセットを使用して表示画面１１２に表示されたＧＵＩを介してユーザにより実行されるテスト及びシミュレーションに基づいてもよい。例えば、ユーザは、表現データセット及び一意値閾値のための複数の値（例えば、３〜５つの異なる値）の集合を使用して、ＭＬバックエンドモジュール１１０を操作することができる。表現データセットに対して最良の結果をもたらす値が、一意値閾値として選択されてもよい。いくつかの実施形態において、一意値閾値は、２０と５千との間であってもよい。例えば、一意値閾値は、とりわけ、１００、２００、４００、６００、７００、１５００、２２００、３０００、３７００、４３００であってもよい。
【００６１】
さらに、いくつかの実施形態において、データセット解析モジュール１０６は、各グラフ内の各可能な次元の特徴値間の相関（例えば、相関値）を決定することができる。データセット解析モジュール１０６は、各可能な次元が独立であるかどうかを決定することができる。いくつかの実施形態において、データセット解析モジュール１０６は、各可能な次元と各確実な次元との間の相関に基づいて、各可能な次元が独立であるかどうかを決定することができる。いくつかの実施形態において、データセット解析モジュール１０６が特定の可能な次元が独立していないと決定した場合、特定の可能な次元は、確実な次元のラベルであり得る（例えば、ラベルは、対応する確実な次元に属し得る）。これら及び他の実施形態において、データセット解析モジュール１０６が特定の可能な次元が独立していると決定した場合、特定の可能な次元は確実な次元として再分類されてもよい。
【００６２】
いくつかの実施形態において、データセット解析モジュール１０６は、対応するｐ値及び統計手法（例えば、ｐ＜０．０５の場合に含む）に従って、各可能な次元及び各確実な次元の相関値のｐ値（例えば、相関の統計的有意性（statistical  significance））を決定することができる。いくつかの実施形態において、特定の可能な次元と１つ以上の確実な次元との間の相関が統計的に有意である（例えば、対応するｐ値が統計的有意性閾値以下である）場合、特定の可能な次元は、１つ以上の確実な次元のラベルとしてラベル付けされてもよい。これら及び他の実施形態において、特定の可能な次元と１つ以上の確実な次元との間の相関が統計的に有意でない（例えば、対応するｐ値が統計的有意性閾値より大きい）場合、特定の可能な次元は確実な次元として再分類されてもよい。
【００６３】
いくつかの実施形態において、確実な次元のグローバルマッピング又はローカルマッピングを選択するために記載されたステップは、確実な次元として再分類された可能な次元を使用して実行されてもよい。
【００６４】
いくつかの実施形態において、統計的有意性閾値は、表示画面１１２に表示されたＧＵＩを介して受信したユーザ入力に基づくことができる。他の実施形態において、統計的有意性閾値は、データセットに含まれるデータの量に基づいてもよい。例えば、データセット内の特徴若しくは特徴値の数、又はデータセットを記憶するために使用されるメモリ空間の量である。さらに又は代わりに、統計的有意性閾値は、表現データセットを使用して表示画面１１２に表示されたＧＵＩを介してユーザにより実行されるテスト及びシミュレーションに基づいてもよい。例えば、ユーザは、表現データセット及び統計的有意性閾値のための複数の値（例えば、３〜５つの異なる値）の集合を使用して、ＭＬバックエンドモジュール１１０を操作することができる。表現データセットに対して最良の結果をもたらす値が、統計的有意性閾値として選択されてもよい。いくつかの実施形態において、統計的有意性閾値は、０．００１と１との間であってもよい。例えば、統計的有意性閾値は、とりわけ、０．０５、０．０１５、及び０．０２７のうちの１つであってもよい。
【００６５】
ＭＬ構成及び処理モジュール１０８は、表示画面１１２上のＧＵＩを介した、ＭＬ構成及び処理モジュール１０８により選択された構成設定の表示を指示することができる。さらに、ＭＬ構成及び処理モジュール１０８により選択された構成設定が表示画面１１２上のＧＵＩを介して表示されたことに応答して、ＭＬ構成及び処理モジュール１０８は、選択された構成設定を取得してもよい。いくつかの実施形態において、選択された構成設定は、データセット解析モジュール１０６により選択された構成設定を含むことができる。他の実施形態において、選択された構成設定は、表示画面１１２に表示されたＧＵＩを介してユーザにより手動で選択された構成設定を含んでもよい。
【００６６】
ＭＬ構成及び処理モジュール１０８は、構成設定をＭＬバックエンドモジュール１１０と互換性のあるフォーマットに変換することができる。例えば、いくつかの実施形態において、ＭＬ構成及び処理モジュール１０８は、データセット内のアルファ値（alpha  values）を数値に変換してもよい。ＭＬ構成及び処理モジュール１０８は、データセットをフラットファイルフォーマット、関係データベースフォーマット、又は他の任意の適切なフォーマットに変換することができる。いくつかの実施形態において、ＭＬ構成及び処理モジュール１０８は、確実な次元のマッピングを実行することができる。ＭＬ構成及び処理モジュール１０８は、選択された構成設定に従って確実な次元をマッピングしてもよい。
【００６７】
いくつかの実施形態において、ＭＬ構成及び処理モジュール１０８は、データセットを訓練部分及びテスト部分に分離することができる。これら及び他の実施形態において、データセットは、選択された構成設定に基づいて訓練部分及びテスト部分に分離されてもよい。例えば、選択された構成設定は、データセットの８０％が訓練部分に含まれるべきであり、データセットの２０％がテスト部分に含まれるべきであることを示してもよい。ＭＬ構成及び処理モジュール１０８は、選択された構成設定及びデータセットをＭＬバックエンドモジュール１１０に提供することができる。
【００６８】
ＭＬバックエンドモジュール１１０は、訓練モデル１２４を訓練及びテストするために、１つ以上のＭＬアルゴリズム（例えば、ＭＬバックエンド）を利用することができる。ＭＬアルゴリズムの例は、ＤｅｅｐＴｅｎｓｏｒアルゴリズム、ＤｅｅｐＷａｌｋアルゴリズム、及びグラフ畳み込みネットワーク（Graph  Convolutional  Networks）アルゴリズムを含んでもよい。さらに、ＭＬバックエンドモジュール１１０は、選択された構成設定及びデータセットの訓練部分を利用して、訓練モデル１２４を訓練してもよい。いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、データセットの訓練部分に含まれるグラフを分類することができる。これら及び他の実施形態において、ＭＬバックエンドモジュール１１０は、訓練部分に基づいてデータセット内のグラフの同一又は類似のドメインのグラフをどのように分類するかについて訓練されてもよい。さらに、ＭＬバックエンドモジュール１１０は、将来受信されるグラフを分類するための訓練モデル１２４を生成してもよい。
【００６９】
ＭＬバックエンドモジュール１１０は、選択された構成設定及びテスト部分を利用して、訓練モデル１２４をテストすることができる。いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、テスト部分内のグラフを分類することができる。さらに、グラフは、前に実行されたグラフの分類を示す履歴データを含んでもよい。ＭＬバックエンドモジュール１１０により実行される分類は、訓練モデル１２４が正しく訓練されているかどうかを決定するために、前に実行されたグラフの分類を示す履歴データと比較されてもよい。
【００７０】
さらに、ＭＬバックエンドモジュール１１０は、訓練部分及びテスト部分を利用して、訓練モデル１２４を交差検証することができる。いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、４分割区分（four  fold  division）、５分割区分、又は任意の他の適切な方法に従って、訓練モデル１２４の交差検証を実行してもよい。さらに、いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、網羅的、ｐ個抜き（leave  p-out）、１個抜き（leave  one  out）、非網羅的、ｋ分割（k-fold）、ホールドアウト、反復ランダムサブサンプリング（repeated  random  sub-sampling）、又は任意の他の適切な方法若しくはアルゴリズムに従って、訓練モデル１２４の交差検証を実行してもよい。
【００７１】
ＭＬバックエンドモジュール１１０はまた、訓練モデル１２４の訓練、テスト、又は交差検証プロセスに関する１つ以上の統計を決定することができる。さらに、ＭＬバックエンドモジュール１１０は、ＭＬデータを生成することができる。ＭＬデータは、選択された構成設定並びに訓練部分及び／又はテスト部分を使用した訓練モデル１２４の訓練、テスト、又は交差検証プロセスを表現する情報を含んでもよい。さらに、ＭＬデータは、なぜ特定のグラフが訓練モデル１２４により特定の分類を受けたのかを記述するデータを含んでもよい。
【００７２】
データセット解析モジュール１０６は、ＭＬバックエンドモジュール１１０からＭＬデータを受信することができる。いくつかの実施形態において、データセット解析モジュール１０６は、ＭＬデータを人間が読めるフォーマットのＭＬ結果に変換することができる。非限定的な例として、データセット解析モジュール１０６は、表示画面１１２上のＧＵＩを介した、ＭＬデータ又はその要約（例えば、正しいパーセント）の予測ラベルの表示を指示することができる。いくつかの実施形態において、ＭＬデータは、グラフを表現する数値を含んでもよい。これら及び他の実施形態において、データセット解析モジュール１０６は、数値をＧＵＩと互換性のあるアルファ値にマッピングしてもよい（例えば、数値をアルファ値にデマッピングしてもよい）。
【００７３】
例えば、データセット解析モジュール１０６は、ＭＬデータをＧＵＩと互換性のあるフォーマットのＭＬ結果に変換することができる。別の例として、データセット解析モジュール１０６は、ＭＬデータをデータセットと同じ表形式フォーマットのＭＬ結果に変換してもよい。同様に、データセット解析モジュール１０６は、ＭＬ結果に含まれるフィルタリング及び可視化の説明を生成することができる。ＭＬ結果に含まれるフィルタリング及び可視化の説明を生成する１つ以上の例が、2018年2月の人工知能に関する第32回人工知能学会（association  for  the  advancement  of  artificial  intelligence、ＡＡＡＩ）の会議で提示されたKoji  Maruhashi、Masaru  Todoriki、Takuya  Ohwa、Keisuke  Goto、Yu  Hasegawa、Hiroya  Inakoshi、Hirokazu  Anaiの「Learning  Multi-way  Relations  via  Tensor  Decomposition  with  Neural  Networks」に示されており、これはその全体を参照により本明細書に援用される。
【００７４】
いくつかの実施形態において、ＭＬ構成及び処理モジュール１０８は、自然言語におけるテキスト表現、表形式表現、及び人間が読めるフォーマットにおけるグラフィカル表現のうち少なくとも１つを含むようにＭＬ結果を生成することができる。これら及び他の実施形態において、ＭＬ構成及び処理モジュール１０８は、表示画面１１２上のＧＵＩを介した、自然言語におけるテキスト表現、表形式表現、及び人間が読めるフォーマットにおけるグラフィカル表現のうち少なくとも１つの表示を指示することができる。同様に、ＭＬ
【００７５】
いくつかの実施形態において、ＭＬ構成及び処理モジュール１０８は、テスト及び／又は訓練部分のグラフがＭＬバックエンドモジュール１１０により何回正しく又は誤って分類されたかを示す混同行列（例えば、エラー行列）を生成することができる。これら及び他の実施形態において、ＭＬ構成及び処理モジュール１０８は、表示画面１１２上のＧＵＩを介した混同行列の表示を指示してもよい。
【００７６】
いくつかの実施形態において、訓練モデル１２４は、生産アプリケーション（production  application）１２６の一部として配備されてもよい。これら及び他の実施形態において、生産アプリケーション１２６は、特定のビジネスアプリケーションのための新しいデータセットに含まれるグラフの分類を実行するために使用されてもよい。
【００７７】
いくつかの実施形態において、データセットインポート及びクリーニングモジュール１０４、データセット解析モジュール１０６、並びにＭＬ構成及び処理モジュール１０８により実行されるステップ及びプロセスは、ＭＬバックエンドモジュール１１０により実現される特定のＭＬアルゴリズムとは独立して実行されてもよい。他の実施形態において、データセットインポート及びクリーニングモジュール１０４、データセット解析モジュール１０６、並びにＭＬ構成及び処理モジュール１０８により実行されるステップ及びプロセスは、ＭＬバックエンドモジュール１１０により実現される特定のＭＬアルゴリズムに依存して実行されてもよい。例えば、実現される特定のＭＬアルゴリズムは、テンソル行列と互換性があり得るＤｅｅｐＴｅｎｓｏｒアルゴリズムを含んでもよい。ＭＬ構成及び処理モジュール１０８は、データセットをテンソル行列として提供することができる。
【００７８】
図２は、図１の動作環境１００で実現され得るアクセス可能な機械学習プロセス２００のブロック図を示す。アクセス可能な機械学習プロセス２００は、図１のコンピューティングデバイス、データセットインポート及びクリーニングモジュール１０４、データセット解析モジュール１０６、ＭＬ構成及び処理モジュール１０８、ＭＬバックエンドモジュール１１０、並びに表示画面１１２により実現されてもよい。
【００７９】
データセットインポート及びクリーニングモジュール１０４は、データセットを選択及びインポートする（２０２）ように構成できる。いくつかの実施形態において、データセットインポート及びクリーニングモジュール１０４は、ＧＵＩを介したデータセットメニューの、表示画面１１２への表示を指示するように構成されてもよい。データセットインポート及びクリーニングモジュール１０４は、ユーザがインポートするデータセットを選択するために、表示画面１１２上のＧＵＩを介した選択可能な要素の表示を指示することができる。データセットインポート及びクリーニングモジュール１０４は、選択されたデータセットをインポートすることができる。例えば、データセットインポート及びクリーニングモジュール１０４は、図１に関連して上記で論じられたデータセットリポジトリ１１６などのデータセットリポジトリから選択されたデータセットをインポートしてもよい。
【００８０】
データセットインポート及びクリーニングモジュール１０４は、データセットをフィルタリングする（２０４）ように構成できる。いくつかの実施形態において、データセットインポート及びクリーニングモジュール１０４は、フィルタリングされ得るデータセット内の特徴及び／又は特徴値を示すユーザ入力を受信することができる。これら及び他の実施形態において、データセットインポート及びクリーニングモジュール１０４は、図１に関連して上記で論じられたように、データセットをフィルタリングしてもよい。さらに、データセットインポート及びクリーニングモジュール１０４は、表示画面１１２上のＧＵＩを介したフィルタフィールドの表示を指示するように構成されてもよい。
【００８１】
図３Ａ及び３Ｂを参照すると、例示された画面ショット３００ａ〜ｃは、データセットメニュー３３０、１つ以上の特徴フィルタフィールド３３６、及び１つ以上の特徴値フィルタフィールド３３８を示す。図３Ｂに示すように、ユーザは、ＧＵＩを介して、宛先ポート（Destination  Port）データ及びコメント（Comment）データをデータセットから除去するように選択することができる。さらに、図３Ｂに示すように、ユーザは、ＧＵＩを介して、１９９８年６月１５日以降に生じたアクティビティに対応する特徴値のみを含むように選択することができる。
【００８２】
図２に戻り、データセット解析モジュール１０６は、グラフを定義及び可視化する（２０６）ように構成できる。いくつかの実施形態において、データセット解析モジュール１０６は、グラフを定義するユーザ入力を受信することができる。これら及び他の実施形態において、データセット解析モジュール１０６は、図１に関連して上記で論じられたように、グラフを定義し、可視化してもよい。
【００８３】
図４を参照すると、例示された画面ショット４００は、グラフ内のノードを定義するための選択フィールド４４４、グラフ内のエッジを定義するための選択フィールド４４６、及び例示的な例のグラフ４４８を示す。
【００８４】
図２に戻り、データセット解析モジュール１０６は、構成推奨のためにデータセットを解析する（２０８）ように構成できる。いくつかの実施形態において、データセット解析モジュール１０６は、図１に関連して論じられたように、マッピングスキームを選択し、確実な次元としてノード及びエッジを分類し、確実な次元をラベル付けすることができる。さらに、データセット解析モジュール１０６は、データセット解析モジュール１０６により選択された構成設定の表示を指示するように構成されてもよい。
【００８５】
図５を参照すると、例示された画面ショット５００は、構成設定を選択するようデータセット解析モジュール１０６に指示するための選択フィールド５５４と、データセット解析モジュール１０６により選択され得る構成設定の例示的な例５５６とを示す。図３Ａを参照すると、例示された画面ショット３００ａは、データセットを訓練部分とテスト部分とに分離するようデータセット解析モジュール１０６に指示するための選択フィールド３２８を示す。
【００８６】
図２に戻り、ＭＬ構成及び処理モジュール１０８は、ＭＬバックエンドを構成する（２１０）ように構成できる。いくつかの実施形態において、ＭＬ構成及び処理モジュール１０８は、データセット及び選択された構成設定をＭＬバックエンドに提供することができる。例えば、ＭＬ構成及び処理モジュール１０８は、図１に関連して上記で論じられたように、データセット及び選択された構成設定をＭＬバックエンドモジュール１１０に提供してもよい。
【００８７】
ＭＬバックエンドモジュール１１０は、モデルを訓練する（２１４）ように構成できる。いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、図１に関連して上記で論じられたように、訓練部分、選択された構成設定、及びＭＬアルゴリズムを使用して、モデル（例えば、図１の訓練モデル１２４）を訓練することができる。さらに、ＭＬバックエンドモジュール１１０は、モデル２１６をテストするように構成されてもよい。いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、図１に関連して上記で論じられたように、テスト部分、選択された構成設定、及びＭＬアルゴリズムを使用してモデルを訓練することができる。
【００８８】
さらに、ＭＬバックエンドモジュール１１０は、モデルを交差検証する（２１２）ように構成できる。いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、図１に関連して上記で論じられたように、４分割区分、５分割区分、又は任意の他の適切な方法に従ってモデルを交差検証することができる。これら及び他の実施形態において、ＭＬバックエンドモジュール１１０は、モデルの交差検証のために訓練部分及びテスト部分の双方を使用して動作してもよい。
【００８９】
いくつかの実施形態において、ＭＬバックエンドモジュール１１０は、モデルの訓練、テスト、及び／又は交差検証を記述するＭＬデータを生成することができる。ＭＬデータは、図１に関連して上述されたＭＬデータと同一又は類似であってもよい。ＭＬバックエンドモジュール１１０は、ＭＬデータをデータセット解析モジュール１０６に提供することができる。データセット解析モジュール１０６は、モデルの訓練の説明を計算する（compute）（２１８）ように構成できる。いくつかの実施形態において、データセット解析モジュール１０６は、ＭＬデータに基づいてＭＬ結果（例えば、モデルの訓練の説明）を生成することができる。例えば、データセット解析モジュール１０６は、ＭＬデータを数値フォーマットからＧＵＩと互換性のあるフォーマットに変換してもよい。ＭＬ結果は、図１に関連して上記で論じられたように、自然言語におけるテキスト表現、人間が読めるフォーマットにおける表形式表現、及び人間が読めるフォーマットにおけるグラフィカル表現のうちの少なくとも１つを含んでもよい。
【００９０】
いくつかの実施形態において、データセット解析モジュール１０６は、フィルタリング及び可視化を説明する（２２０）ように構成できる。データセット解析モジュール１０６は、図１に関連して上記で論じられたように、ＭＬ結果に含まれるフィルタリング及び可視化の説明を生成することができる。いくつかの実施形態において、データセット解析モジュール１０６は、ユーザ入力に基づいて、ＭＬ結果又はＭＬ結果のグラフィカル表現をフィルタリングすることができる。ＭＬ結果の説明は、ユーザにより容易に理解可能な自然言語においてモデルの訓練、テスト、又は交差検証を記述することができる。
【００９１】
図６を参照すると、例示的な画面ショット６００は、訓練フィールド、テストフィールド、交差検証フィールド、及びＭＬ結果を可視化するためのフィールドを含む選択フィールド６６４を示す。さらに、例示的な画面ショット６００は、モデルの訓練、テスト、及び／又は交差検証に基づいて生成され得る例示的な混同行列６７０を示す。
【００９２】
図７は、例示的なコンピューティングシステム７００のブロック図である。コンピューティングシステム７００は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、タブレットコンピュータ、モバイルフォン、スマートフォン、パーソナルデジタルアシスタント（ＰＤＡ）、電子書籍リーダ（e-reader）デバイス、ネットワークスイッチ、ネットワークルータ、ネットワークハブ、その他のネットワーキングデバイス、又はその他の適切なコンピューティングデバイスを含むことができる。
【００９３】
コンピューティングシステム７００は、プロセッサ７７８、記憶デバイス７８０、メモリ７８２、及び通信デバイス７８４を含むことができる。プロセッサ７７８、記憶デバイス７８０、メモリ７８２、及び／又は通信デバイス７８４はすべて、構成要素の各々が他の構成要素と通信し得るように、通信上結合できる。コンピューティングシステム７００は、本開示に記載される動作のいずれかを実行することができる。
【００９４】
一般に、プロセッサ７７８は、種々のコンピュータハードウェア又はソフトウェアモジュールを含む、任意の適切な専用又は汎用コンピュータ、コンピューティングエンティティ、又は処理デバイスを含んでもよく、任意の適用可能なコンピュータ読取可能記憶媒体に記憶された命令を実行するように構成されてもよい。例えば、プロセッサ７７８は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム命令を解釈及び／又は実行する及び／又はデータを処理するように構成された任意の他のデジタル又はアナログ回路を含んでもよい。図７において単一のプロセッサとして示されているが、プロセッサ７７８は、本開示に記載された任意数の動作を個別に又は集合的に実行するように構成された任意数のプロセッサを含んでもよい。
【００９５】
いくつかの実施形態において、プロセッサ７７８は、記憶デバイス７８０、メモリ７８２、又は記憶デバイス７８０及びメモリ７８２に記憶されたプログラム命令を解釈及び／又は実行し、かつ／あるいはデータを処理することができる。いくつかの実施形態において、プロセッサ７７８は、記憶デバイス７８０からプログラム命令を取り出し、メモリ７８２にプログラム命令をロードすることができる。プログラム命令がメモリ７８２にロードされた後、プロセッサ７７８は、プログラム命令を実行することができる。
【００９６】
例えば、いくつかの実施形態において、コンピューティングデバイス１０２に対する処理動作のうち１つ以上が、プログラム命令として記憶デバイス７８０に含まれてもよい。プロセッサ７７８は、処理動作のうちの１つ以上のプログラム命令を取り出してもよく、処理動作のプログラム命令をメモリ７８２にロードしてもよい。処理動作のプログラム命令がメモリ７８２にロードされた後、プロセッサ７７８は、コンピューティングシステム７００がプログラム命令により指示されるように処理動作に関連する動作を実現できるように、プログラム命令を実行することができる。
【００９７】
記憶デバイス７８０及びメモリ７８２は、記憶されたコンピュータ実行可能命令又はデータ構造を搬送し又は有するコンピュータ読取可能記憶媒体を含むことができる。そのようなコンピュータ読取可能記憶媒体は、プロセッサ７７８などの汎用又は専用コンピュータによりアクセスされ得る任意の利用可能な媒体を含んでもよい。限定でなく例として、そのようなコンピュータ読取可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ‐ＲＯＭ若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、又はコンピュータ実行可能命令又はデータ構造の形式の所望のプログラムコードを搬送又は記憶するために使用でき、かつ汎用又は専用コンピュータによりアクセスできる任意の他の記憶媒体を含む、有形又は非一時的なコンピュータ読取可能記憶媒体を含んでもよい。上記の組み合わせもまた、コンピュータ読取可能記憶媒体の範囲内に含まれてもよい。コンピュータ実行可能命令は、例えば、プロセッサ７７８に特定の動作又は動作のグループを実行させるように構成された命令及びデータを含んでもよい。
【００９８】
いくつかの実施形態において、記憶デバイス７８０及び／又はメモリ７８２は、モデルの訓練及びテストに関連づけられたデータを記憶することができる。例えば、記憶デバイス７８０及び／又はメモリ７８２は、データセット、構成設定、パラメータ設定、データセットのグラフィカル表現、ＭＬ結果のグラフィカル表現、ＭＬデータ、又は本開示において論じられる任意の他の適切な形式のデータを記憶してもよい。
【００９９】
通信デバイス７８４は、コンピューティングシステム７００と他の電子デバイスとの間の通信を可能又は容易にするように構成された任意のデバイス、システム、構成要素、又は構成要素の集合を含むことができる。例えば、通信デバイス７８４は、限定なく、モデム、ネットワークカード（無線又は有線）、赤外線通信デバイス、光通信デバイス、無線通信デバイス（アンテナなど）、及び／又はチップセット（Ｂｌｕｅｔｏｏｔｈデバイス、８０２．６デバイス（例えば、メトロポリタンエリアネットワーク（ＭＡＮ））、Ｗｉ‐Ｆｉデバイス、ＷｉＭＡＸ（登録商標）デバイス、セルラー通信設備等）などを含んでもよい。通信デバイス７８４は、いくつか例を挙げれば、セルラネットワーク、Ｗｉ‐Ｆｉネットワーク、ＭＡＮ、光ネットワークなどの任意のネットワーク、及び／又はリモートデバイスを含む本開示に記載された任意の他のデバイスとの間でデータが交換されることを可能にし得る。
【０１００】
本開示の範囲から逸脱することなく、図７に対して変更、追加、又は省略がなされてもよい。例えば、コンピューティングシステム７００は、本開示に例示及び記載されたものより多くの又は少ない要素を含んでもよい。例えば、コンピューティングシステム７００は、タブレット又はモバイルフォンの画面などの統合された表示デバイスを含んでもよく、あるいは外部モニタ、プロジェクタ、テレビ、又はコンピューティングシステム７００と別個であり通信上結合され得る他の適切な表示デバイスを含んでもよい。
【０１０１】
図８は、機械学習のための構成設定の推奨を生成する例示的な方法８００のフローチャートを示す。方法８００は、任意の適切なシステム、装置、又はデバイスにより実行されてもよい。例えば、図１のコンピューティングデバイス１０２、データセットインポート及びクリーニングモジュール１０４、データセット解析モジュール１０６、ＭＬ構成及び処理モジュール１０８、ＭＬバックエンドモジュール１１０、並びに表示画面１１２、又は図７のコンピューティングシステム７００の構成要素のうちの１つ以上である。これら及び他の実施形態において、コンピュータ読取可能媒体に記憶されたプログラム命令が、方法８００の動作のうち１つ以上を行うために実行されてもよい。さらに、方法８００の各動作は、静的又は動的であってもよく、オンラインで（例えば、リアルタイムで）又はオフラインで実行されてもよい。さらに、方法８００の各動作は、インクリメンタルに又は非インクリメンタルに実行されてもよい。
【０１０２】
方法８００は、ブロック８０２を含んでもよく、ブロック８０２において、１つ以上のデータセットを列挙するデータセットメニューが、表示画面に表示されるように指示され得る。いくつかの実施形態において、データセットは、１つ以上のグラフを表現することができる。これら及び他の実施形態において、１つ以上のデータセットは、特徴及び対応する特徴値を含んでもよい。例えば、データセットインポート及びクリーニングモジュール１０４が、図１に関連して上記で論じられたように、表示画面１１２へのデータセットメニューの表示を指示してもよい。ブロック８０２の後に、ブロック８０４が続き得る。
【０１０３】
ブロック８０４において、データセット内の特徴が、表現グラフ内のノード及びエッジに対応するものとして識別され得る。いくつかの実施形態において、データセット内の特徴は、１つ以上のデータセットのユーザ選択に応答して、ノード及びエッジに対応するものとして識別され得る。これら及び他の実施形態において、１つ以上のデータセットは、表現グラフのノード及びエッジを記述する特徴及び対応する特徴値を含んでもよい。例えば、データセットインポート及びクリーニングモジュール１０４が、モデルを訓練するために使用すべき１つ以上のデータセットを示すユーザ入力を受信してもよい。ブロック８０４の後に、ブロック８０６が続き得る。
【０１０４】
ブロック８０６において、ノード及びエッジの特徴値の非数値を数値ターゲット値にマッピングするためのローカルマッピングスキーム又はグローバルマッピングスキームが選択され得る。いくつかの実施形態において、ローカルマッピングスキームは、異なるグラフにわたり一意値を利用することができる。これら及び他の実施形態において、ローカルマッピングは、ノード及びエッジに対して、ノード及びエッジの特徴値の分布が異なるグラフにわたり対応しないことに応じて選択されてもよい。さらに又は代わりに、グローバルマッピングスキームは、異なるグラフにわたり同じ値を利用することができる。同様に、いくつかの実施形態において、グローバルマッピングスキームは、ノード及びエッジに対して、ノード及びエッジの特徴値の分布が異なるグラフにわたり対応することに応じて選択され得る。例えば、データセット解析モジュール１０６が、図１に関連して上記で論じられたように、データセット内のノード及びエッジのローカルマッピングを実行するか又はグローバルマッピングを実行するかを決定してもよい。ブロック８０６の後に、ブロック８０８が続き得る。
【０１０５】
ブロック８０８において、１つ以上の構成設定が、表示画面に表示されるように指示され得る。いくつかの実施形態において、構成設定は、データセットにより表現されるグラフに基づいてグラフを分類するようにグラフ分類モデルを訓練するために使用され得る。これら及び他の実施形態において、構成設定は、ノード及びエッジの特徴値の非数値の各々について、ローカルマッピングスキームとグローバルマッピングスキームとの間の選択を示してもよい。例えば、データセット解析モジュール１０６が、図１に関連して上記で論じられたように、表示画面１１２への、データセット解析モジュール１０６により選択された構成設定の表示を指示してもよい。ブロック８０８の後に、ブロック８１０が続き得る。
【０１０６】
ブロック８１０において、選択された構成設定が取得され得る。いくつかの実施形態において、選択された構成設定は、１つ以上の構成設定の表示の指示に応答してユーザから取得され得る。例えば、ＭＬ構成及び処理モジュール１０８が、図１に関連して上記で論じられたように、選択された構成設定を取得してもよい。ブロック８１０の後に、ブロック８１２が続き得る。
【０１０７】
ブロック８１２において、選択された構成設定及びデータセットは、ＭＬバックエンドに提供され得る。いくつかの実施形態において、ＭＬバックエンドは、ＭＬアルゴリズム、データセット、及び選択された構成設定を利用して、グラフ分類モデルを訓練することができる。例えば、ＭＬ構成及び処理モジュール１０８が、図１に関連して上記で論じられたように、選択された構成設定及びデータセットをＭＬバックエンドモジュール１１０に提供してもよい。別の例として、ＭＬバックエンドモジュール１１０が、図１に関連して上記で論じられたように、選択された構成設定、データセット、及びＭＬアルゴリズムを使用して、訓練モデル１２４を訓練してもよい。
【０１０８】
本開示の範囲から逸脱することなく、方法８００に対して変更、追加、又は省略がなされてもよい。例えば、方法８００の動作は異なる順序で実現されてもよい。さらに又は代わりに、２つ以上の動作が同時に実行されてもよい。さらに、概説された動作及びアクションは例として提供されているに過ぎず、動作及びアクションのいくつかは、開示される実施形態の本質を損なうことなく、任意であってもよく、より少ない動作及びアクションに結合されてもよく、あるいはさらなる動作及びアクションへ拡張されてもよい。
【０１０９】
本開示に記載の実施形態は、記憶されたコンピュータ実行可能命令又はデータ構造を搬送し又は有するコンピュータ読取可能媒体を用いて実現されてもよい。そのようなコンピュータ読取可能媒体は、汎用又は専用コンピュータによりアクセスされ得る任意の利用可能媒体であってもよい。限定でなく例として、そのようなコンピュータ読取可能媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読取専用メモリ（ＣＤ‐ＲＯＭ）若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、又はコンピュータ実行可能命令又はデータ構造の形式で所望のプログラムコードを搬送又は記憶するために使用でき、かつ汎用又は専用コンピュータによりアクセスできる任意の他の記憶媒体を含む、非一時的コンピュータ読取可能記憶媒体を含んでもよい。上記の組み合わせもまた、コンピュータ読取可能媒体の範囲内に含まれてもよい。
【０１１０】
コンピュータ実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ、又は専用処理デバイス（例えば、１つ以上のプロセッサ）に特定の機能又は機能のグループを実行させる命令及びデータを含んでもよい。対象事項は、構造的特徴及び／又は方法論的動作に特有の言語で記載されているが、別記の請求項において定義された対象事項は必ずしも上述された特定の特徴又は動作に限定されないことを理解されたい。むしろ、上述の特定の特徴及び動作は、特許請求の範囲を実現する例示的な形式として開示されている。
【０１１１】
本開示において用いられるように、本開示において、特に別記の特許請求の範囲（例えば、別記の特許請求の範囲の本文）において用いられる用語は、一般に「開放的」な用語として意図されている（例えば、用語「含んでいる」は、「含んでいるがこれに限定されない」と解釈されるべきであり、用語「有する」は、「少なくとも有する」と解釈されるべきであり、用語「含む」は、「含むがこれに限定されない」と解釈されるべきである、等）。
【０１１２】
さらに、特定数の導入された請求項記載が意図されている場合、そのような意図は請求項に明示的に記載され、そのような記載がない場合、そのような意図は存在しない。例えば、理解の助けとして、以下の別記の特許請求の範囲は、請求項記載を導入するために、導入フレーズ「少なくとも１つの」及び「１つ以上の」の使用を含むことがある。しかしながら、そのようなフレーズの使用は、不定冠詞「一の」（“a”又は“an”）による請求項記載の導入が、同じ請求項が導入フレーズ「１つ以上の」又は「少なくとも１つの」と「一の」などの不定冠詞とを含むときでも、そのような導入された請求項記載を含む任意の特定の請求項を１つのそのような記載のみ含む実施形態に限定することを暗に示すように見なされるべきではない（例えば、「一の」（“a”及び／又は“an”）は「少なくとも１つの」又は「１つ以上の」を意味するよう解釈されるべきである）。請求項記載を導入するために用いられる定冠詞の使用についても同様である。
【０１１３】
さらに、特定数の導入された請求項記載が明示的に記載されている場合であっても、当業者は、そのような記載は少なくとも記載された数を意味するよう解釈されるべきであることを認識するであろう（例えば、他の修飾語を伴わない「２つの記載」というただそれだけの記載は、少なくとも２つの記載を意味するか、あるいは２つ以上の記載を意味する）。さらに、「Ａ、Ｂ、及びＣ等のうち少なくとも１つ」又は「Ａ、Ｂ、及びＣ等のうち１つ以上」と類似の規定が用いられている例において、一般に、そのような構造は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢ共に、Ａ及びＣ共に、Ｂ及びＣ共に、又はＡ、Ｂ、及びＣ共に等を含むことが意図される。
【０１１４】
さらに、明細書においてか、特許請求の範囲においてか、又は図面においてかにかかわらず、２つ以上の代替的な用語を提示するいかなる分離的なワード又はフレーズも、用語のうち１つ、用語のうちいずれか、又は双方の用語を含む可能性を考慮するよう理解されるべきである。例えば、フレーズ「Ａ」又は「Ｂ」は、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むよう理解されるべきである。
【０１１５】
本開示に記載された全ての例及び条件付き言語は、本開示と発明者が当該分野を促進するために寄与した概念とを理解する際に読者を助けるための教育的目的を意図されており、そのような具体的に記載された例及び条件への限定を伴わないとみなされるべきである。本開示の実施形態が詳細に記載されたが、本開示の主旨及び範囲から逸脱することなく、種々の変更、置換、及び変更をこれに行うことができる。
【図１】
2020061136.tif 000003
【図２】
2020061136.tif 000004
【図３Ａ】
2020061136.tif 000005
【図３Ｂ】
2020061136.tif 000006
【図４】
2020061136.tif 000007
【図５】
2020061136.tif 000008
【図６】
2020061136.tif 000009
【図７】
2020061136.tif 000010
【図８】
2020061136.tif 000011