(57)【要約】モデルをトレーニングするシステムおよびコンピュータインプリメント方法。コンピュータインプリメント方法は、通信インタフェースを介して、天気、タイミング、交通状況、等のようなトレーニングデータを獲得することを含むことができる。コンピュータインプリメント方法は、プロセッサによって、トレーニングデータ内の複数のブレークライン位置に複数のブレークラインを配置することをさらに含むことができる。コンピュータインプリメント方法は、また、プロセッサによって、各ブレークライン位置のエントロピー変化を決定し、プロセッサによって、各々が、所定しきい値より大きいエントロピー変化に関連づけられた少なくとも１つのブレークライン位置を選択することを含むことができる。コンピュータインプリメント方法は、さらに、プロセッサによって、少なくとも１つの選択されたブレークライン位置に従って、トレーニングデータを複数のセグメントにセグメント化することを含むことができる。【選択図】図４
2020530607.tif 000002
【特許請求の範囲】
【請求項１】
非線形モデルをトレーニングするコンピュータインプリメントマシンラーニング方法において、
通信インタフェースを介して、トレーニングデータを獲得するステップと、
プロセッサにより、前記トレーニングデータ内の複数のブレーキング位置に複数のブレーキングラインを配置するステップと、
前記プロセッサにより、各ブレーキング位置に関するエントロピー変化を決定するステップと、
前記プロセッサにより、各々が、所定のしきい値より大きいエントロピー変化に関連づけられた、少なくとも１つのブレークライン位置を選択するステップと、
前記プロセッサにより、前記少なくとも１つの選択されたブレークライン位置に従って、前記トレーニングデータを複数のセグメントにセグメント化するステップと、
前記プロセッサにより、前記セグメントに基づいて、前記非線形モデルを生成するステップと、
を備えた、非線形モデルをトレーニングするコンピュータインプリメントマシンラーニング方法。
【請求項２】
前記所定のしきい値は、前記非線形モデルの深さに従って決定される、請求項１に記載の方法。
【請求項３】
各ブレークライン位置に関するエントロピー変化を決定するステップは、
前記セグメント化されていないトレーニングデータに基づいてオリジナルエントロピーを決定するステップと、
前記ブレークライン位置に関連づけられた前記トレーニングデータの仮想セグメントに基づいてブレーキングエントロピーを決定するステップと、
前記オリジナルエントロピー及び前記ブレーキングエントロピーに基づいて前記ブレークライン位置の前記エントロピー変化を決定するステップと、
をさらに備えた、請求項１に記載の方法。
【請求項４】
前記非線形モデルを生成するステップは、
前記複数のセグメントに関するサブモデルを生成するステップと、
前記サブモデルを集約することにより前記非線形モデルを生成するステップと、
をさらに備えた、請求項１に記載の方法。
【請求項５】
前記仮想セグメントは、第１および第２の仮想セグメントを含み、ブレーキングエントロピーを決定するステップは、
前記トレーニングデータの前記第１の仮想セグメントに関する、第１のエントロピーを決定するステップと、
前記トレーニングデータの前記第２の仮想セグメントに関する、第２のエントロピーを決定するステップと、
前記第１のエントロピーと前記第２のエントロピーに基づいて、前記ブレークライン位置に関連付けられた、前記ブレーキングエントロピーを決定するステップと、
をさらに備えた、請求項３に記載の方法。
【請求項６】
前記ブレーキングエントロピーは、前記第１のエントロピーと前記第２のエントロピーの、重みづけされた合計に基づいて決定される、請求項５に記載の方法。
【請求項７】
前記第１の仮想セグメントは、前記ブレークライン位置と、前記ブレークライン位置の第１の隣接ブレークライン位置との間にあり、前記第２の仮想セグメントは、前記ブレークライン位置と前記ブレークライン位置の第２の隣接ブレークライン位置との間にある、請求項５に記載の方法。
【請求項８】
前記サブモデルの各々は、線形モデルである、請求項４に記載の方法。
【請求項９】
前記サブモデルを集約するステップは、前記サブモデルを、前記トレーニングデータ内の前記それぞれのセグメントの順番に、接続するステップを含む、請求項４に記載の方法。
【請求項１０】
前記非線形モデルは、輸送サービスに関する価格を生成するように構成される、請求項１に記載の方法。
【請求項１１】
非線形モデルをトレーニングするマシンラーニングシステムにおいて、
トレーニングデータを受信するように構成された通信インタフェースと、
前記トレーニングデータと、前記非線形モデルを記憶するように構成されたメモリと、
前記トレーニングデータ内の複数のブレークライン位置に複数のブレークラインを配置し、
各ブレークライン位置に関するエントロピー変化を決定し、
各々が、所定しきい値より大きいエントロピー変化に関連づけられた、少なくとも１つのブレークライン位置を選択し、
前記少なくとも１つの選択されたブレークライン位置に従って、前記トレーニングデータを複数のセグメントにセグメント化し、
前記セグメントに基づいて、前記非線形モデルを生成する、
ように構成された少なくとも１つのプロセッサと、
を備えた、非線形モデルをトレーニングするマシンラーニングシステム。
【請求項１２】
前記所定のしきい値は、前記非線形モデルの深さに従って決定される、請求項１１に記載のシステム。
【請求項１３】
前記プロセッサは、
前記セグメント化されていないトレーニングデータに基づいてオリジナルエントロピーを決定し、
前記ブレークライン位置に関連づけられた前記トレーニングデータの仮想セグメントに基づいてブレーキングエントロピーを決定し、
前記オリジナルエントロピーと、前記ブレーキングエントロピーに基づいて前記ブレークライン位置の前記エントロピー変化を決定する、
ようにさらに構成された、請求項１１に記載のシステム。
【請求項１４】
前記プロセッサは、さらに、
前記複数のセグメントに関するサブモデルを生成し、
前記サブモデルを集約することにより前記非線形モデルを生成する、
ようにさらに、構成される、請求項１１に記載のシステム。
【請求項１５】
前記セグメントは、第１の仮想セグメントと第２の仮想セグメントを含み、前記プロセッサはさらに、
前記トレーニングデータの、前記第１の仮想セグメントに関する、第１のエントロピーを決定し、
前記トレーニングデータの、前記第２の仮想セグメントに関する、第２のエントロピーを決定し、
前記第１のエントロピーと前記第２のエントロピーに基づいて、前記ブレークライン位置に関連づけられた、前記ブレーキングエントロピーを決定する、
ようにさらに構成された、請求項１３に記載のシステム。
【請求項１６】
前記ブレーキングエントロピーは、前記第１のエントロピーと前記第２のエントロピーの、重みづけされた合計に基づいて決定される、請求項１５に記載のシステム。
【請求項１７】
前記第１の仮想セグメントは、前記ブレークライン位置と、前記ブレークライン位置の第１の隣接ブレークライン位置との間にあり、前記第２の仮想セグメントは、前記ブレークライン位置と、前記ブレークライン位置の第２の隣接ブレークライン位置との間にある、請求項１４に記載のシステム。
【請求項１８】
前記サブモデルの各々は、線形モデルである、請求項１４に記載のシステム。
【請求項１９】
前記非線形モデルは、輸送サービス価格を生成するように構成される、請求項１１に記載のシステム。
【請求項２０】
電子デバイスの少なくとも１つのプロセッサにより実行されると、前記電子デバイスに非線形モデルをトレーニングする方法を実行させる命令のセットを記憶する非一時的コンピュータ可読媒体において、前記方法は、
トレーニングデータを獲得するステップと、
前記トレーニングデータ内の複数のブレークライン位置に、複数のブレークラインを配置するステップと、
各ブレークライン位置に関するエントロピー変化を決定するステップと、
各々が、所定しきい値より大きいエントロピー変化に関連づけられた、少なくとも１つのブレークライン位置を選択するステップと、
前記少なくとも１つの選択されたブレークライン位置に従って、前記トレーニングデータを、複数のセグメントにセグメント化するステップと、
前記セグメントに基づいて、前記非線形モデルを生成するステップと、
を備えた、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、非線形モデルをトレーニングすることに関し、特に、トレーニングデータの情報エントロピー変化に基づいて、非線形モデルをトレーニングすることに関する。
【背景技術】
【０００２】
マシンラーニング（machine learning）において、（例えば、サンプルデータおよび監視信号（supervised signal）を含む）トレーニングデータに基づいて、モデルをトレーニングすることが重要である。トレーニングされたモデルは、サンプルデータと監視信号との間の対応関係を反映することができる。トレーニングされたモデルは、実質的に新しい入力データに適用され、トレーニングされた対応関係に従う、推定された出力を提供することができる。一般的に、実際の対応関係は、非線形である。例えば、インターネットを介したサービスは、ユーザニーズ、サービスキャパシティ、交通状況、尤度（likelihood）、等の推定に依存し、これらのすべての結果は、天気、その日の時間、サービスのロケーション等のような複数のファクタに非線形に関係する。
【０００３】
図１Ａは、トレーニングデータに関連付けられた例示非線形対応関係を説明する。しかしながら、対応関係を反映するトレーニングされたモデルは、線形であり得る。図１Ｂは、トレーニングデータに対応する例示のトレーニングされたモデルを説明する。例えば、図１Ａに示すように、実際の対応関係は、ｙ＝ｆ（ｘ）で表すことができ、ｆ（ｘ）は、非線形関数である。線形モデルがトレーニングに使用される場合、トレーニングされたモデルは、（例えば、図１Ｂに示すように）ｔ＝ｋｘの線形関係を反映するであろう。図１Ｃは、例示非線形対応関係（実線）と例示のトレーニングされた線形モデル（破線）との比較を説明する。線形モデルは、非線形モデルの一般的な形状を追跡するけれども、実際のモデルを一般化し過ぎ、多くの部分で、将来の応用に、非常に重要なディテールを失う。この結果、線形モデルは、しばしば将来の応用に正しい結果を生成することができない。この開示の実施形態は、トレーニングデータ内の実際の非線形対応関係を正確に反映するように、トレーニングデータの情報エントロピー変化に基づいて、非線形モデルをトレーニングすることにより上述の問題を解決する。
【発明の概要】
【０００４】
この開示の実施形態は、非線形モデルをトレーニングするためのコンピュータインプリメントマシンラーニング方法を提供する。この方法は、通信インタフェースを介してトレーニングデータを獲得する。この方法はさらに、プロセッサによって、トレーニングデータ内の複数のブレークライン位置（breakline position）に、複数のブレークラインを配置することを含む。この方法はまた、プロセッサによって、各ブレークライン位置のエントロピー変化を決定することを含むことができる。この方法はさらに、プロセッサにより、各々が、所定のしきい値より大きいエントロピー変化に関係づけられた、少なくとも１つのブレークライン位置を選択することを含み、プロセッサにより、少なくとも１つの選択されたブレークライン位置に従って、複数のセグメントにセグメント化することを含む。この方法は、さらに、プロセッサにより、セグメントに基づいて、非線形モデルを生成することを含む。
【０００５】
この開示の実施形態は、さらに、非線形モデルをトレーニングするマシンラーニングシステムを提供する。このシステムは、トレーニングデータを受信するように構成された通信インタフェースと、トレーニングデータおよび非線形モデルを記憶するように構成されたメモリを含むことができる。このシステムはさらに、トレーニングデータ内の複数のブレークライン位置に、複数のブレークラインを配置するように構成された、少なくとも１つのプロセッサを含むことができる。少なくとも１つのプロセッサは、さらに、各ブレークライン位置のエントロピー変化を決定するように構成されることができる。また、少なくとも１つのプロセッサは、各々が、所定しきい値より大きいエントロピー変化に関連づけられた少なくとも１つのブレークライン位置を選択し、少なくとも１つの選択されたブレークライン位置に従って、トレーニングデータを複数のセグメントにセグメント化するように構成することができる。少なくとも１つのプロセッサはさらに、セグメントに基づいて非線形モデルを生成するように構成することができる。
【０００６】
この開示の実施形態は、さらに、命令セットを記憶する非一時的コンピュータ可読媒体を提供する。電子デバイスの少なくとも１つのプロセッサにより命令が実行されると、命令は、電子デバイスに、非線形モデルをトレーニングする方法を実行させる。この方法は、トレーニングデータを獲得し、トレーニングデータ内の複数のブレークライン位置に、複数のブレークラインを配置することを含むことができる。この方法はさらに、各ブレークライン位置のエントロピー変化を決定することを含むことができる。この方法は、また、各々が、所定しきい値より大きいエントロピー変化に関連づけられた、少なくとも１つのブレークライン位置を選択することを含むことができる。この方法はさらに、少なくとも１つの選択されたブレークライン位置に従って、トレーニングデータを、複数のセグメントにセグメント化することを含むことができる。前述の一般的な説明および以下の詳細な説明の両方は、例示および説明のみであり、特許請求される本発明を限定するものではないことを理解されたい。
【図面の簡単な説明】
【０００７】
【図１ａ】図１ａは、トレーニングデータに関連づけられた例示非線形対応関係を説明する。
【図１ｂ】図１ｂは、トレーニングデータに対応する例示のトレーニングされた線形モデルを説明する。
【図１ｃ】図１ｃは、トレーニングデータに関連づけられた例示非線形対応関係と、例示のトレーニングされた線形モデルの比較を説明する。
【図２】図２は、この開示の実施形態に従う、トレーニングモデルの例示プロセスを説明する。
【図３】図３は、この開示の実施形態に従う、例示トレーニングシステムの概略図を説明する。
【図４】図４は、この開示の実施形態に従う、例示のセグメント化されたトレーニングデータの概略図を説明する。
【図５】図５は、この開示の実施形態に従う、非線形モデルをトレーニングする例示方法のフローチャートを説明する。
【発明を実施するための形態】
【０００８】
次に、例示実施形態を詳細に参照し、その例を添付の図面に示す。可能な場合にはいつでも、図面全体を通して、同一または類似の部分には、同じ参照番号が使用される。この開示の一態様は、非線形モデルをトレーニングするためのシステムに向けられている。
【０００９】
図２は、この開示の実施形態に従う、モデルをトレーニングする例示プロセスを説明する。図２に示すように、トレーニングシステム２００は、モデル２０４をトレーニングするためのトレーニングデータ２０２を獲得する。トレーニングデータ２０２は、モデル２０４に関連づけられた履歴データを含むことができる。いくつかの実施形態において、２以上の乗客によりシェアされる輸送サービス（例えば、カープールの確率）を推定するのに、モデルが使用されるとき、トレーニングデータは、履歴輸送サービスのリクエスト情報と、履歴輸送サービスがシェアされたかどうかに関する結果情報を、含むことができる。それゆえ、履歴輸送サービスのリクエスト情報は、トレーニングするためのサンプルデータ（「トレーニングデータ」と呼ばれる）であり得、履歴輸送サービスがシェアされたかどうかに関する結果情報は、トレーニングするための監視信号であり得る。例えば、履歴輸送サービスが二人以上の乗客によりシェアされるとき、監視信号には「１」を割り当てることができる。さもなければ、履歴輸送サービスが、シェアできないとき、監視信号には、「０」を割り当てることができる。サンプルデータ（例えば、履歴輸送サービスのリクエスト情報）は、起点、目的地、出発時刻、乗客数等の少なくとも１つを含むことができる。それゆえ、この例では、サンプルデータは、多次元データであり、監視信号は、１次元データである。トレーニングデータは、一次元データ、または多次元データを含むことができ、上述の例に限定されないことが企図される。同様に、トレーニングされたモデルは、１次元または多次元であり得る。適切にトレーニングすると、トレーニングされたモデルは、（起点、目的地、出発時刻、乗客数、等を含む）トリップパラメータ（trip parameter）と、シェアリングの成功との間の対応関係を反映することができ、二人以上の乗客によりシェアされる輸送サービスの確率を生成し、さらに、輸送サービスの価格を生成するように構成することができる。この開示のシステムと方法に従って、種々の他のアプリケーションのための非線形モデルをトレーニングし、使用することができる。
【００１０】
図３は、この開示の実施形態に従う、例示トレーニングシステム２００の概略図を説明する。トレーニングシステム２００は、別個のシステム（例えば、サーバ）であり得るか、または、サーバの統合コンポーネントであり得る。いくつかの実施形態において、モデルをトレーニングすることは、かなりの計算リソースを必要とするので、トレーニングシステム２００は、望ましくは、別個のシステムとしてインプリメントするほうが良いかもしれない。いくつかの実施形態において、トレーニングシステム２００は、サブシステムを含むことができ、そのうちのいくつかは、リモートであり得る。
【００１１】
トレーニングシステム２００は、汎用サーバであり得るか、またはモデルをトレーニングするために特別に設計された専用装置であり得る。いくつかの実施形態において、図３に示すように、トレーニングシステム２００は、通信インタフェース３０２、プロセッサ３０４およびメモリ３１６を含むことができる。プロセッサ３０４は、さらに、ブレークライン配置ユニット（a breakline placing unit）３０６、ブレークライン位置選択ユニット３０８、セグメンテーションユニット３１０、モデル生成ユニット３１２等のような複数の機能モジュールを含むことができる。ブレークライン位置選択ユニット３０８は、さらに、エントロピー変化判定ユニット３１４を含むことができる。これらのモジュール（および任意の対応するサブモジュールまたはサブユニット）は、プログラムの一部を実行するように、または他のコンポーネントに使用するように設計されたプロセッサ３０４のハードウエアユニット（例えば、集積回路の一部）であり得る。プログラムは、コンピュータ可読媒体に記憶することができ、プロセッサ３０４により実行されると、１つまたは複数の機能を実行する。図３は、すべて１つのプロセッサ３０４に内蔵されたユニット３０６−３１４を示すけれども、これらのユニットは、互いに近くに、または遠隔に位置する複数のプロセッサの間で分散することができる。いくつかの実施形態において、トレーニングシステム２００は、クラウド、または別個のコンピュータ／サーバにインプリメントすることができる。
【００１２】
通信インタフェース３０２は、トレーニングデータを受信するように構成することができる。いくつかの実施形態において、トレーニングデータは、サンプル入力データおよび対応する監視信号を含むことができる。サンプル入力データは、履歴データであり得、監視信号は、サンプルデータに関連づけられた結果を示す出力値（例えば「０」または「１」）であり得る。例えば、トレーニングデータは、乗り物が二人以上の乗客によりシェアされる確率を決定し、さらに、輸送サービスの価格を決定するためのモデルをトレーニングするのに使用することができる。
【００１３】
通信インタフェース３０２は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を提供するモデムであり得る。他の例として、通信インタフェース３０２は、互換ＬＡＮへのデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。また、無線リンクは、通信インタフェース３０２により、インプリメントすることができる。そのようないずれかのインプリメンテーションにおいて、通信インタフェース３０２は、ネットワークを介して種々の情報を表すデジタルデータを搬送する電気、電磁または光学信号を送信および受信することができる。ネットワークは、典型的に、セルラ通信ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）等を含む。
【００１４】
メモリ３１６は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、リードオンリメモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、または磁気または光ディスクのような任意のタイプの揮発性または不揮発性メモリデバイス、またはそれらの組み合わせとしてインプリメントすることができる。メモリ３１６は、システム２００に、モデルをトレーニングするための機能を実行させるようにプロセッサ３０４により実行可能な命令を記憶することができる。
【００１５】
ブレークライン配置ユニット３００は、トレーニングデータ内の複数のブレークライン位置に、複数のブレークラインを配置することができる。対応するブレークライン位置における各ブレークラインは、トレーニングデータの特定のデータ構造を示すことができる。いくつかの実施形態において、「１２２２２１１１１１」をトレーニングする場合、任意の２つのデジット間にブレークラインを有する。例えば、第１のブレークラインは、「１」と「２２２２１１１１」との間に配置することができ、データは、「１｜２２２２１１１１」としてセグメント化される。同様に、第２のブレークラインは、データを「１２｜２２２１１１１」としてセグメント化することができる。データは、異なるブレークライン位置に配置された２以上のブレークラインにより、複数の仮想セグメントにセグメント化することができることが企図される。例えば、上述のトレーニングデータは、「１２｜２２２｜１１１｜１１」のように３つのブレークラインにより、４つのセグメントにセグメント化することができる。１次元データは、例として使用されるけれども、トレーニングデータは、高次元であり得、いくつかのノード（ノードは、１次元におけるデジット）を含むことができことが企図される。
【００１６】
ブレークライン位置選択ユニット３０８は、少なくとも１つのブレークライン位置を選択することができる。いくつかの実施形態において、図３に示すように、ブレークライン位置選択ユニット３０８は、さらに、各ブレークライン位置のエントロピー変化を決定するように構成されるエントロピー変化決定ユニット３１４を含むことができる。エントロピーは、データの状態の予測不可能性の尺度である。データＵ（u1, u2, u3, ・・・ｕｎ）の場合、エントロピー値Ｅは、下記式に従って決定することができる。
【数１】
2020530607.tif 000003
但し、ｐｉは、データＵの、ｕｉの確率を示し、ｉ＝１、２、３、・・・ｎである。
【００１７】
確率に基づいて、エントロピーＥは、データＵの予測不可能性を測定することができる。予測不可能性の尺度のほかにＥ（Ｕ）は、また、情報コンテンツの量を示すことができる。より高いエントロピー値を有するデータは、データが、多くの情報コンテンツを含むことを示し、従って、予測することが困難である。より少量のエントロピー値を有するデータは、データが、より少量の情報コンテンツを含むことを示し、従って予測することが容易である。データが適切に順序付けられている（たとえば、線形）場合、データのエントロピーは、比較的小さくなると考えられる。すなわち、データがより線形であればあるほど、エントロピーはより小さくなる。
【００１８】
エントロピーの結果を決定するために、エントロピー変化決定ユニット３１４は、トレーニングデータに基づいてオリジナルエントロピーを決定することができ、ブレークラインによりセグメント化された仮想セグメントのエントロピーに基づいて、ブレーキングエントロピー（breaking entropy）を決定することができ、オリジナルエントロピーと、ブレーキングエントロピーに基づいて、ブレークライン位置に関連づけられた、エントロピー変化を決定することができる。
【００１９】
オリジナルエントロピーＥ０は、全体として、上記式１に従って、トレーニングデータ（例えば、「１２２２１１１１１１」）に基づいて決定することができる。例えば、「１２２２１１１１１１」の場合、Ｅ０＝４．３４１７である。次に、エントロピー変化決定ユニット３１４は、２以上のブレークラインを用いて、オリジナルデータを２以上の仮想セグメントにセグメント化することができ、各仮想セグメントのサブエントロピーを決定することができる。例えば、１ブレークラインを有するトレーニングデータ（例えば、「１２２２｜１１１１１１」）を考えると、エントロピー変化決定ユニット３１４は、第１の仮想セグメント（「１２２２」）に対して第１のサブエントロピー（例えば、０．９７６９）を決定し、第２の仮想セグメント（「１１１１１１」）に対して第２のサブエントロピー（例えば、０）を決定することができる。エントロピー変化決定ユニット３１４は、第１および第２のサブエントロピーに基づいてブレークエントロピーを決定することができる。いくつかの実施形態において、ブレーキングエントロピーは、第１および第２のエントロピーの重みづけされた合計に基づいて決定することができる。例えば、トレーニングデータのブレーキングエントロピーは、下記式に従って決定することができる。
【数２】
2020530607.tif 000004
但し、Ｓは、全体のオリジナルトレーニングデータを示し、Ｓｖは、仮想セグメントを示し、｜Ｓｖ｜｜Ｓ｜は対応するセグメントのエントロピーEの重さを示す。
【００２０】
例えば、オリジナルトレーニングデータ（例えば、「１２２２１１１１１１」）は、１０デジットを含む。データは、２ブレークライン（例えば、「１２｜２２１｜１１１１１」のように）によりセグメント化することができる。第１の仮想セグメント「１２」は、２つのデジットを含み、第２の仮想セグメント「２２１」は、３つのデジットを含み、第３の仮想セグメント「１１１１１」は、５つのデジットを含む。したがって、第１のサブエントロピーの重みは、２／１０であり得、第２のサブエントロピーの重みは、３／１０であり得、第３のサブエントロピーの重みは、５／１０であり得る。したがって、第１の仮想セグメントは、０．１５０５の第１のサブエントロピーを有し、第２の仮想セグメントは、０．３９３８の第２のサブエントロピーを有し、第３の仮想セグメントは、０の第３のサブエントロピーを有する。いくつかの実施形態において、重みづけされた合計として、第１のブレークラインに関連づけられたブレーキングエントロピーは、０．１５０５×０．２＋０．３９３８×０．３＝０．１４８２４であり得、第２のブレークラインに関連づけられたブレーキングエントロピーは、０．３９３８×０．３＋０×０．６＝０．１１８１４であり得る。
【００２１】
オリジナルエントロピーおよびブレーキングエントロピーに基づいて、エントロピー変化決定ユニット３１４は、対応するブレーキング位置のエントロピー変化を、第１のエントロピー変化：４．３４１７−０．１４８２４＝４．１９３４６、第２のエントロピー変化：４．３４１７−０．１１８１４＝４．２２３５６として決定することができる。
【００２２】
ブレーキングエントロピーを決定する上記方法において、第１の仮想セグメント（例えば、「１２」）は、トレーニングデータの第１のブレークライン位置と第１デジットとの間であり、第１のデジットは、第１のブレークライン位置に対して、隣接ブレークライン位置と考えることができる。トレーニングデータの第１デジットと最後のデジットの両方は、ブレークライン位置と考えることができる。第２の仮想セグメント（例えば、「２１」）は、第１のブレークライン位置と、第２のブレークライン位置との間にあり、第２のブレークライン位置は、第１のブレークライン位置の隣接するブレーク位置にある。
【００２３】
ブレークエントロピーを決定する方法は、上記例示方法とは異なり得ることが企図される。例えば、上記例示方法では、２つの隣接するブレークライン間の仮想セグメントのサブエントロピーに基づいて、ブレーキングエントロピーを決定する。ブレーキングエントロピーは、仮想セグメントおよび残りのトレーニングデータに基づいて決定することもできる。サブエントロピーの重みは、それに従って適合されなければならない。
【００２４】
オリジナルエントロピーおよびブレーキングエントロピーのエントロピー変化は、また、情報エンハンスメント（enhancement）と呼ぶことができ、トレーニングデータの線形性の変化を示す。トレーニングシステム２００は、ブレークライン位置の各々のエントロピー変化を決定することができる。エントロピー変化に基づいて、トレーニングシステム２００は、各々が所定しきい値より大きいエントロピー変化に関連付けられた少なくとも１つのブレークライン位置を選択することができる。所定のしきい値は、経験値またはトレーニングされるモデルに従って、調節することができる。例えば、所定のしきい値は、モデルの深さ（depth）に関連づけることができる。マシンラーニングにおいて、いくつかのレイヤを含む、ニューラルネットワークを使用することができ、レイヤ数（すなわち、深さ）は、所定のしきい値に関連づけることができる。上述したように、より大きなエントロピーは、より少ない線形性を示す。それゆえ、ブレークラインに関連づけられたエントロピー変化が、所定のしきい値より大きいとき、トレーニングデータの線形性は、改善されたことを示す。たとえば、所定のしきい値が４．２として設定されると、第２のブレークラインは、関連するエントロピー変化が、しきい値より大きいとして選択される。上記例を参照すると、より少ない線形性を有するトレーニングデータを、各々がより良い線形性を有する２つのセグメントにセグメント化することにより、トレーニングデータの線形性を改善することができる。言い換えれば、トレーニングデータの各セグメントは、オリジナルトレーニングデータよりも、より線形性になり得る。それゆえ、線形性モデルは、選択された少なくとも１つのブレーキング位置に従って生成されたセグメントにフィットする可能性が高い。
【００２５】
セグメントユニット３１０は、選択されたブレークライン位置に従って、トレーニングデータを、複数のセグメントにセグメント化することができ、セグメントは、モデル化のためのトレーニングデータとして使用される。モデル生成ユニット３１２は、セグメントに基づいて非線形モデルを生成することができる。いくつかの実施形態において、モデル生成ユニット３１２は、複数のセグメントの線形サブモデルを生成することができ、サブモデルを集約して非線形モデルを生成することができる。上述したように、マシンラーニングは、サブモデルをトレーニングするのに使用することができる。線形サブモデルは、セグメントの各々がより良い線形性を有するので、複数のセグメントによく適合することができる。モデル生成ユニット３１２は、非線形モデルを生成するために、トレーニングデータ内のそれぞれのセグメントの順番にサブモデルを結合することができる。
【００２６】
図４は、この開示の実施形態に従う、例示セグメント化トレーニングデータの概略図を説明する。例えば、複数のブレークライン位置（例えば、５以上のブレークライン位置）の中で、ブレークライン位置＃１、＃２、＃３、＃４のエントロピー変化は、所定のしきい値より大きい。この開示の実施形態に従ってセグメント化された例示トレーニングデータにおいて、セグメント（０−ｘ１）、（ｘ１−ｘ２）、（ｓ２−ｘ３）、（ｘ３−ｘ４）、および（ｘ４−Ｅ）は、線形であり、従ってそれぞれ線形モデルにより適合することができる。これらの線形性モデルは、次に、オリジナルの、セグメント化されていない、トレーニングデータにより正確に適合するように、非線形モデルに集約することができる。この開示の他の態様は、非線形モデルをトレーニングするための方法に向けられる。
【００２７】
図５は、この開示の実施形態に従って、非線形モデルをトレーニングするための例示方法５００のフローチャートを説明する。例えば、方法５００は、システム２００をトレーニングすることにより実行することができ、下記に説明するように、ステップＳ５０２−Ｓ５１０を含むことができる。
【００２８】
ステップＳ５０２において、トレーニングシステム２００は、トレーニングデータを獲得することができる。トレーニングデータは、過去のデータであり得、同じ入力データと、対応する監視信号を含み、監視信号は、サンプルデータに関連づけられた結果を示す出力値（例えば、「０」または「１」）であり得る。例えば、トレーニングデータは、二人以上の乗客によりシェアされる乗り物の確率を決定するためのモデルをトレーニングするのに使用することができ、さらに、輸送サービス価格を決定するのに使用することができる。
【００２９】
ステップＳ５０４において、トレーニングシステム２００は、トレーニングデータ内の複数のブレークライン位置に複数のブレークラインを配置することができる。対応するブレークライン位置における各ブレークラインは、トレーニングデータの特定のデータ構造を示すことができる。いくつかの実施形態において、トレーニングデータ「１２２２２１１１１１」の場合、任意の２つの数の間にブレークラインを有することができる。例えば、第１のブレークラインは、「１」と「２２２２１１１１１」との間に配置することができるので、データは、「１｜２２２２１１１１１」として分割される。データは、異なるブレークライン位置に配置された２以上のブレークラインにより、複数の仮想セグメントに分割することができる。
【００３０】
ステップＳ５０６において、トレーニングシステム２００は、少なくとも１つのブレークライン位置を選択することができる。いくつかの実施形態において、トレーニングシステム２００は、さらに、各ブレークライン位置に関するエントロピー変化を決定することができる。エントロピーは、データの状態の予測不可能性の尺度である。上述したように、データがよく順番づけられている（例えば、線形）であるとき、データのエントロピーは、相対的に小さい。すなわち、データがより線形であるほど、エントロピーはより小さくなる。
【００３１】
エントロピー変化を決定するために、トレーニングシステム２００は、トレーニングデータに基づいてオリジナルエントロピーを決定し、ブレークライン位置により分割された、仮想セグメントのエントロピーに基づいて、ブレーキングエントロピーを決定し、オリジナルエントロピーおよびブレーキングエントロピーに基づいて、ブレーキング位置に関連づけられたエントロピー変化を決定することができる。
【００３２】
オリジナルエントロピーは、全体として、トレーニングデータに基づいて、決定することができる。次に、トレーニングシステム２００は、オリジナルトレーニングデータを、１つまたは複数のブレーキングラインを用いて、２以上の仮想セグメントに分割することができ、各仮想セグメントのサブエントロピーを決定することができる。例えば、ブレークラインは、トレーニングデータの第１のサブセットと第２のサブセットを生成することができ、従って、第１のサブセットと第２のサブセットに対応する、第１のサブエントロピーと第２のサブエントロピーを決定することができる。トレーニングシステム２００は、例えば、第１および第２のサブエントロピーに基づいて、ブレークライン位置に関連づけられたブレーキングエントロピーを決定することができる。いくつかの実施形態において、ブレーキングエントロピーは、第１および第２のエントロピーの重みづけされた合計に基づいて、決定することができる。例えば、ブレーキングエントロピーは、上述した式２に従って、決定することができる。式２に関する詳細は、上述した記載に言及することができ、明瞭さのために反復しない。
【００３３】
オジナルエントロピーとブレーキングエントロピーに基づいて、トレーニングシステム２００は、オリジナルエントロピーとブレーキングエントロピーとの間の差分を決定することにより、対応するブレーキング位置のエントロピー変化を決定することができる。
【００３４】
ブレーキングエントロピーを決定する上記方法において、第１の仮想セグメントは、トレーニングデータの第１のブレークライン位置と、第１のノード（例えば、データ一次元のときの第１のデジット）との間にあり得、第１のノードは、第１のブレークライン位置の隣接ブレークライン位置として考えることができる。トレーニングデータの第１のノードと最後のノードの両方は、ブレークライン位置と考えることができることが企図される。第２の仮想セグメント（例えば、「２２１」）は、第１のブレークポイント位置と、第２のブレークポイント位置との間にあり、第２のブレークライン位置は、第１のブレークライン位置の隣接ブレークライン位置である。
【００３５】
ブレーキングエントロピーを決定する方法は、上述した例示方法とは異なり得ることが企図される。例えば、上記例示方法において、２つの隣接ブレークライン間の仮想セグメントのサブエントロピーに基づいて、ブレーキングエントロピーを決定することができる。ブレーキングエントロピーは、また、仮想セグメントおよび残りのトレーニングデータに基づいて決定することができる。例えば、第１のブレーキングエントロピーは、「１２」と「２２１１１１１」のエントロピーに基づいて決定することができ、第２のブレーキングエントロピーは、「２２１」と「１１１１１」のエントロピーに基づいて決定することができる。ブレーキングエントロピーの重みは、それに応じて変える必要がある。それゆえ、ブレーキングエントロピーの決定は、上記例に限定されない。
【００３６】
また、エントロピー変化は、トレーニングデータの線形性の変化を示す、情報エンハンスメントと呼ぶことができる。トレーニングシステム２００は、各ブレークライン位置のエントロピー変化を決定することができる。エントロピー変化に基づいて、トレーニングシステム２００は、各々が、所定のしきい値より大きいエントロピー変化に関連づけられた、少なくとも１つのブレークライン位置を選択することができる。所定のしきい値は、経験値であるか、またはトレーニングされるモデルに従って調整することができる。上述したように、より大きなエントロピーは、より小さな線形性を示す。それゆえ、ブレークラインに関連づけられたエントロピー変化が、所定しきい値より大きいとき、トレーニングデータの線形性は、大きく改善されたことを示す。より小さな線形性を有するトレーニングデータを、各々がより高い線形性を有する２つの仮想セグメントにブレークすることにより、トレーニングデータ全体の線形性を改善することができる。言い換えれば、トレーニングデータの各セグメントは、オリジナルトレーニングデータよりも、より線形であり得る。それゆえ、選択された少なくとも１つのブレークライン位置に従って生成された、正確に適合する線形モデルを生成する可能性がある。
【００３７】
ステップＳ５０８において、トレーニングシステム２００は、トレーニングデータを、選択されたブレークライン位置に従って、複数のセグメントにセグメント化することができ、セグメントは、モデル化のためのトレーニングデータとして使用することができる。
【００３８】
ステップＳ５１０において、セグメントに基づいて、トレーニングシステム２００は、非線形モデルを生成することができる。いつかの実施形態において、トレーニングシステム２００は、複数のセグメントの線形サブモデルを生成することができ、さらに、サブモデルを集約して非線形モデルを生成することができる。上述したように、マシンラーニングは、サブモデルをトレーニングするために使用することができる。線形サブモデルは、これらのセグメントの各々が、より良い線形性を有するので、複数のセグメントによく適合することができる。トレーニングシステム２００は、非線形モデルを生成するために、トレーニングデータ内のそれぞれのセグメントの順番に、サブモデルを接続することができる。
【００３９】
この開示の他の態様は、実行されると、１つまたは複数のプロセッサに上述した方法を実行させる命令を記憶する非一時的コンピュータ可読媒体に向けられている。コンピュータ可読媒体は、揮発性、不揮発性、磁気、半導体、テープ、光学、取外し可能、取外し不可、または他のタイプのコンピュータ可読媒体またはコンピュータ可読記憶媒体を含むことができる。例えば、コンピュータ可読媒体は、上述したように、コンピュータ命令が記憶された記憶デバイスまたはメモリモジュールであり得る。いくつかの実施形態において、コンピュータ可読媒体は、コンピュータ命令が記憶されたディスクまたはフラッシュドライブであり得る。
【００４０】
当業者には、種々の変更および変形が開示された位置決めシステムおよび関連する方法に可能であることは明白であろう。明細書の考察および開示されたシステムおよび関連した方法の実施から、当業者には他の実施形態は、明白であろう。上述した実施形態は、例として、一次元データを用いて記載したが、記載したトレーニングデータは、２次元以上の任意の可能なデータを含むことができる。明細書と例は、例示のみであり、真のスコープは、以下の特許請求の範囲およびそれらの均等物により示されることが意図される。
【図１ａ】
2020530607.tif 000005
【図１ｂ】
2020530607.tif 000006
【図１ｃ】
2020530607.tif 000007
【図２】
2020530607.tif 000008
【図３】
2020530607.tif 000009
【図４】
2020530607.tif 000010
【図５】
2020530607.tif 000011
【手続補正書】
【提出日】令和2年2月14日(2020.2.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
非線形モデルをトレーニングするコンピュータインプリメントマシンラーニング方法において、
通信インタフェースを介して、トレーニングデータを獲得するステップと、
プロセッサにより、前記トレーニングデータ内の複数のブレークライン位置に複数のブレークラインを配置するステップと、
前記プロセッサにより、前記トレーニングデータ内の前記複数のブレークライン位置の各々に関するエントロピー変化を決定するステップと、
前記プロセッサにより、前記少なくとも１つの選択されたブレークライン位置の各々が、所定のしきい値より大きい前記エントロピー変化に関連づけられた、前記トレーニングデータ内の前記複数のブレークライン位置の少なくとも１つを選択するステップと、
前記プロセッサにより、前記トレーニングデータ内の前記少なくとも１つの選択されたブレークライン位置に従って、前記トレーニングデータを複数のセグメントにセグメント化するステップと、
前記プロセッサにより、前記複数のセグメントに基づいて、前記非線形モデルを生成するステップと、
を備えた、非線形モデルをトレーニングするコンピュータインプリメントマシンラーニング方法。
【請求項２】
前記所定のしきい値は、前記非線形モデルの深さに従って決定される、請求項１に記載の方法。
【請求項３】
前記トレーニングデータ内の前記複数のブレークライン位置の各々に関するエントロピー変化を前記決定するステップは、
セグメント化されていないトレーニングデータに基づいて、前記複数のブレークライン位置の各々のオリジナルエントロピーを決定するステップと、
前記複数のブレークライン位置に関連づけられた前記トレーニングデータの仮想セグメントに基づいて前記複数のブレークライン位置の各々のブレーキングエントロピーを決定するステップと、
前記オリジナルエントロピー及び前記複数のブレークライン位置の前記ブレーキングエントロピーに基づいて前記複数のブレークライン位置の各々の前記エントロピー変化を決定するステップと、
をさらに備えた、請求項１に記載の方法。
【請求項４】
前記複数のセグメントに基づいて、前記非線形モデルを前記生成するステップは、
前記複数のセグメントに関するサブモデルを生成するステップと、
前記サブモデルを集約することにより前記非線形モデルを生成するステップと、
をさらに備えた、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記複数のブレークライン位置に関連づけられた前記トレーニングデータの前記仮想セグメントは、第１の仮想セグメントおよび第２の仮想セグメントを含み、前記複数のブレークライン位置に関連づけられた前記トレーニングデータの前記仮想セグメントに基づいて前記複数のブレークライン位置の各々の前記ブレーキングエントロピーを前記決定するステップは、
前記トレーニングデータの前記第１の仮想セグメントに関する、第１のエントロピーを決定するステップと、
前記トレーニングデータの前記第２の仮想セグメントに関する、第２のエントロピーを決定するステップと、
前記第１のエントロピーと前記第２のエントロピーに基づいて、前記複数のブレークライン位置の各々の前記ブレーキングエントロピーを決定するステップと、
をさらに備えた、請求項３または４に記載の方法。
【請求項６】
前記複数のブレークライン位置の前記ブレーキングエントロピーは、前記第１のエントロピーと前記第２のエントロピーの、重みづけされた合計に基づいて決定される、請求項５に記載の方法。
【請求項７】
前記第１の仮想セグメントは、前記ブレークライン位置と、前記ブレークライン位置の第１の隣接ブレークライン位置との間にあり、前記第２の仮想セグメントは、前記ブレークライン位置と前記ブレークライン位置の第２の隣接ブレークライン位置との間にある、請求項５または６に記載の方法。
【請求項８】
前記サブモデルの各々は、線形モデルである、請求項４に記載の方法。
【請求項９】
前記サブモデルを前記集約するステップは、前記サブモデルを、前記トレーニングデータ内の前記それぞれのセグメントの順番に、接続するステップを含む、請求項４乃至８のいずれか一項に記載の方法。
【請求項１０】
前記非線形モデルは、輸送サービスに関する価格を生成するように構成される、請求項１に記載の方法。
【請求項１１】
非線形モデルをトレーニングするマシンラーニングシステムにおいて、
トレーニングデータを受信するように構成された通信インタフェースと、
前記トレーニングデータと、前記非線形モデルを記憶するように構成されたメモリと、
前記トレーニングデータ内の複数のブレークライン位置に複数のブレークラインを配置し、
前記トレーニングデータ内の前記複数のブレークライン位置の各々に関するエントロピー変化を決定し、
前記トレーニングデータ内の前記選択された少なくとも１つのブレークライン位置の各々が、所定しきい値より大きいエントロピー変化に関連づけられた、少なくとも１つのブレークライン位置を選択し、
前記少なくとも１つの選択されたブレークライン位置に従って、前記トレーニングデータを複数のセグメントにセグメント化し、
前記複数のセグメントに基づいて、前記非線形モデルを生成する、
ように構成された少なくとも１つのプロセッサと、
を備えた、非線形モデルをトレーニングするマシンラーニングシステム。
【請求項１２】
前記プロセッサは、
セグメント化されていないトレーニングデータに基づいて前記複数のブレークライン位置の各々に関するオリジナルエントロピーを決定し、
前記複数のブレークライン位置に関連づけられた前記トレーニングデータの仮想セグメントに基づいて前記複数のブレークライン位置の各々に関するブレーキングエントロピーを決定し、
前記オリジナルエントロピーと、前記複数のブレークライン位置の前記ブレーキングエントロピーに基づいて前記複数のブレークライン位置の各々に関する前記エントロピー変化を決定する、
ようにさらに構成された、請求項１１に記載のシステム。
【請求項１３】
前記トレーニングデータの仮想セグメントは、第１の仮想セグメントと第２の仮想セグメントを含み、前記プロセッサはさらに、
前記トレーニングデータの、前記第１の仮想セグメントに関する、第１のエントロピーを決定し、
前記トレーニングデータの、前記第２の仮想セグメントに関する、第２のエントロピーを決定し、
前記第１のエントロピーと前記第２のエントロピーに基づいて、前記複数のブレークライン位置の各々に関する、前記ブレーキングエントロピーを決定する、
ようにさらに構成された、請求項１１または１２に記載のシステム。
【請求項１４】
前記複数のブレークライン位置の前記ブレーキングエントロピーは、前記第１のエントロピーと前記第２のエントロピーの、重みづけされた合計に基づいて決定される、請求項１５に記載のシステム。
【請求項１５】
電子デバイスの少なくとも１つのプロセッサにより実行されると、前記電子デバイスに非線形モデルをトレーニングする方法を実行させる命令のセットを記憶する非一時的コンピュータ可読媒体において、前記方法は、
トレーニングデータを獲得するステップと、
前記トレーニングデータ内の複数のブレークライン位置に、複数のブレークラインを配置するステップと、
前記トレーニングデータ内の前記複数のブレークライン位置の各々に関するエントロピー変化を決定するステップと、
前記少なくとも１つの選択されたブレークライン位置の各々が、所定しきい値より大きい前記エントロピー変化に関連づけられた、前記トレーニングデータ内の前記複数のブレークライン位置の少なくとも１つを選択するステップと、
前記少なくとも１つの選択されたブレークライン位置に従って、前記トレーニングデータを、複数のセグメントにセグメント化するステップと、
前記複数のセグメントに基づいて、前記非線形モデルを生成するステップと、
を備えた、非一時的コンピュータ可読媒体。
【国際調査報告】
2020530607.tif 000012
2020530607.tif 000013