(57)【要約】  インスタンス重み付け学習（ＩＷＬ）機械学習モデルに関する。一実施形態においては、分類子をトレーニングするためにインスタンス重み付け学習の機械学習モデルを採用する方法が、強化学習機械学習トレーニングインスタンスの時間シーケンス内のそれぞれの機械学習トレーニングインスタンスに関連付けられるべきである品質値を特定する工程と、対応する特定された品質値を機械学習トレーニングインスタンスのそれぞれに関連付ける工程と、機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程とを含むことができる。機械学習トレーニングインスタンスのそれぞれは、状態／アクションペアを含み、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいてトレーニング中に重み付けされ、それによって分類子は、より低い品質値を有する機械学習トレーニングインスタンスからよりも、より高い品質値を有する機械学習トレーニングインスタンスから、より多くを学習する。
2016505974.tif 000002
【特許請求の範囲】
【請求項１】
インスタンス重み付け学習機械学習モデルを適用するための方法において、
強化学習機械学習トレーニングインスタンスのセット内のそれぞれの機械学習トレーニングインスタンスに品質値を関連付ける工程であって、前記機械学習トレーニングインスタンスのそれぞれが、状態／アクションペアを含んでなる、強化学習機械学習トレーニングインスタンスのセット内のそれぞれの機械学習トレーニングインスタンスに品質値を関連付ける工程と、
強化学習を用いて、前記機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程であって、前記機械学習トレーニングインスタンスのそれぞれが、その関連付けられている品質値に基づいて前記トレーニング中に重み付けされる、前記機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程とを備える、方法。
【請求項２】
前記分類子が、より低い品質値を有する機械学習トレーニングインスタンスからよりも、より高い品質値を有する機械学習トレーニングインスタンスから、より多くを学習する、請求項１に記載の方法。
【請求項３】
前記機械学習トレーニングインスタンスのそれぞれが、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいて前記トレーニング中に重み付けされる、請求項２に記載の方法。
【請求項４】
前記分類子が、多層パーセプトロン（ＭＬＰ）ニューラルネットワーク、別の多層ニューラルネットワーク、決定木、又はサポートベクターマシンを含んでなる、請求項２に記載の方法。
【請求項５】
前記機械学習トレーニングインスタンスに関連付けられるべきである前記品質値を特定する工程をさらに備える、請求項１に記載の方法。
【請求項６】
機械学習トレーニングインスタンスの前記セットが、機械学習トレーニングインスタンスの時間シーケンスを含んでなり、
前記機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである前記品質値を特定する工程が、前記時間シーケンス内の現在の機械学習トレーニングインスタンスの報酬を特定する工程と、前記時間シーケンス内の前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである前記報酬の割引部分を特定する工程とを含んでなる、
請求項５に記載の方法。
【請求項７】
請求項１に記載の方法をプロセッサに実行させるように構成されているプログラムを格納している非一時的なコンピュータ可読メディア。
【請求項８】
分類子をトレーニングするためにインスタンス重み付け学習機械学習モデルを適用するための方法において、
強化学習を用いて、強化学習機械学習トレーニングインスタンスのセットを使用して分類子をトレーニングする工程を備え、前記機械学習トレーニングインスタンスのそれぞれが、状態／アクションペアを含んでなり、前記機械学習トレーニングインスタンスに関連付けられている品質値に基づいて前記トレーニング中に重み付けされ、それによって前記分類子が、より低い品質値を有する機械学習トレーニングインスタンスからよりも、より高い品質値を有する機械学習トレーニングインスタンスから、より多くを学習する、方法。
【請求項９】
前記機械学習トレーニングインスタンスのそれぞれが、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいて前記トレーニング中に重み付けされる、請求項８に記載の方法。
【請求項１０】
前記機械学習トレーニングインスタンスに関連付けられるべきである前記品質値を特定する工程と、
前記特定された品質値を前記機械学習トレーニングインスタンスに関連付ける工程と
をさらに備える、請求項８に記載の方法。
【請求項１１】
機械学習トレーニングインスタンスの前記セットが、機械学習トレーニングインスタンスの時間シーケンスを含んでなり、
前記機械学習トレーニングインスタンスに関連付けられるべきである前記品質値を特定する工程が、前記時間シーケンス内の現在の機械学習トレーニングインスタンスの報酬を特定する工程と、前記時間シーケンス内の前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである前記報酬の割引部分を特定する工程とを含んでなり、
前記前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである前記報酬の前記割引部分が、前記前の機械学習トレーニングインスタンスのそれぞれが前記現在の機械学習トレーニングインスタンスからの前記時間シーケンス内に配置される分だけ低減される、
請求項１０に記載の方法。
【請求項１２】
前記品質値のそれぞれが、プラス又はマイナスであることが可能であり、プラスの品質値が、前記関連付けられている機械学習トレーニングインスタンスに類似したインスタンスをサポートすることを学習することを促す傾向があり、マイナスの品質値が、前記対応する機械学習トレーニングインスタンスに類似したインスタンスをサポートすることを学習することを抑制する傾向がある、請求項８に記載の方法。
【請求項１３】
請求項８に記載の方法をプロセッサに実行させるように構成されているプログラムを格納している非一時的なコンピュータ可読メディア。
【請求項１４】
分類子をトレーニングするためにインスタンス重み付け学習（ＩＷＬ）機械学習モデルを適用するための方法において、
強化学習機械学習トレーニングインスタンスの時間シーケンス内のそれぞれの機械学習トレーニングインスタンスに関連付けられるべきである品質値を特定する工程であって、前記機械学習トレーニングインスタンスのそれぞれが、状態／アクションペアを含んでなる、強化学習機械学習トレーニングインスタンスの時間シーケンス内のそれぞれの機械学習トレーニングインスタンスに関連付けられるべきである品質値を特定する工程と、
前記対応する特定された品質値を前記機械学習トレーニングインスタンスのそれぞれに関連付ける工程と、
強化学習を用いて、前記機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程であって、前記機械学習トレーニングインスタンスのそれぞれが、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいて前記トレーニング中に重み付けされ、それによって前記分類子が、より低い品質値を有する機械学習トレーニングインスタンスからよりも、より高い品質値を有する機械学習トレーニングインスタンスから、より多くを学習する、前記機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程とからなる方法。
【請求項１５】
前記機械学習トレーニングインスタンスのそれぞれが、次の式
ｕ（ｑ）＝（ａ＋ｂ・ｑ）であり、この場合、
ｑは、前記関連付けられている品質値であり、
ｕ（ｑ）は、前記重み付け係数であり、
ａは、第１の経験的パラメータであり、
ｂは、第２の経験的パラメータである
に従って、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいて前記トレーニング中に重み付けされる、請求項１４に記載の方法。
【請求項１６】
前記機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである前記品質値を特定する工程が、前記時間シーケンス内の現在の機械学習トレーニングインスタンスの報酬を特定する工程と、前記時間シーケンス内の前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである前記報酬の割引部分を特定する工程とを含んでなり、
前記前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである前記報酬の前記割引部分が、それぞれの前の機械学習トレーニングインスタンスが前記現在の機械学習トレーニングインスタンスからの前記時間シーケンス内に配置される分だけ低減される、
請求項１４に記載の方法。
【請求項１７】
請求項１４に記載の方法をプロセッサに実行させるように構成されているプログラムを格納している非一時的なコンピュータ可読メディア。
【請求項１８】
前記機械学習トレーニングインスタンスのそれぞれが、複数出力依存機械学習トレーニングインスタンスであって、前記複数出力依存機械学習トレーニングインスタンスのそれぞれが、複数の相互に依存している出力構成要素を含んでなり、
前記強化学習を用いて、前記複数出力依存機械学習トレーニングインスタンスのそれぞれを使用して前記分類子をトレーニングする工程が、前記トレーニングにおいて階層ベースシーケンシング機械学習モデル又は複数出力緩和機械学習モデルを採用する工程を含む、
請求項１４に記載の方法。
【請求項１９】
前記複数出力依存機械学習トレーニングインスタンスのそれぞれが、リード応答管理複数出力依存機械学習トレーニングインスタンスである、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インスタンス重み付け学習（ＩＷＬ：ｉｎｓｔａｎｃｅ  ｗｅｉｇｈｔｅｄ
ｌｅａｒｎｉｎｇ）機械学習モデルに関する。
【背景技術】
【０００２】
機械学習は、コンピュータが経験的データに基づいて行動を進化させることを可能にするために採用される一種の人工知能である。機械学習は、トレーニング例を、それらの例の未知の基礎をなす確率分布において関心のある特徴を取り込むために利用することができる。トレーニング・データは、観察されている変数同士の間における関係を示す例とみなされることが可能である。機械学習研究の主要な焦点は、複雑なパターンを認識することと、データに基づいてインテリジェントな決定を行うこととを自動的に学習することである。
【０００３】
機械学習の一例が、教師あり学習（ＳＬ：ｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ）である。「教師あり学習」の目的は、ラベル付けされたトレーニングインスタンスのセットＴ＝｛（ｘ１，ｙ１），（ｘ２，ｙ２），…，（ｘｎ，ｙｎ）｝から正確なマッピング関数ｇ：Ｘ→Ｙを学習することであり、ここで、ｘｉ∈Ｘが、入力空間Ｘからのサンプルであり、ｙｉ∈Ｙが、出力空間Ｙ（ｉ∈｛１，２，…，ｎ｝）からのラベルである。マッピング関数ｇは、仮説空間Ｇにおける可能なマッピング関数の要素である。従来の「教師あり学習」においては、すべてのトレーニングインスタンスはマッピング関数ｇ上で同じ影響力を有するはずであるという仮定に基づいて、すべてのトレーニングインスタンスは、等しく関連性のあるものとして扱われる。
【０００４】
しかしながら、現実世界の用途においては、すべてのトレーニングインスタンスが同一の関連性を有するとは限らず、トレーニングインスタンス（ｘｉ，ｙｉ）における入力ｘｉ及びラベルｙｉの両方の関連性にはバリエーションが存在することがある。たとえば、天気予報に関して「教師あり学習」を使用する場合には、トレーニング・データは、温度、風、湿度などに関する測定値などの気象データの履歴サンプルから構成されることが可能である。しかしながら、そのような測定値は、時刻、ロケーション、採用されている機器などによるバリエーションを含むバリエーションを有する場合がある。たとえば、トレーニング・データが別々のソースから収集される場合には、１つのソース（たとえば、優位な測定方法、優位な機器などを有するソース）からのトレーニングインスタンスは、別のソース（たとえば、劣位な測定方法、劣位な機器などを有するソース）からのトレーニングインスタンスよりも高い関連性を有する場合がある。この例において、従来の「教師あり学習」は、別々のソースからのトレーニングインスタンスを、等しく関連性のあるものとみなすであろう。結果として、より高い関連性のトレーニングインスタンス、及びより低い関連性のトレーニングインスタンスが、「教師あり学習」中に同じ影響力を有することになり、ひいては「教師あり学習」は、トレーニングデータから正確なマッピング関数ｇを生成することができない場合がある。
【０００５】
別の例においては、トレーニングセットは、未知の入力値を有するいくつかのトレーニングインスタンスを含むことができる。トレーニングインスタンスは、多数の未知の入力値を有する場合には、信頼性が低くなることがあり（たとえば、誤ってラベル付けされている可能性が高くなることがあり）、ひいては、既知の入力値を有するトレーニングインスタンスよりも低い関連性を有することがある。トレーニングセットが、未知の入力値を有するかなりの数のトレーニングインスタンスを含んでいる場合には、従来の「教師あり学習」アルゴリズムは、低い関連性のインスタンスの潜在的な悪影響のために正確なマッ
ピング関数ｇを学習することができない可能性がある。
【０００６】
本明細書において特許請求されている主題は、あらゆる不利な点を解決する、又は上述の環境などの環境においてのみ機能する実施形態に限定されるものではない。むしろ、この背景技術は、本明細書において説明されているいくつかの実施形態が実施されることが可能である１つの例示的な技術分野を示すために提供されているにすぎない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般には、本明細書において説明されている例示的な実施形態は、分類子をトレーニングするためにインスタンス重み付け学習（ＩＷＬ）機械学習モデルを採用する方法に関する。本明細書に示している例示的な方法は、強化学習トレーニングインスタンスのセット内のそれぞれのトレーニングインスタンスに品質値を関連付けて、別々のトレーニングインスタンスの間における品質の差を反映することができる。次いで、トレーニングインスタンスのセットを使用した分類子のトレーニング中に、それぞれの品質値が、対応するトレーニングインスタンスを重み付けするために採用されることが可能であり、それによって、その分類子は、より低い品質値を有するトレーニングインスタンスからよりも、より高い品質値を有するトレーニングインスタンスから、より多くを学習する。
【課題を解決するための手段】
【０００８】
例示的な１実施形態においては、インスタンス重み付け学習の機械学習モデルを採用するための方法が、強化学習機械学習トレーニングインスタンスのセット内のそれぞれの機械学習トレーニングインスタンスに品質値を関連付ける工程と、強化学習を用いて、機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程とを含むことができる。この例においては、機械学習トレーニングインスタンスのそれぞれは、状態／アクションペアを含むことができ、機械学習トレーニングインスタンスのそれぞれは、その関連付けられている品質値に基づいてトレーニング中に重み付けされることが可能である。また、この例においては、分類子は、より低い品質値を有する機械学習トレーニングインスタンスからよりも、より高い品質値を有する機械学習トレーニングインスタンスから、より多くを学習することができる。さらに、この例においては、機械学習トレーニングインスタンスのそれぞれは、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいてトレーニング中に重み付けされることが可能である。また、この例においては、分類子は、多層パーセプトロン（ＭＬＰ：ｍｕｌｔｉｌａｙｅｒ  ｐｅｒｃｅｐｔｒｏｎ）ニューラルネットワーク、別の多層ニューラルネットワーク、決定木、又はサポートベクターマシンであることが可能である。さらに、この例においては、この方法は、機械学習トレーニングインスタンスに関連付けられるべきである品質値を特定する工程を含むこともできる。さらに、この例においては、機械学習トレーニングインスタンスのセットは、機械学習トレーニングインスタンスの時間シーケンスを含むことができ、機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである品質値を特定する工程は、時間シーケンス内の現在の機械学習トレーニングインスタンスの報酬を特定する工程と、時間シーケンス内の前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである報酬の割引部分を特定する工程とを含むことができる。
【０００９】
別の例示的な実施形態においては、分類子をトレーニングするためにインスタンス重み付け学習の機械学習モデルを採用する方法が、強化学習を用いて、強化学習機械学習トレーニングインスタンスのセットを使用して分類子をトレーニングする工程を含むことができる。機械学習トレーニングインスタンスのそれぞれは、状態／アクションペアを含み、その機械学習トレーニングインスタンスに関連付けられている品質値に基づいてトレーニング中に重み付けされ、それによって分類子は、より低い品質値を有する機械学習トレー
ニングインスタンスからよりも、より高い品質値を有する機械学習トレーニングインスタンスから、より多くを学習する。この例においては、機械学習トレーニングインスタンスのそれぞれは、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいてトレーニング中に重み付けされることが可能である。また、この例においては、この方法は、機械学習トレーニングインスタンスに関連付けられるべきである品質値を特定する工程と、特定された品質値を機械学習トレーニングインスタンスに関連付ける工程とをさらに含むことができる。さらに、この例においては、機械学習トレーニングインスタンスのセットは、機械学習トレーニングインスタンスの時間シーケンスを含むことができ、機械学習トレーニングインスタンスに関連付けられるべきである品質値を特定する工程は、時間シーケンス内の現在の機械学習トレーニングインスタンスの報酬を特定する工程と、時間シーケンス内の前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである報酬の割引部分を特定する工程とを含むことができ、前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである報酬の割引部分は、前の機械学習トレーニングインスタンスのそれぞれが現在の機械学習トレーニングインスタンスからの時間シーケンス内に配置される分だけ低減されることが可能である。また、この例においては、品質値のそれぞれは、プラス又はマイナスであることが可能であり、プラスの品質値は、関連付けられている機械学習トレーニングインスタンスに類似したインスタンスをサポートすることを学習することを促す傾向があり、マイナスの品質値は、対応する機械学習トレーニングインスタンスに類似したインスタンスをサポートすることを学習することを抑制する傾向がある。
【００１０】
さらに別の例示的な実施形態においては、分類子をトレーニングするためにインスタンス重み付け学習の機械学習モデルを採用する方法が、強化学習機械学習トレーニングインスタンスの時間シーケンス内のそれぞれの機械学習トレーニングインスタンスに関連付けられるべきである品質値を特定する工程と、対応する特定された品質値を機械学習トレーニングインスタンスのそれぞれに関連付ける工程と、強化学習を用いて、機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程とを含むことができる。機械学習トレーニングインスタンスのそれぞれは、状態／アクションペアを含み、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいてトレーニング中に重み付けされ、それによって分類子は、より低い品質値を有する機械学習トレーニングインスタンスからよりも、より高い品質値を有する機械学習トレーニングインスタンスから、より多くを学習する。この例示的な実施形態においては、機械学習トレーニングインスタンスのそれぞれは、次の式に従って、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいてトレーニング中に重み付けされることが可能であり、ｕ（ｑ）＝（ａ＋ｂ・ｑ）であり、この場合、ｑは、関連付けられている品質値であり、ｕ（ｑ）は、重み付け係数であり、ａは、第１の経験的パラメータであり、ｂは、第２の経験的パラメータである。また、この実施形態においては、機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである品質値を特定する工程は、時間シーケンス内の現在の機械学習トレーニングインスタンスの報酬を特定する工程と、時間シーケンス内の前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである報酬の割引部分を特定する工程とを含むことができ、前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである報酬の割引部分は、それぞれの前の機械学習トレーニングインスタンスが現在の機械学習トレーニングインスタンスからの時間シーケンス内に配置される分だけ低減されることが可能である。さらに、この実施形態においては、機械学習トレーニングインスタンスのそれぞれは、複数出力依存（ＭＯＤ）機械学習トレーニングインスタンスであることが可能であり、複数出力依存機械学習トレーニングインスタンスのそれぞれは、複数の相互に依存している出力構成要素を含み、強化学習を用いて、複数出力依存機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程は、トレーニングにおいて階層ベースシーケンシング（ＨＢＳ）機械学習モデル又は複数出力緩和機械学
習モデルを採用する工程を含むことができる。また、この実施形態においては、複数出力依存機械学習トレーニングインスタンスのそれぞれは、リード（見込み客）応答管理（ＬＲＭ）複数出力依存機械学習トレーニングインスタンスであることが可能である。
【００１１】
前述の概要及び以降の詳細な説明は両方とも、説明のための例示的なものであり、特許請求されている本発明を限定するものではないということを理解されたい。
添付の図面の使用を通じてさらなる具体性及び詳細を伴って、例示的な実施形態について記載及び説明する。
【図面の簡単な説明】
【００１２】
【図１】例示的な連絡先サーバを含む例示的なリード応答管理システムを示す概略ブロック図。
【図２】図１の例示的な連絡先サーバのさらなる詳細を示す概略ブロック図。
【図３】割引報酬を伝搬することによってトレーニングインスタンスの品質を導出する例示的な方法を示す概略フローチャート図。
【図４】例示的な多層パーセプトロン（ＭＬＰ）ニューラルネットワーク分類子のトレーニングにおいて採用されている例示的なインスタンス重み付け学習（ＩＷＬ）機械学習モデルを示す概略フローチャート図。
【図５】分類子をトレーニングするためにインスタンス重み付け学習の機械学習モデルを採用する例示的な方法の概略フローチャート図。
【図６】例示的な入力特徴ベクトルを示すテキスト図。
【図７】複数の正しい複数出力依存出力決定の概略フローチャート図。
【図８】例示的な顧客関係管理（ＣＲＭ）システムのユーザインターフェースの例示的なコンピュータスクリーンの画像。
【図９】例示的なリード応答管理システムのユーザインターフェースの例示的なコンピュータスクリーンの画像。
【図１０Ａ】エージェントによってリードが選択される前の例示的なリードアドバイザ表示の例示的なコンピュータスクリーンの画像。
【図１０Ｂ】エージェントによってリードが選択された後の図１０Ａの例示的なリードアドバイザ表示の例示的なコンピュータスクリーンの画像。
【発明を実施するための形態】
【００１３】
本明細書において説明されているいくつかの実施形態は、分類子をトレーニングするためにインスタンス重み付け学習（ＩＷＬ）機械学習モデルを採用する方法を含む。本明細書に示している例示的な方法は、強化学習トレーニングインスタンスのセット内のそれぞれのトレーニングインスタンスに品質値を関連付けて、別々のトレーニングインスタンスの間における品質の差を反映することができる。次いで、トレーニングインスタンスのセットを使用した分類子のトレーニング中に、それぞれの品質値が、対応するトレーニングインスタンスを重み付けするために採用されることが可能であり、それによって、その分類子は、より低い品質値を有するトレーニングインスタンスからよりも、より高い品質値を有するトレーニングインスタンスから、より多くを学習する。
【００１４】
本明細書において使用される際には、「複数出力依存」又は「ＭＯＤ」という用語は、それぞれの構成要素が、入力だけでなくその他の構成要素にも依存しているという点で相互に依存している複数の出力構成要素を含む出力決定、又は出力決定を有する問題を指す。いくつかの例示的な複数出力依存問題は、１）現在の株式市況を前提としてミューチュアル・ファンドのバランスを取るためには、株式のどの組合せを購入するか、２）敵対チームの現在のラインアップを前提としてプレーヤのどの組合せをスポーツチームのラインアップへと投入するか、ならびに３）現在の気象状況を前提としてシャツ、ズボン、ベルト、及び靴のどの組合せを着用するかを含むが、それらに限定されない。これらの例のそ
れぞれにおいては、出力決定のそれぞれの構成要素は、入力（現在の株式市況、敵対チームのラインアップ、又は現在の気象状況）、及びその他の構成要素（購入されるその他の株式、その他の投入されるプレーヤ、又は選択されるその他の衣類）の両方に依存する。複数出力依存問題のその他の例は、人質交渉、小売販売、オンラインショッピングカート、ウェブコンテンツ管理システム、顧客サービス、契約交渉、もしくは危機管理、又は、複数の相互に依存している出力構成要素を伴う出力決定を必要とするその他の任意の状況に関連する場合がある。
【００１５】
別の例示的な複数出力依存問題は、リード応答管理である。リード応答管理とは、連絡率又は認定率を最適化する様式でリードに応答する工程である。リードは、さまざまなソースから生じる場合があり、それらのソースとしては、ウェブフォーム、紹介、及び、リードベンダーから購入されたリストが含まれるが、それらに限定されない。リードが組織に入ってきた場合に、そのリードにどのように応答するかという出力決定は、複数の相互に依存している構成要素を含むことができ、それらの構成要素は、誰がそのリードに応答すべきか、そのリードに応答するためにどんな方法が採用されるべきか、応答メッセージ内にどんなコンテンツが含まれるべきか、及びいつ応答を行うべきかなどであるが、それらに限定されない。出力決定のこれらの構成要素のそれぞれは、入力（リード情報）及びその他の構成要素の両方に依存する。たとえば、応答のタイミングは、応答するために選択された人の空き状況に依存する場合がある。また、メッセージのコンテンツは、応答の方法に依存する場合がある（たとえば、電子メールメッセージの長さは、テキスト・メッセージの長さのように制限されていないため）。本明細書に示している例示的な方法は一般に、リード応答管理のコンテキストにおいて説明されているが、本明細書に示している例示的な方法は、任意の単一出力問題、複数出力問題、又は複数出力依存問題を解決するために採用されることが可能であるということを理解されたい。
【００１６】
添付の図面を参照しながら、例示的な実施形態について説明する。図１は、例示的なリード応答管理システム１００を示す概略ブロック図である。示されているように、例示的なリード応答管理システム１００は、公衆交換電話網（ＰＳＴＮ）１１０、ユーザ通信及び／又はコンピューティングデバイス１１２、ＰＳＴＮ１００をインターネット１３０に接続するＴＤＭゲートウェイ１２０、リモートエージェントステーション１２１、ワークステーション１２８、コールセンター１４０、ローカルエリアネットワーク１６０をインターネット１３０に接続するインターネットゲートウェイ１５０、ウェブサーバ１７０、連絡先サーバ２００、リードデータサーバ１９０、ローカルエージェントワークステーション１９２、及びコントロールワークステーション１９４などのさまざまな構成要素を含む。例示的なリード応答管理システム１００のさまざまな構成要素は、連絡率又は認定率を最適化する様式でリードに応答する工程を協力して改善するために、動作可能に相互接続されている。
【００１７】
図１に示しているように、リモートエージェントステーション１２１は、ワイヤレス電話１２２、有線電話１２４、ワイヤレスコンピューティングデバイス１２６、及びワークステーション１２８を含む。特定の実施形態においては、ワイヤレス電話１２２又は有線電話１２４は、ボイスオーバーインターネットプロトコル電話であることが可能である。いくつかの実施形態においては、コンピューティングデバイス１２６又はワークステーション１２８は、ソフトフォンを備えていることが可能である。リモートエージェントステーション１２１は、エージェントが、ワークステーション１９２に配備されてローカルエリアネットワーク１６０に直接接続されているエージェントと同様に、リモートロケーションからリードに応答することを可能にする。
【００１８】
例示的な１実施形態においては、ローカルエリアネットワーク１６０は、ＰＳＴＮ１１０及び／又はインターネット１３０に接続されているユーザに連絡を取るためにＶｏＩＰ
及びその他のメッセージングサービスを使用するコールセンター１４０内に存在する。コールセンター１４０内のさまざまなサーバは、リードを獲得すること、リード情報を格納すること、それぞれのリードにいかに最良に応答するかを決定するためにリード情報を分析すること、たとえばローカルエージェントワークステーション１９２及びリモートエージェントステーション１２１などのエージェント端末を介してリードをエージェントに割り振ること、たとえばＰＳＴＮ１１０又はインターネット１３０を介してエージェントとリードとの間における通信を容易にすること、リードに対する試みられた及び成功したエージェント対話を追跡把握すること、ならびに、更新されたリード情報を格納することを行うために連携して機能する。ウェブサーバ１７０は、ブラウザで表示可能なウェブ・ページを介して１つ又は複数のウェブフォーム１７２をユーザに提供することができる。それらのウェブフォームは、ブラウザを備えている電話、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、メディアプレーヤなどを含むさまざまな通信及び／又はコンピューティングデバイス１１２を介してユーザに表示されることが可能である。ウェブフォーム１７２は、名前、肩書、業種、会社情報、住所、電話番号、ファックス番号、電子メールアドレス、インスタントメッセージングアドレス、紹介情報、空き状況情報、及び関心情報などの連絡先データを入力するようユーザに促すことができる。ウェブサーバ１７０は、ユーザがウェブフォームをサブミットしたことに応答して、ユーザに関連付けられているリード情報を受信すること、ならびに、そのリード情報を、たとえば連絡先サーバ２００及びリードデータサーバ１９０に提供することが可能である。
【００１９】
連絡先サーバ２００及びリードデータサーバ１９０は、リード情報を受信すること、ならびに、ウェブ分析データ、逆引き参照データ、信用調査データ、ウェブサイトデータ、ウェブサイトランク情報、ドゥノットコールレジストリデータ、顧客関係管理（ＣＲＭ）データベースからのデータ、及び身元調査情報など、関連したユーザに関連付けられているさらなるデータを取り出すことが可能である。リードデータサーバ１９０は、収集されたデータをリードプロフィール（図示せず）内に格納すること、及びユーザをリード応答管理プラン（図示せず）に関連付けることが可能である。
【００２０】
連絡先サーバ２００は、関連付けられているリード応答管理プランに従ってリードに連絡を取ることができ、連絡率又は認定率を最適化する様式でエージェントがリードに応答することを可能にするためにリード情報をエージェントに配信することができる。そのような連絡又は認定の特定の目的は、たとえば、リードとの関係を確立すること、リードが製品に関心を持ってくれたことに関してリードに謝意を表明すること、リードからの質問に回答すること、製品又はサービスのオファリングについてリードに知らせること、製品又はサービスを販売すること、リードのニーズ及び好みに関してリードを調査すること、及びサポートをリードに提供することを含むことができる。連絡先サーバ２００は、電子メールサービス、インスタントメッセージングサービス、ショートメッセージサービス、強化されたメッセージングサービス、テキストメッセージングサービス、電話ベースのテキストを音声に変換するサービス、及びマルチメディア配信サービスなどのさまざまな配信サービスを使用して、情報をエージェントに配信することができる。エージェント端末１２１又は１９２は、リード情報をエージェントに提示することができ、エージェントがリードと通信することによってそのリードに応答することを可能にすることができる。
【００２１】
図２は、図１の例示的な連絡先サーバ２００のさらなる詳細を示す概略ブロック図である。図２に示しているように、連絡先サーバ２００は、連絡先マネージャ２１０、ダイヤリングモジュール２２０、メッセージングモジュール２３０、ＰＢＸモジュール２４０、及び端末ハードウェア２５０を含む。示されている実施形態においては、連絡先マネージャは、インスタンス重み付け学習の機械学習モジュール２１２、リード応答管理プラン選択モジュール２１４、エージェント選択モジュール２１６、及びリードデータサーバアク
セスモジュール２１８を含む。連絡先サーバ２００内に示されているが、示されているモジュールは、部分的に又は全体的に、たとえばウェブサーバ１７０及びリードデータサーバ１９０などのその他のサーバ上に存在することが可能である。連絡先サーバ２００は、エージェントがリード応答管理プランに関連してリードと通信することを可能にする。
【００２２】
連絡先マネージャ２１０は、ユーザ及びエージェントとの連絡を確立し、必要とされる場合には連絡セッションを管理する。連絡先マネージャ２１０は、ダイヤリングモジュール２２０及び／又はメッセージングモジュール２３０を介して連絡を開始することができる。
【００２３】
インスタンス重み付け学習の機械学習モジュール２１２は、本明細書に示している例示的な方法に従って、分類子をトレーニングするためにインスタンス重み付け学習の機械学習モデルを採用し、次いで、複数出力依存出力決定の複数の相互に依存している出力構成要素を予測するために、トレーニングされた分類子を採用する。少なくともいくつかの例示的な実施形態においては、インスタンス重み付け学習の機械学習モジュール２１２は、図１のリードデータサーバ１９０上に格納されているリード情報にアクセスして分析するために、リードデータサーバアクセスモジュール２０８を利用する。特定のリードに関して１つ又は複数の応答決定が予測されると、それらの１つ又は複数の応答決定は、リード応答管理プラン選択モジュール２１４に伝達されることが可能である。
【００２４】
リード応答管理プラン選択モジュール２１４は、特定のリード及び／又はオファリングに関して１つ又は複数のリード応答管理プランを提示及び／又は選択する。同様に、エージェント選択モジュール２１６は、それぞれのリード応答管理プランにおいて指定されているエージェント、エージェントのクラス、又はエージェント・スキル・セットを選択する。
【００２５】
リードデータサーバアクセスモジュール２１８は、リードに連絡を取るのに有用なリード情報に連絡先マネージャ２１０がアクセスすることを可能にする。１実施形態においては、データストレージアクセスモジュール２１８は、連絡先マネージャ２１０がリードデータサーバ１９０にアクセスすることを可能にする。
【００２６】
ダイヤリングモジュール２２０は、ＶＯＩＰ電話コール及びＰＳＴＮコールを含む電話コールを確立する。１実施形態においては、ダイヤリングモジュール２２０は、一意のコール識別子を受信し、電話コールを確立し、コールが確立された旨を連絡先マネージャ２１０に通知する。ダイヤリングモジュール２２０のさまざまな実施形態は、データベースから電話番号を取り出すこと、制限された通話リストと電話番号を比較すること、コールを転送すること、電話会議を行うこと、コールをモニタすること、記録されたメッセージを再生すること、留守番電話を検知すること、音声メッセージを記録すること、及びインタラクティブボイスレスポンス（ＩＶＲ）機能を提供することなどの補助機能を組み込んでいる。いくつかの場合においては、ダイヤリングモジュール２２０は、補助機能を実行するようＰＢＸモジュール２４０に指示する。
【００２７】
メッセージングモジュール２３０は、エージェント及びリードへのメッセージを送信及び受信する。メッセージを送信及び受信するために、メッセージングモジュール２３０は、電子メールサービス、インスタントメッセージングサービス、ショートメッセージサービス、テキスト・メッセージ・サービス、及び強化されたメッセージングサービスなどの１つ又は複数の配信又はメッセージングサービスを活用することができる。
【００２８】
ＰＢＸモジュール２４０は、プライベート電話ネットワークをＰＳＴＮ１１０に接続する。連絡先マネージャ２１０又はダイヤリングモジュール２２０は、プライベート電話ネ
ットワーク上の回線をＰＳＴＮ１１０又はインターネット１３０上の番号と接続するようＰＢＸモジュール２４０に指示することができる。いくつかの実施形態においては、ＰＢＸモジュール２４０は、ダイヤリングモジュール２２０によって呼び出された補助機能のうちのいくつかを提供する。
【００２９】
端末ハードウェア２５０は、ローカル・ネットワークからのコールをＰＳＴＮ１１０へ回送する。１実施形態においては、端末ハードウェア２５０は、従来の電話端末へのインターフェースを取る。いくつかの実施形態及び場合においては、端末ハードウェア２５０は、ダイヤリングモジュール２２０によって呼び出された補助機能のうちのいくつかを提供する。
【００３０】
図１及び図２に関連して特定の環境（リード応答管理システム）及び特定の用途（リード応答管理）について説明してきたが、この特定の環境及び用途は、例示的な実施形態が採用されることが可能である無数の環境及び用途のうちの１つにすぎないということを理解されたい。例示的な実施形態の範囲は、いずれかの特定の環境又は用途に限定されることを意図されているものではない。
【００３１】
本明細書に示している少なくともいくつかの例示的な実施形態は、トレーニングインスタンスどうしの間における品質の差を反映する目的でそれぞれのトレーニングインスタンスに品質値を割り当てることによって、別々の関連性を有する別々のトレーニングインスタンスの問題に対処するためにインスタンス重み付け学習の機械学習モデルを採用する。従来の教師あり学習においては、それぞれのトレーニングインスタンスは、同じに重み付けされ、ひいては、それぞれのトレーニングインスタンスの品質の影響は、考慮に入れられない。代わりに、従来の教師あり学習は、特定のトレーニングインスタンスが、低い品質を有するか、又は高い品質を有するかを問わずに、トレーニングインスタンスのセット内のそれぞれのトレーニングインスタンスから等しく学習するよう分類子をトレーニングする。対照的に、インスタンス重み付け学習は、それぞれのトレーニングインスタンスをその品質値ｑに基づいて重み付けすることによってそれぞれのトレーニングインスタンスに関する品質値ｑの影響を反映するインスタンス重み付けトレーニング方法を採用する。したがってインスタンス重み付け学習は、分類子が、低い品質のトレーニングインスタンスよりも、高い品質のトレーニングインスタンスから、より多くを学習することを可能にするため、インスタンス重み付け学習は、従来の教師あり学習よりも優位である。
【００３２】
最も一般的な強化学習アルゴリズムのクラスにおいては、状態ｓにおいてアクションａを取る場合の予想される最大報酬を表すために関数Ｑ（ｓ，ａ）が使用される。Ｑ（ｓ，ａ）から次のようにポリシーが導出されることが可能である。すなわち、状態ｓを前提とすると、取られることになる最良のアクションａは、Ｑ（ｓ，ａ）を最大化するすべての許可されているアクションのうちの１つである。このタイプの強化学習アルゴリズムに関するトレーニングの主要な目標は、トレーニング・データから正確なＱ（ｓ，ａ）を学習することである。以降の論考は、主にＱ学習ベースの強化学習アルゴリズム（ＱＬＢ−ＲＬ）に焦点を合わせることになり、ＱＬＢ−ＲＬは、多くの現実世界の用途に成功裏に適用されている。
【００３３】
ＱＬＢ−ＲＬは、入力状態空間における探索及び活用を通じてＱ（ｓ，ａ）を学習するためにＱ学習アルゴリズムを使用する。通常は、Ｑ（ｓ，ａ）を正確に学習して最良のポリシーを見つけ出すためには、非常に多数のアクションを経験することが必要である。小さな状態空間に関しては、強化学習は、すべての可能な（ｓ，ａ）ペアに関するＱ（ｓ，ａ）を表すためにテーブルを使用することができる。非常に大きな状態空間（たとえば、連続した状態空間）に関しては、強化学習は、Ｑ（ｓ，ａ）を見積もるために機能的マッピングを使用することができる。
【００３４】
ある用途が、非常に大きな入力状態空間を有している場合（リード応答管理など）には、ＱＬＢ−ＲＬが機能的マッピングを用いて正確な一般化を得ることは非常に困難であることがある。この困難の１つの理由は、入力状態空間が非常に大きくなった場合にＱ（ｓ，ａ）を正確に見積もることが困難であることがあるということである。ＱＬＢ−ＲＬに関しては、この問題は、記録されたトレーニングインスタンスのみがトレーニングに関して適用されることが可能である用途（リード応答管理など）に関しては、よりいっそう深刻になる。それらの用途においては、ＱＬＢ−ＲＬは、大きな入力状態空間を探索するための探索戦略を使用することはできない。たとえば、チェスをプレイする方法を学習するために強化学習が適用される場合には、強化学習は、チェスのルールによって許可されているあらゆるタイプの動きを探索し、次いでアクションの報酬を観察することができる。しかしリード応答管理に関しては、現実世界の設定においてさまざまな新たなタイプのアクション（以降でさらに詳細に論じられているような、さまざまな応答エージェントの肩書、応答方法、応答メッセージのタイプ、及び応答タイミングなど）を試行することは、実行不可能である場合がある。なぜなら、そうすることは、非常にコストがかかり、また非常に時間がかかる場合があるためである。また、新たなアクションの影響は通常、はじめのうちは未知であり、シーケンス内の後続の状態／アクションペアに対するそれらのアクションの影響がわかるまでには、時間の長いピリオドがかかる場合がある。新たなアクションは、それらのアクションの影響がわからなければ、トレーニング・データとして適用されることは不可能である。したがって、ＱＬＢ−ＲＬが、それらのタイプの用途に関してＱ（ｓ，ａ）についての正確な見積もりを達成することは、よりいっそう困難である。
【００３５】
対照的に、インスタンス重み付け学習は、関数の見積もりを必要とすることなく、状態／アクションペア及びそれらのｑ値から直接、最良のポリシーを学習するために、ＭＬＰに関する逆伝搬学習などの標準的な機械学習アルゴリズムを使用することができる。インスタンス重み付け学習は、インスタンス重み付けトレーニング方法を使用して、ｑ値が、ＭＬＰトレーニングに関する学習率を介してなど、学習アルゴリズム内に直接反映されることを可能にすることができる。したがってインスタンス重み付け学習は、これらのタイプの用途に関して、さらに効率的でさらに正確な学習モデルを提供することができる。
【００３６】
トレーニングインスタンスのインスタンス重み付け学習セットは、Ｔ＝｛（ｘ１，ｙ１，ｑ１），（ｘ２，ｙ２，ｑ２），…，（ｘｎ，ｙｎ，ｑｎ）｝というフォーマットで表されることが可能であり、その場合、ｘｉ∈Ｘは、入力空間Ｘからのサンプルであり、ｙｉ∈Ｙは、出力空間Ｙからのラベルであり、ｑｉ∈Ｒは、トレーニングインスタンス（ｘｉ，ｙｉ）（ｉ∈｛１，２，…，ｎ｝）に関連付けられている品質値である。ｑｉの値は、（ｘｉ，ｙｉ）の品質に比例している実数値であることが可能であり、［−１．０，１．０］の範囲内にあることが可能である。たとえば、いくつかの用途においては、品質値ｑｉは、高い品質のトレーニングインスタンスに関しては１．０、及び低い品質のトレーニングインスタンスに関しては−１．０という値を割り当てられることが可能である。その他の用途においては、品質値ｑｉは、［０．０，１．０］の範囲内にあって、トレーニングインスタンスの相対的な品質を反映することが可能である。さらに他の用途においては、品質値ｑｉは、［−１．０，１．０］の範囲を超えることが可能である。たとえば、経時的なポリシー学習においては、トレーニングインスタンスの品質値ｑｉは、本明細書において図３に関連して論じられているように、前のアクションからの累積された割引報酬から導出されることが可能である。
【００３７】
図３〜図４及び図６〜図１０Ｂの例示的なリード応答管理の実施態様においては、例示的な多層パーセプトロン（ＭＬＰ）ニューラルネットワーク分類子ＭＬＰ１、ＭＬＰ２、ＭＬＰ３、及びＭＬＰ４をトレーニングするためにインスタンス重み付け学習の機械学習
モデルが採用されている。次いで、これらのＭＬＰニューラルネットワーク分類子は、図３Ｂの入力特徴ベクトルｘに基づいて、及びその他の予測された構成要素のすべてに基づいて、複数出力依存出力決定ｚの複数の相互に依存している出力構成要素、すなわちｚ１、ｚ２、ｚ３、及びｚ４をそれぞれ予測するために採用されることが可能である。複数出力依存出力決定ｚは、所与のリードに関して、そのリードの連絡又は認定を最適化することになるどんな応答がシーケンス内で次に実行されるべきかを決定するために採用されることが可能である。
【００３８】
図３〜図４及び図６〜図１０Ｂの例示的なリード応答管理の実施態様においては、ｚ１＝応答エージェントの肩書、ｚ２＝応答方法、ｚ３＝応答メッセージのタイプ、及びｚ４＝応答タイミングである。分類子ＭＬＰ１は、入力としてｘ、ｚ２、ｚ３、及びｚ４を使用して応答エージェントの肩書ｚ１を予測するために（ｘ，ｚ２，ｚ３，ｚ４；ｚ１）からトレーニングされ、分類子ＭＬＰ２は、入力としてｘ、ｚ１、ｚ３、及びｚ４を使用して応答方法ｚ２を予測するために（ｘ，ｚ１，ｚ３，ｚ４；ｚ２）からトレーニングされ、分類子ＭＬＰ３は、入力としてｘ、ｚ１、ｚ２、及びｚ４を使用して応答メッセージのタイプｚ３を予測するために（ｘ，ｚ１，ｚ２，ｚ４；ｚ３）からトレーニングされ、分類子ＭＬＰ４は、入力としてｘ、ｚ１、ｚ２、及びｚ３を使用して応答タイミングｚ４を予測するために（ｘ，ｚ１，ｚ２，ｚ３；ｚ４）からトレーニングされる。構成要素ｚ１、ｚ２、ｚ３、及びｚ４のそれぞれは、３つの可能な値、すなわち、ｚ１∈｛ｚ１１，ｚ１２，ｚ１３｝＝｛販売担当副社長，販売部長，販売員｝、ｚ２∈｛ｚ２１，ｚ２２，ｚ２３｝＝｛電話，電子メール，ファックス｝、ｚ３∈｛ｚ３１，ｚ３２，ｚ３３｝＝｛ＭＴ１，ＭＴ２，ＭＴ３｝、及びｚ４∈｛ｚ４１，ｚ４２，ｚ４３｝＝｛短，中，長｝を有する。
【００３９】
構成要素ｚ１、ｚ２、ｚ３、及びｚ４の間には依存関係があるということを理解されたい。たとえば、構成要素ｚ２（応答方法）に関する決定は、構成要素ｚ４（応答タイミング）についての決定に関して影響力を有する場合がある。たとえば、ｚ２＝ダイヤルである場合には、エージェントは、電話上で話すことにリードが対応可能であるのはいつか（たとえば、通常は、そのリードが在席している時間帯の営業時間中）を考慮することが必要になることがある。ｚ２＝電子メールである場合には、エージェントは、いつでも電子メールを送信することができる。
【００４０】
応答エージェントの肩書、応答方法、応答メッセージのタイプ、及び応答タイミングという構成要素は、リード応答管理  複数出力依存出力決定の例示的な構成要素にすぎないということをさらに理解されたい。その他の例示的な構成要素としては、エージェント又はリードの人口統計学的プロフィール、エージェント又はリードのヒストグラフィックなプロフィール（すなわち、エージェントとリードとの間における過去の対話を含むことがある、エージェント又はリードの人生におけるイベントのプロフィール）、リードの連絡先の肩書（すなわち、リード組織内の特定の連絡先人物の肩書）、エージェント又はリードの心理学的なプロフィール（すなわち、エージェント又はリードの心理学的な特徴のプロフィール）、エージェント又はリードのソーシャルネットワークプロフィール（すなわち、リンクトイン（登録商標）もしくはフェイスブック（登録商標）などのオンラインソーシャルネットワークにおける、又は起業家機構（登録商標）、市民クラブ、友愛会、もしくは宗教などのオフラインソーシャルネットワークにおけるリードに対するエージェントの近しさ）、エージェント又はリードの地理的なプロフィール（すなわち、都市、州、又は、エージェントもしくはリードの現在の及び／もしくは過去のロケーションを定義するその他の地理的な指定）、応答頻度（すなわち、エージェントがリードにどれぐらい頻繁に連絡を取っているか）、ならびに応答継続（すなわち、リードに連絡を取ることをエージェントがどれぐらい長く継続しているか）を含むことができるが、それらに限定されない。
【００４１】
図３〜図４及び図６〜図１０Ｂの例示的なリード応答管理の実施態様に示しているベース分類子は、ＭＬＰニューラルネットワーク分類子であるが、インスタンス重み付け学習は、代替として、その他のタイプの機械学習ベース分類子を採用することができ、それらの機械学習ベース分類子としては、その他の多層ニューラルネットワーク、決定木、ニアレストネイバー分類子、及びサポートベクターマシンが含まれるが、それらに限定されないということを理解されたい。さらに、ＭＬＰ分類子は、時間シーケンス内で最適なアクションを取るための正確なポリシーを学習するようにトレーニングされ、リード応答管理は、インスタンス重み付け学習をより詳細に示すための１つの例示的な用途として使用されているが、インスタンス重み付け学習は、ＭＬＰアルゴリズム以外の標準的な機械学習アルゴリズム、時間シーケンス以外のトレーニング・データのタイプ、及びリード応答管理以外のアプリケーションドメインに適用されることが可能であるということを理解されたい。
【００４２】
図３は、割引報酬を伝搬することによってトレーニングインスタンスの品質を導出する例示的な方法３００を示す概略フローチャート図である。図３に示しているように、時間シーケンス内のアクションのそのシーケンス全体に対する影響は、その即時報酬によって十分に反映されない場合がある。アクションは、シーケンスにおける後続のアクションの結果に対して影響力を有する場合もある。たとえば、シーケンス内の最後のアクションにおいてエージェントによって取引が成立した場合には、そのシーケンス内の前のアクションのうちのいくつかが、このプラスの結果に寄与していた可能性もある。したがって、それぞれのアクションに関して、その即時報酬のうちのいくらかをシーケンス内の前のアクションに逆伝搬することが妥当である場合がある。
【００４３】
詳細には、それぞれの状態／アクショントレーニングインスタンス（ｓｔ，ａｔ）に関して、報酬値ｒｔが存在し、報酬値ｒｔは、アクションａｔの即時報酬であり、アクションａｔの結果に依存している。報酬値ｒｔは、範囲［−１．０，１．０］内の実数値であることが可能である。工程ｔにおける状態／アクションペア（ｓｔ，ａｔ）に関してｒｔ＞０である場合には、アクションａｔは、状態ｓｔにおける望ましいアクションであり、機械学習分類子は、このアクションをエミュレートすることを学習すべきであるということを意味している。工程ｔにおける状態／アクションペア（ｓｔ，ａｔ）に関してｑｔ＜０である場合には、アクションａｔは、状態ａｔにおける望ましくないアクションであり、機械学習分類子は、このアクションを避けることを学習すべきであるということを意味している。たとえば、リードが認定された場合、又はリードとの取引が成立した場合には、プラスの報酬ｒｔが割り当てられることが可能であり、リードが、「連絡しない」リストに入れられることを要求した場合には、マイナスの報酬ｒｔが割り当てられることが可能である。プラスの結果もマイナスの結果もない場合には、ゼロ報酬が割り当てられることが可能である。
【００４４】
アクションａｔの即時報酬ｒｔのうちのいくらかをシーケンス内の前のアクションへ逆伝搬するために、時間工程ｔにおける状態／アクションペア（ｓｔ，ａｔ）のそれぞれの即時報酬ｒｔに関して、すべての前の状態／アクションペア（ｓｔ，ａｔ），（ｓｔ−１，ａｔ−１），…，（ｓ１，ａ１）は、ｒｔから割引報酬を受け取ることができる。ｄが割引率である場合（０＜ｄ＜１）には、割引報酬ｒｔ・ｄ，ｒｔ・ｄ２，…，ｒｔ・ｄｔ−１が、報酬を逆伝搬するために前の状態／アクションペア（ｓｔ−１，ａｔ−１），（ｓｔ−２，ａｔ−２），…，（ｓ１，ａ１）に割り当てられることが可能である。この割り当ての結果、割引報酬は、前の状態／アクションペアのそれぞれが現在の状態／アクションペアからの時間シーケンス内に配置される分だけ低減されるということに留意されたい。したがって、それぞれの状態／アクションペア（ｓｔ，ａｔ）は、その即時報酬と、後続のアクションから逆伝搬されたすべての割引報酬との合計である結合報酬を割り当て
られることになる。インスタンス重み付け学習においては、この結合報酬は、それぞれの状態／アクションペアの品質値ｑとして定義されることが可能であり、又はその品質値ｑに寄与するものであることが可能である。
【００４５】
たとえば、報酬（ｓｔ，ａｔ，ｑｔ）を伴うそれぞれの状態／アクションのトレーニングインスタンスは、（ｓｔ，ａｔ，ｑｔ）へ再編成されることが可能であり、その場合、ｑｔは、すべての報酬の伝搬後の工程ｔにおける品質値である。言い換えれば、シーケンスＬ＝｛（ｓ１，ａ１，ｒ１），（ｓ２，ａ２，ｒ２），…，（ｓｎ，ａｎ，ｒｎ）｝は、Ｌ＝｛（ｓ１，ａ１，ｒ１），（ｓ２，ａ２，ｒ２），…，（ｓｎ，ａｎ，ｒｎ）｝として再編成されることが可能である。ｎ個の状態／アクションペアを伴うそれぞれのシーケンスＬ＝｛（ｓ１，ａ１，ｒ１），（ｓ２，ａ２，ｒ２），…，（ｓｎ，ａｎ，ｒｎ）｝に関して、ｎ個のトレーニングインスタンスが、このシーケンスから導出されて、トレーニング・セットに追加されることが可能である。次いで、ｍ個の時間シーケンスＴ＝｛Ｌ１，Ｌ２，…，Ｌｍ｝を伴うトレーニング・データに関して、トレーニング・セットに追加されたそれぞれのシーケンスからトレーニングインスタンスが導出されることが可能である。したがって、トレーニング・セットに追加されることが可能であるトレーニングインスタンスの合計数は、Ｎ（Ｌ１）＋Ｎ（Ｌ２）＋…，＋Ｎ（Ｌｍ）であり、その場合、Ｎ（Ｌｉ）は、Ｌｉ（ｉ＝１，２，…，ｍ）の長さ、又は状態／アクションのトレーニングインスタンスの数である。時間シーケンスＴ＝｛Ｌ１，Ｌ２，…，Ｌｍ｝からトレーニング・セットが構築された後に、分類子が、決定を行うためのポリシーを学習するようトレーニングされることが可能である。トレーニングの目的は、機械学習分類子が、入力特徴ベクトル（状態ベクトルｓ）を前提として決定を行う（アクション・ベクトルａを選ぶ）ための最適なポリシーを学習することを可能にすることである。時間シーケンスの間、インスタンス重み付け学習は、分類子が、低い品質のトレーニングインスタンスよりも、（アクションがプラスの結果をもたらす可能性が高い）高い品質のトレーニングインスタンスから、より多くを学習することを可能にする。たとえば、トレーニングインスタンスがマイナスの品質値ｑを有している場合には、インスタンス重み付け学習は、そのトレーニングインスタンスにマイナスの重みを割り当てて、ひいては、分類子が、そのトレーニングインスタンスによって取られたアクションを避けることを学習することを可能にすることができる。したがって、プラスの品質値は、そのトレーニングインスタンスに類似したインスタンスをサポートすることを学習することを促す傾向があり、マイナスの品質値は、そのトレーニングインスタンスに類似したインスタンスをサポートすることを学習することを抑制する傾向がある。
【００４６】
図３の例示的な実施態様においては、状態／アクションペア３０２〜３０６のそれぞれは、即時報酬を有している。たとえば、状態／アクションペア３０２のアクションａ３は、１．０という即時報酬ｒ３３０８を受け取っており、これは、工程３において実行されたアクションａ３が、リードとの取引の成立などのプラスの結果をもたらしたということを意味している。また、状態／アクションペア３０４のアクションａ２は、０．０という即時報酬ｒ２を受け取っており、これは、工程２において実行されたアクションａ２が、リードとの間でプラスの結果もマイナスの結果ももたらさなかったということを意味している。また、状態／アクションペア３０６のアクションａ１は、−０．５という即時報酬ｒ１を受け取っており、これは、工程１において実行されたアクションａ１が、販売部門のエージェントによる次なる連絡を待ってほしいとリードが要求したことなど、マイナスの結果をもたらしたということを意味している。
【００４７】
次いで、即時報酬ｒ３３０８は、工程２において発生した状態／アクションペア３０４へ、及び工程１において発生した状態／アクションペア３０６へ逆伝搬されることが可能である。割引率が０．９である場合には、状態／アクションペア３０２の１．０という即時報酬ｒ３３０８は、割引報酬３１０（１．０・０．９＝０．９）を状態／アクションペ
ア３０４の即時報酬ｒ２３０６に加えること（０．０＋０．９＝０．９）によって、及び割引報酬３１２（１．０・０．９・０．９＝０．８１）を状態／アクションペア３０６の即時報酬ｒ１に加えること（−０．５＋０．８１＝０．３１）によって逆伝搬されることが可能である。したがって、状態／アクションペア３０６の報酬は１．０であり、状態／アクションペア３０４の結合報酬は０．９であり、状態／アクションペア３０２の結合報酬は０．３１である。これらの値は、以降で図４に関連して開示されているように、分類子のトレーニングにおいて状態／アクションのトレーニングインスタンスとして状態／アクションペア３０２〜３０６が使用される場合に、品質値ｑとして採用されることが可能である。
【００４８】
図４は、例示的な多層パーセプトロン（ＭＬＰ）ニューラルネットワーク分類子ＭＬＰ１のトレーニングにおいて採用されている例示的なインスタンス重み付け学習（ＩＷＬ）機械学習モデルを示す概略フローチャート図である。図４に示しているように、分類子ＭＬＰ１は、状態／アクションのトレーニングインスタンス３０２〜３０６の時間シーケンスＬを使用してトレーニングされる。分類子ＭＬＰ１は、状態／アクションのトレーニングインスタンスの時間シーケンスのセットＴ、又はトレーニング・データＴを使用してさらにトレーニングされることが可能であり、Ｔは、Ｔ＝｛Ｌ１，Ｌ２，…，Ｌｍ｝として表されることが可能であり、その場合、Ｌｍは、シーケンスｉ（ｉ＝１，２，…，ｍ）に関する状態／アクションのトレーニングインスタンスのシーケンスである。図４の例示的な実施態様においては、トレーニング・データＴは、ｍ人の一意のリードからのｍ個の時間シーケンスを含むことができる。それぞれのシーケンスは、別々の数の状態／アクションのトレーニングインスタンスを有することができる。
【００４９】
詳細には、それぞれの時間シーケンスＬは、時間工程ｔによって順序付けられているｎ個の状態／アクションペアから構成されている。それぞれの時間シーケンスは、Ｌ＝｛（ｓ１，ａ１），（ｓ２，ａ２），…，（ｓｎ，ａｎ）｝によって表されることが可能であり、その場合、（ｓｔ，ａｔ）は、工程ｔ（ｔ＝１，２，…，ｎ）における状態／アクションのトレーニングインスタンスを表している。図４の例示的なリード応答管理の実施態様においては、それぞれの時間シーケンスＬは、データベース内に記録された履歴データのシーケンスを含むことができる。たとえば、図１のリードデータサーバ１９０内のそれぞれの一意のリードに関しては、販売エージェントとそのリードとの間におけるすべての対話に関して記録されたアクション及び結果のシーケンスが存在することが可能である。
【００５０】
状態／アクション・トレーニングインスタンスシーケンスＬ＝｛（ｓ１，ａ１），（ｓ２，ａ２），…，（ｓｎ，ａｎ）｝に関しては、報酬の関連付けられているシーケンスＲ＝｛ｒ１，ｒ２，…，ｒｎ）があり、その場合、ｒｔは、状態／アクショントレーニングインスタンス（ｓｔ，ａｔ）（ｔ＝１，２，…，ｎ）に関する即時報酬である。状態／アクショントレーニングインスタンスシーケンスＬは、Ｌ＝｛（ｓ１，ａ１，ｒ１），（ｓ２，ａ２，ｒ２），…，（ｓｎ，ａｎ，ｒｎ）｝のような結合された形式で表されることが可能であり、その場合、ｒｔは、工程ｔ（ｔ＝１，２，…，ｎ）における状態／アクショントレーニングインスタンス（ｓｔ，ａｔ）の即時報酬である。
【００５１】
それぞれの状態ｓｔは、特徴ベクトルｓｔ＝（ｓｔ，１，，ｓｔ，２，…，ｓｔ，ｕ）によって表されることが可能であり、この特徴ベクトルｓｔは、工程ｔにおける状態を特徴付けている。たとえば、特徴ベクトルｓｔ＝（ｓｔ，１，，ｓｔ，２，…，ｓｔ，ｕ）は、リードのソース、リードの肩書、リードの業種、リードの状態、リードの作成日、リードの会社規模、リードのステータス、前の電話の回数、前の電子メールの回数、前のアクション、及び、最後のアクション以降の経過時間という構成要素を含むことができる。
【００５２】
工程ｔにおけるそれぞれのアクションａｔは、アクション・ベクトルａｔ＝（ａｔ，１
，，ａｔ，２，…，ａｔ，ｖ）によって表されることが可能であり、その場合、ａｔ，ｊ（ｊ＝１，２，…，ｖ）は、アクションのアクション構成要素ｊを表している。それぞれのアクション構成要素ａｔ，ｊは、ａｔ，ｊに関する許可されているアクションのセットから１つのアクションを取ることができる。従来の強化学習に関する典型的なシナリオにおいては、アクション・ベクトルは通常、唯一の構成要素ａｔ＝（ａｔ，１）を含む。たとえば、チェスをプレイするためには、アクション構成要素は、ピースを動かすことだけである。その動きは、チェスのルール及び現在の状態に基づいて、すべての許可されている動きのセットから選ばれることが可能である。しかしながら、その他の用途においては、アクション・ベクトルａｔ＝（ａｔ，１，，ａｔ，２，…，ａｔ，ｖ）は、複数のアクション構成要素を含むこと（すなわち、ｖ＞１であること）が可能である。いくつかのケースにおいては、複数のアクション構成要素は、複数出力依存（ＭＯＤ）を有する用途など、相互に依存していることが可能である。
【００５３】
たとえば、リード応答管理問題に関する決定を行うことは、複数出力依存問題であり、この問題においては、出力決定構成要素（すなわち、応答エージェントの肩書、応答方法、応答メッセージのタイプ、及び応答タイミング）が、相互に依存している。一般には、複数出力依存問題に関する学習は、単一の構成要素を伴う問題に関する学習、又は、依存していない複数の構成要素を有する（複数出力依存ではない）問題に関する学習よりも困難である。しかしながら、インスタンス重み付け学習は、単一の構成要素の問題、複数出力依存ではない問題、及び複数出力依存問題を含む上述のそれぞれのタイプの問題を解決する際に採用されることが可能であるということに留意されたい。
【００５４】
図４のリード応答管理の実施態様においては、アクション・ベクトルａｔ＝（ａｔ，１，，ａｔ，２，…，ａｔ，ｖ）は、ａｔ，１：｛販売担当副社長，販売部長，販売員｝からエージェントの肩書を選ぶこと、ａｔ，２：｛電話，電子メール，ファックス｝からアクション方法を選ぶこと、ａｔ，３：｛ＭＴ１，ＭＴ２，ＭＴ３｝からメッセージタイプを選ぶこと、及びａｔ，４：｛短，中，長｝からタイミングを選ぶことというアクション構成要素を含むことができる。図４においては、分類子ＭＬＰ１は、アクションａｔ，１を予測するようにトレーニングされることになり、類似の分類子ＭＬＰ２、ＭＬＰ３、及びＭＬＰ４は、図７に示しているように、それぞれアクションａｔ，２、ａｔ，３、及びａｔ，４を予測するようにトレーニングされることになる。
【００５５】
逆伝搬など、多層パーセプトロン（ＭＬＰ）ニューラルネットワーク分類子の従来のトレーニングにおいては、トレーニングインスタンスの重みは、Δｗ（ｉ，ｊ）＝ｃ・δ（ｊ）・ｚ（ｉ）という式に基づいて、それぞれの反復において更新される。この式においては、ノードｊにおける重みｗ（ｉ，ｊ）に関する変化の量Δｗ（ｉ，ｊ）は、ノードｊにおけるエラーδ（ｊ）ならびにノードｉからの入力値ｚ（ｉ）に比例している。ＭＬＰニューラルネットワークの重みはまた、学習率ｃによってコントロールされ、学習率ｃは、重みに関する変化の量をコントロールし、それによって、反復どうしの間における重みの更新の円滑な推移が可能になり、ノイズのあるトレーニングインスタンスが著しい影響力を有することが防止される。したがって、ＭＬＰの従来の逆伝搬トレーニングにおいては、重みを更新するための上述の式は、すべてのトレーニングインスタンスに関して同じであり、ひいては、すべてのトレーニングインスタンスは、同じに重み付けされる。
【００５６】
対照的に、図４のリード応答管理の実施態様においては、インスタンス重み付け学習は、品質値ｑと、トレーニングインスタンスをそれらの品質値ｑに基づいて重み付けするための重み付け係数ｕ（ｑ）とを採用することができる。インスタンス重み付け学習のこれらの実施形態は、上述の式を、Δｗ（ｉ，ｊ）＝ｕ（ｑ）・ｃ・δ（ｊ）・ｚ（ｉ）のように修正している。重み付け係数ｕ（ｑ）に関する１つの例示的な式は、ｕ（ｑ）＝（ａ＋ｂ・ｑ）であり、その場合、ａは、従来の重みの更新を使用することの重みを反映し、
ｂは、重みの更新に対するｑ値の重みを反映する。したがって、あるトレーニングインスタンスが、より大きなｑ値を有する場合には、ｕ（ｑ）は、より大きくなり、分類子は、そのトレーニングインスタンスから、より積極的に学習することになる。ａ及びｂの値は、別々の値を用いて実験することによって経験的に設定されることが可能であり、特定の用途に応じて変わることが可能である。例示的なパラメータの１つのセットは、ａ＝０、ｂ＝１．０である。例示的なパラメータの別のセットは、ａ＝０．５、ｂ＝２．０である。この修正された式を使用すると、別々のｑ値を有するトレーニングインスタンスは、別々に重み付けされることになる。図４の実施態様において、ａ＝０．５及びｂ＝２．０というパラメータ値を使用すると、状態／アクションのトレーニングインスタンス３０２は、（０．５＋２．０・１．０＝２．５）という重み付け係数ｕ（ｑ）を有することになり、状態／アクションのトレーニングインスタンス３０４は、（０．５＋２．０・０．８１＝２．１２）という重み付け係数ｕ（ｑ）を有することになり、状態／アクションのトレーニングインスタンス３０６は、（０．５＋２．０・０．３１＝１．１２）という重み付け係数ｕ（ｑ）を有することになる。したがって、状態／アクショントレーニングインスタンス３０２が、状態／アクショントレーニングインスタンス３０６よりも高い品質値ｑを有している（すなわち、１．０＞０．３１である）ため、状態／アクショントレーニングインスタンス３０２は、状態／アクショントレーニングインスタンス３０６よりも高い重み付け係数ｕ（ｑ）を有することになる（すなわち、２．５＞１．２１）。状態／アクショントレーニングインスタンス３０２と、状態／アクショントレーニングインスタンス３０６との間における重み付け係数ｕ（ｑ）のこの差の結果、図４の分類子ＭＬＰ１は、状態／アクショントレーニングインスタンス３０６からよりも、状態／アクショントレーニングインスタンス３０２から、より多くを学習することになる。
【００５７】
図５は、分類子をトレーニングするためにインスタンス重み付け学習の機械学習モデルを採用する例示的な方法４００の概略フローチャート図である。方法４００は、少なくともいくつかの実施形態においては、図１の連絡先サーバ２１０の連絡先マネージャ２１０のインスタンス重み付け学習の機械学習モジュール２１２によって実施されることが可能である。たとえば、インスタンス重み付け学習の機械学習モジュール２１２は、方法４００のブロック４０２，４０４，４０６のうちの１つ又は複数によって表されているように、リード応答管理  複数出力依存出力決定ｚの複数の相互に依存している出力構成要素ｚ１，ｚ２，ｚ３、及びｚ４のうちの第１の出力構成要素ｚ１を最終的に予測するように図４の分類子ＭＬＰ１をトレーニングするためにインスタンス重み付け学習の機械学習モデルを採用するオペレーションを実行するためのコンピュータ命令を実行するように構成されることが可能である。別々のブロックとして示されているが、さまざまなブロックは、所望の実施態様に応じて、さらなるブロックへと分割されること、より少ないブロックへと結合されること、又は削除されることが可能である。次いで図１〜図５を参照しながら、方法４００について論じる。
【００５８】
方法４００は、ブロック４０２において開始することができ、ブロック４０２においては、強化学習機械学習トレーニングインスタンスのセット内のそれぞれの機械学習トレーニングインスタンスに関連付けられるべきである品質値が特定される。たとえば、インスタンス重み付け学習の機械学習モジュール２１２は、強化学習状態／アクショントレーニングインスタンス３０２〜３０６のセット内のそれぞれの機械学習トレーニングインスタンスに関連付けられるべきである品質値ｑを特定することができる。これらの品質値ｑは、図３の割引報酬を伝搬することによってトレーニングインスタンスの品質を導出する方法を使用することを含めて、複数の方法で特定されることが可能である。
【００５９】
詳細には、時間シーケンス内の現在の機械学習トレーニングインスタンスの報酬が特定されることが可能であり、その時間シーケンス内の前の機械学習トレーニングインスタンスのそれぞれに関連付けられるべきである報酬の割引部分が特定されることも可能である
。たとえば、図３に関連して開示されているように、状態／アクショントレーニングインスタンス３０２の報酬ｒｔは、１．０という値を有すると特定されることが可能であり、次いで、前の状態／アクショントレーニングインスタンス３０４，３０６に関連付けられるべきである報酬ｒｔの割引部分が特定されることが可能である。
【００６０】
ブロック４０４において、対応する特定された品質値が、機械学習トレーニングインスタンスのそれぞれに関連付けられる。たとえば、インスタンス重み付け学習の機械学習モジュール２１２は、特定された品質値ｑを状態／アクショントレーニングインスタンス３０２〜３０６のそれぞれに関連付けることができる。
【００６１】
ブロック４０６において、機械学習トレーニングインスタンスのそれぞれを使用して分類子がトレーニングされ、機械学習トレーニングインスタンスのそれぞれは、その関連付けられている品質値に基づいてトレーニング中に重み付けされる。たとえば、インスタンス重み付け学習の機械学習モジュール２１２は、状態／アクショントレーニングインスタンス３０２〜３０６のそれぞれを使用して分類子ＭＬＰ１をトレーニングすることができる。トレーニング中に、インスタンス重み付け学習の機械学習モジュール２１２は、機械学習トレーニングインスタンス３０２〜３０６のそれぞれを、その関連付けられている品質値ｑに基づいて重み付けすることができる。トレーニング中のこの重み付けは、別々の品質値を別々に重み付けする、本明細書において論じられている重み付け係数ｕ（ｑ）などの重み付け係数を使用して達成されることが可能である。関連付けられている品質値ｑに基づくこの重み付けの結果、分類子ＭＬＰ１は、０．３１というより低い品質値を有する機械学習トレーニングインスタンス３０６からよりも、１．０というより高い品質値を有する機械学習トレーニングインスタンス３０２から、より多くを学習することができる。
【００６２】
方法４００は、トレーニングインスタンスのセット内のトレーニングインスタンスのそれぞれが複数出力依存トレーニングインスタンスであり、それぞれのトレーニングインスタンスが複数の相互に依存している出力構成要素を含んでいる場合に、採用されることが可能であるということに留意されたい。方法４００はさらに、複数の相互に依存している出力構成要素のうちのそれぞれの出力構成要素に関する個別の分類子をトレーニングするために採用されることが可能である。このトレーニングは、２０１２年８月２０日に出願された関連米国特許出願第１３／５９０，０００号に開示されている階層ベースシーケンシング（ＨＢＳ）機械学習モデルを使用して達成されることが可能であり、この米国特許出願第１３／５９０，０００号は、その全体が本願明細書に明示的に援用されている。代替として、又は追加として、このトレーニングは、２０１２年８月２０日に出願された関連米国特許出願第１３／５９０，０２８号に開示されている複数出力緩和（ＭＯＲ）機械学習モデルを使用して達成されることが可能であり、この米国特許出願第１３／５９０，０２８号は、その全体が本願明細書に明示的に援用されている。
【００６３】
したがって方法４００は、分類子をトレーニングする目的でインスタンス重み付け学習の機械学習モデルを採用するために使用されることが可能である。本明細書における例示的な方法４００は、トレーニングインスタンスのセット内のそれぞれのトレーニングインスタンスに品質値を関連付けて、別々のトレーニングインスタンスの間における品質の差を反映することができる。次いで、トレーニングインスタンスのセットを使用した分類子のトレーニング中に、それぞれの品質値が、対応するトレーニングインスタンスを重み付けするために採用されることが可能であり、それによって、その分類子は、より低い品質値を有するトレーニングインスタンスからよりも、より高い品質値を有するトレーニングインスタンスから、より多くを学習する。
【００６４】
ＭＬＰニューラルネットワークのトレーニングにおいて採用されることに加えて、イン
スタンス重み付け学習は、その他の機械学習分類子に関連して採用されることも可能である。たとえば、インスタンス重み付け学習は、ニアレストネイバー（ＮＮ）分類子のトレーニングにおいて採用されることが可能である。ｋ−ニアレストネイバー（ｋ−ＮＮ）分類子が、ｋ個のニアレストネイバーからの投票に基づいて予測を行う。ｋ−ＮＮによって分類されることになる、視認されないインスタンスｓを前提とすると、ｋ個のニアレストネイバーは、特徴空間内の距離の点でｋ個の最も近いインスタンスとして定義される。ｋ値に関する最適な値は、特定の用途に応じて変わることが可能である。たとえば、ｋに関する最適な値は、ｋ＝１、ｋ＝３、又はｋ＝５であることが可能である。
【００６５】
インスタンス重み付け学習は、トレーニングインスタンスの投票の重みを、それらのトレーニングインスタンスのｑ値に基づいて増減させることによって、ｋ−ＮＮのトレーニングにおいて採用されることが可能である。たとえば、より高いｑ値を有するトレーニングインスタンスは、そのｑ値に比例して、より低いｑ値を有するトレーニングインスタンスよりも重く重み付けされることが可能である。したがって、投票された決定は、低いｑ値のニアレストネイバーからよりも、高いｑ値のニアレストネイバーから、より多くの重みを伴うことになり、それによって、正確なｋ−ＮＮ分類子を生成する確率を高めることができる。
【００６６】
別の例においては、インスタンス重み付け学習は、決定木分類子の生成において採用されることが可能である。機械学習において決定木分類子を生成するための最も一般的なアルゴリズムのうちの１つが、ＩＤ３アルゴリズムである。ＩＤ３アルゴリズムを使用した決定木の生成中に、それぞれのツリー・ノードにおける分岐するサブツリー上での決定は、それぞれの特徴及びそれらの特徴値に関する情報利得に基づく。情報利得の計算は、それぞれの特徴及びそれらの特徴値に関するトレーニングインスタンスのカウンタに基づく。
【００６７】
インスタンス重み付け学習は、情報利得を計算する際に、それぞれのトレーニングインスタンスの重みカウンタを、そのｑ値に基づいて重み付けすることによって、ＩＤ３アルゴリズムを使用した決定木の生成において採用されることが可能である。より高いｑ値を有するトレーニングインスタンスに関しては、そのトレーニングインスタンスは、そのｑ値に比例して、より低いｑ値を有するトレーニングインスタンスよりも多くカウントされることが可能である。したがって、インスタンス重み付け学習を使用して生成された決定木は、低いｑ値のトレーニングインスタンスよりも、高いｑ値のトレーニングインスタンスから、より多くの影響を考慮に入れることになり、それによって、正確な決定木分類子を生成する確率を高めることができる。
【００６８】
図６は、例示的な入力特徴ベクトルｘを示すテキスト図である。図６の例示的な入力特徴ベクトルｘは、特定のリードに関する情報を含む。詳細には、例示的な入力特徴ベクトルｘは、リードの肩書及びリードの業種など、リードに関する定常的な特徴、ならびに、前の電話の回数及び前のアクションなど、エージェントとリードとの間における対話に関連したインタラクティブな特徴を含む。例示的な入力特徴ベクトルｘによって提供されるリード情報は、リードの連絡又は認定を最適化することになる実行されるべきである次の続いて起こる応答は何であるかを特定するために、図３Ａのモデル３００による入力として採用されることが可能である。
【００６９】
リードのソース、リードの肩書、リードの業種、リードの状態、リードの作成日、リードの会社規模、リードのステータス、前の電話の回数、前の電子メールの回数、前のアクション、及び、最後のアクション以降の経過時間という入力特徴は、リード応答管理  複数出力依存出力決定に対する例示的な入力特徴にすぎないということを理解されたい。その他の例示的な入力特徴としては、応答エージェントの肩書、応答方法、応答メッセージ
のタイプ、応答タイミング、エージェント又はリードの人口統計学的プロフィール、エージェント又はリードのヒストグラフィックなプロフィール、エージェント又はリードの心理学的なプロフィール、エージェント又はリードのソーシャルネットワークプロフィール、エージェント又はリードの地理的なプロフィール、応答頻度、及び応答継続を含むことができるが、それらに限定されない。加えて、入力特徴は、現在のイベント、たとえば、政治、経済、自然現象、社会、及び文化に関連した現在のイベントに関するデータを含むことができる。
【００７０】
図７は、複数の正しい複数出力依存出力決定の概略フローチャート図５００である。図５００に示しているように、階層ベースシーケンシング機械学習モデル、又は複数出力緩和機械学習モデル、又はそれら２つの組合せは、所与の入力特徴ベクトルｘに関して複数の正しい出力決定５０２，５０４を生成することができる。典型的な決定工程においては、一定の入力が与えられれば、一意の正しい決定が存在すると通常は想定されるが、リード応答管理  複数出力依存決定に関しては、複数の正しい決定が存在することが可能であり、それらの決定はすべて、同様の好都合な結果をもたらすことができる。利用可能なリソースに基づいて、複数の正しい決定の中から１つの決定が選ばれることが可能である。たとえば、応答エージェントの肩書ｚ１＝「販売部長」を有する特定の応答エージェントが、特定の時間に対応可能でない場合には、応答エージェントの肩書ｚ１＝「販売員」を有する別の正しい決定が行われることが可能である。複数の出力決定が同時に正しいとみなされている場合には、「正しい」という用語は、実質的に同様の出力値をそれぞれが有する複数の出力決定を指すことができる。たとえば、図７の出力決定５０２，５０４のそれぞれは、同じ又は実質的に同様の出力値を有することができ、そのことは、いずれの出力決定を実行しても、同様の好都合な結果をもたらすことになるということを示している。追加として、又は代替として、「正しい」という用語は、事前に特定されたしきい値を上回る出力値をそれぞれが有する複数の出力決定を指すことができる。しきい値は、用途に応じて、相対的に高く、又は相対的に低く事前に特定されることが可能である。図５においては、正しい出力決定が２つだけ開示されているが、階層ベースシーケンシング機械学習モデル、又は複数出力緩和機械学習モデル、又はそれら２つの組合せは、正しい出力決定を２つよりも多く生成することができるということを理解されたい。
【００７１】
複数出力依存出力決定の複数の相互に依存している出力構成要素を予測するためにインスタンス重み付け学習の機械学習モデルを採用する例示的な方法について、図３〜図７に関連して説明してきたが、結果として生じる出力決定にエージェントがアクセスして実施することを可能にする例示的なシステム及びユーザインターフェースについて、図８〜図１０Ｂに関連して説明する。これらの特定のシステム及びユーザインターフェースは、例示的な実施形態が採用されることが可能である無数のシステム及びユーザインターフェースのうちのいくつかにすぎないということを理解されたい。それらの例示的な実施形態の範囲は、いずれかの特定のシステム又はユーザインターフェースに限定されることを意図されているものではない。
【００７２】
図８は、例示的な顧客関係管理（ＣＲＭ）システムのユーザインターフェース６００の例示的なコンピュータスクリーンの画像を示している。ユーザインターフェース６００は、エージェントが顧客関係を管理すること、及び特に、ＣＲＭシステムによって提供されるリードを管理することを可能にするさまざまな操作を有する。ユーザインターフェース６００は、たとえば、図１のワークステーション１２８上で、又はローカルエージェントワークステーション１９２上で、ウェブサーバ１７０によってエージェントに提示することが可能である。エージェントは、図１のリードデータサーバ１９０上に以前に格納されているリードに応答するためにユーザインターフェース６００を使用することができる。より詳細には、リードアドバイザ表示８００が、以降で図１０Ａ，図１０Ｂに関連して記載するように、連絡率又は認定率を最適化する様式で、エージェントがリードに応答する
ことを可能にすることができる。
【００７３】
図９は、図１のリード応答管理システムなど、例示的なリード応答管理システムのユーザインターフェース７００の例示的なコンピュータスクリーンの画像を示している。図８のユーザインターフェース６００のように、ユーザインターフェース７００は、エージェントがリードに応答することを可能にするさまざまなコントロールを含む。ユーザインターフェース７００は、ユーザインターフェース６００と同様の様式でエージェントに提示されることが可能である。このユーザインターフェースも、リードアドバイザ表示８００を含む。
【００７４】
図１０Ａは、エージェントによってリードが選択される前の例示的なリードアドバイザ表示８００の例示的なコンピュータスクリーン画像を示しており、図１０Ｂは、エージェントによってリードが選択された後の例示的なリードアドバイザ表示８００の例示的なコンピュータスクリーン画像を示している。図１０Ａに示しているように、リードアドバイザ表示８００は、５人のリードをリストアップしている。それぞれのリードは、名前８０２、成功可能性メータ８０４、及び成功可能性カテゴリーインジケータ８０６を含む。図１０Ａに示しているように、リードは、最も高い成功可能性から最も低い成功可能性の順にリストアップされている。たとえばマウスポインタを用いてリードにマウスオーバすることによってエージェントが問合せを行うと、そのリードは、「マーク  リトルフィールド」というリードに関して図１０Ａにおいて示されているように大きくなることが可能である。大きくなると、リードは、確認ボタン８０８、削除ボタン８１０、及び「さらなる情報」リンク８１２などのさらなるオプションをエージェントに提示することができる。
【００７５】
たとえばマウスポインタを用いてさらなる情報リンク８１２をクリックすることによってエージェントが「さらなる情報」リンク８１２を選択すると、図１０Ｂに示しているようにポップアウト表示８１４がエージェントに提示されることが可能である。ポップアウト表示８１４は、そのリードに関連付けられているリード応答管理プランをエージェントに提示することができる。このリード応答管理プランは、本明細書に示している例示的な方法によって生成しておくことが可能であり、そのリードに関する最も高い出力値、又は最も高い部類に属する出力値を伴う出力決定を反映することができる。図１０Ｂに示しているように、「マーク  リトルフィールド」という名前のリードに関するリード応答管理プランは、メッセージタイプＭＴ１での電子メールを短いタイムフレームで送信するために販売部長を採用することを含むことができ、これは、図７の出力決定５０２に対応している。次いでエージェントは、ポップアウト表示８１４をクリックするだけで、リードへの電子メールをメッセージタイプＭＴ１で自動的に生成することをリードアドバイザ表示８００に行わせることができ、その電子メールは、販売部長によって直ちに送信されることになる。あるいは、エージェントは、この応答プランを手動でオーバーライドして、異なる応答を手動で実行することができる。
【００７６】
本明細書において説明されている実施形態は、以降でさらに詳細に論じられているように、さまざまなコンピュータハードウェアモジュール又はコンピュータソフトウェアモジュールを含む専用又は汎用のコンピュータの使用を含むことができる。
【００７７】
本明細書において説明されている実施形態は、その上に格納されているコンピュータ実行可能命令又はデータ構造を搬送又は保有するためのコンピュータ可読メディアを使用して実施されることが可能である。そのようなコンピュータ可読メディアは、汎用又は専用のコンピュータによってアクセスすることができる任意の利用可能なメディアであることが可能である。限定ではなく、例として、そのようなコンピュータ可読メディアは、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、もしくはその他の光ディスクストレージ、磁気ディスクストレージもしくはその他の磁気ストレージデバイス、又は、所望のプログラ
ムコードをコンピュータ実行可能命令もしくはデータ構造の形態で搬送もしくは格納するために使用されることが可能な、及び汎用もしくは専用のコンピュータによってアクセスされることが可能なその他の任意のストレージメディアを含む非一時的なコンピュータ可読ストレージメディアを含むことができる。上記の組合せも、コンピュータ可読メディアの範囲内に含まれることが可能である。
【００７８】
コンピュータ実行可能命令は、たとえば、汎用コンピュータ、専用コンピュータ、又は専用処理デバイスに特定の機能又は機能のグループを実行させる命令及びデータを含む。本主題は、構造的な特徴及び／又は方法論的な行為に特有の言葉で説明されているが、添付の特許請求の範囲において定義されている本主題は、上述の特定の特徴又は行為に必ずしも限定されるものではないということを理解されたい。むしろ、上述の特定の特徴及び行為は、特許請求の範囲を実施する例示的な形態として開示されている。
【００７９】
本明細書において使用される際には、「モジュール」という用語は、コンピューティングシステム上で実行されるソフトウェアオブジェクト又はルーチンを指すことができる。本明細書において説明されている別々のモジュールは、コンピューティングシステム上で実行される複数のオブジェクト又は複数の工程として（たとえば、別々のスレッドとして）実施されることが可能である。本明細書において説明されているシステム及び方法は、ソフトウェアで実施されることが好ましいが、ハードウェア、又はソフトウェアとハードウェアの組合せでの実施態様も可能であり、考慮されている。
【００８０】
本明細書において列挙されているすべての例及び条件を表す表現は、例示的な実施形態、及び、当技術分野を進展させることに対して本発明者によって寄与されたコンセプトを読者が理解する際に役立つための教示上の目的を意図されており、また、そのような具体的に列挙された例及び条件に限定されるものではないと解釈されるべきである。
【図１】
2016505974.tif 000003
【図２】
2016505974.tif 000004
【図３】
2016505974.tif 000005
【図４】
2016505974.tif 000006
【図５】
2016505974.tif 000007
【図６】
2016505974.tif 000008
【図７】
2016505974.tif 000009
【図８】
2016505974.tif 000010
【図９】
2016505974.tif 000011
【図１０Ａ】
2016505974.tif 000012
【図１０Ｂ】
2016505974.tif 000013
【手続補正書】
【提出日】平成27年10月7日(2015.10.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
分類子をトレーニングするためにインスタンス重み付け学習機械学習モデルを適用するための方法において、
強化学習機械学習トレーニングインスタンスの一定の時間シーケンス内にあるそれぞれの機械学習トレーニングインスタンスについて前記品質値を特定する工程であって、前記時間シーケンス内の現在の機械学習トレーニングインスタンスの報酬を特定すること、及び前記時間シーケンス内の以前の機械学習トレーニングインスタンスのそれぞれに加えられた前記報酬の割引部分を特定することによってそれぞれの前記品質値を特定し、前記機械学習トレーニングインスタンスのそれぞれが、状態／アクションペアを含んでなる、前記品質値を特定する工程と、
特定した前記品質値であって対応する前記品質値をそれぞれの機械学習トレーニングインスタンスに関連付ける工程と、
強化学習を用いて、前記機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程であって、前記機械学習トレーニングインスタンスのそれぞれが、その関連付けられている品質値に基づいて、前記関連付けられている品質値の関数である重み付け係数を用いて前記トレーニング中に重み付けされることによって、前記分類子のトレーニングは低い品質値の機械学習トレーニングインスタンスによるよりも、高い品質値の機械学習トレーニングインスタンスによってより多く影響される、前記機械学習トレーニングインスタンスのそれぞれを使用して分類子をトレーニングする工程とを備える、方法。
【請求項２】
前記分類子が、多層パーセプトロン（ＭＬＰ）ニューラルネットワーク、別の多層ニューラルネットワーク、決定木、又はサポートベクターマシンを含んでなる、請求項１に記載の方法。
【請求項３】
それぞれの前記品質値はプラスまたはマイナスの値を取り、プラスの品質値は関連する機会学習トレーニングインスタンスと類似したインスタンスをサポートすることを学習するとを促す傾向を有し、マイナスの品質値は対応する機会学習トレーニングインスタンスと類似したインスタンスをサポートすることを阻止する傾向を有する、請求項１に記載の方法。
【請求項４】
前記機械学習トレーニングインスタンスのそれぞれが、次の式
ｕ（ｑ）＝（ａ＋ｂ・ｑ）であり、この場合、
ｑは、前記関連付けられている品質値であり、
ｕ（ｑ）は、前記重み付け係数であり、
ａは、第１の経験的パラメータであり、
ｂは、第２の経験的パラメータである
に従って、別々の品質値を別々に重み付けする重み付け係数を使用して、その関連付けられている品質値に基づいて前記トレーニング中に重み付けされる、請求項１に記載の方法。
【請求項５】
以前の各機械学習トレーニングインスタンスに割り当てられている前記報酬の割引部分はさらに低減されることによって、以前の各機械学習トレーニングインスタンスは現在の機械学習トレーニングインスタンスから前記時間シーケンスに配置される、請求項１に記載の方法。
【請求項６】
それぞれの前記機械学習トレーニングインスタンスは複数出力依存機械学習トレーニングインスタンスであり、それぞれの複数出力依存機械学習トレーニングインスタンスは複数の相互に依存している出力構成要素を含んでなり、
それぞれの複数出力依存機械学習トレーニングインスタンスを用いて強化学習により分類子をトレーニングする工程は、トレーニングにおいて、階層ベースシーケンシング機械学習モデルまたは複数出力緩和機械学習モデルを採用することを含んでなる、請求項１に記載の方法。
【請求項７】
それぞれの複数出力依存機械学習トレーニングインスタンスはリード応答管理複数出力依存機械学習トレーニングインスタンスである、請求項６に記載の方法。
【請求項８】
請求項１に記載の方法をプロセッサに実行させるように構成されているプログラムを格納している非一時的なコンピュータ可読メディア。
【国際調査報告】
2016505974.tif 000014