(57)【要約】  入力部８１は、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける。確率的決定リスト生成部８２は、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる。学習部８３は、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新する。
2020059136.tif 000002
【特許請求の範囲】
【請求項１】
決定リストを学習する決定リスト学習装置であって、
条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力部と、
前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成部と、
前記観測データが条件を満たす前記ルールの予測を前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習部とを備えた
ことを特徴とする決定リスト学習装置。
【請求項２】
学習部は、観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出し、当該重みを用いて前記ルールの予測を統合したものを統合予測とする
請求項１記載の決定リスト学習装置。
【請求項３】
確率的決定リスト生成部は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定する
請求項１または請求項２記載の決定リスト学習装置。
【請求項４】
確率的決定リスト生成部は、複数の位置に割り当てられた同一のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する
請求項１から請求項３のうちのいずれか１項に記載の決定リスト学習装置。
【請求項５】
確率的決定リスト生成部は、同一の位置に割り当てられた複数のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する
請求項１から請求項３のうちのいずれか１項に記載の決定リスト学習装置。
【請求項６】
同一グループ内で最大の出現度を１に置換し、置換された以外の出現度を０に置換することで、離散的なリストを決定リストとして生成する離散化部を備えた
請求項３から請求項５のうちのいずれか１項に記載の決定リスト学習装置。
【請求項７】
決定木からルールを抽出する抽出部を備え、
入力部は、決定木の入力を受け付け、
前記抽出部は、受け付けた決定木から、根ノードから葉ノードを辿る条件と当該葉ノードが示す予測とをルールとして抽出する
請求項１から請求項６のうちのいずれか１項に記載の決定リスト学習装置。
【請求項８】
確率的決定リスト生成部は、ルールの集合に含まれるすべてのルールを複数回複製して連結することにより、各ルールを決定リスト上の複数の位置に出現度つきで割り当てる
請求項１から請求項７のうちのいずれか１項に記載の決定リスト学習装置。
【請求項９】
学習部は、出現度に応じて減少させたルールの重みを当該ルールの予測にそれぞれ乗じて総和とした重み付線形和を統合予測とする
請求項２記載の決定リスト学習装置。
【請求項１０】
決定リストを学習する決定リスト学習方法であって、
条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付け、
前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当て、
前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する
ことを特徴とする決定リスト学習方法。
【請求項１１】
観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出し、当該重みを用いて前記ルールの予測を統合したものを統合予測とする
請求項１０記載の決定リスト学習方法。
【請求項１２】
決定リストを学習するコンピュータに適用される決定リスト学習プログラムであって、
前記コンピュータに、
条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力処理、
前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成処理、および、
前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習処理
を実行させるための決定リスト学習プログラム。
【請求項１３】
コンピュータに、
学習処理で、観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出させ、当該重みを用いて前記ルールの予測を統合したものを統合予測とさせる
請求項１２記載の決定リスト学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、決定リストを学習する決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラムに関する。
【背景技術】
【０００２】
機械学習の分野において、単純な条件を複数組み合わせるルールベースのモデルは、解釈が容易であるという利点がある。【０００３】
決定リスト（decision list）は、ルールベースのモデルの一つである。決定リストは、条件と予測から構成されるルールが、順序付きで並べられたリストである。用例が与えられたとき、予測器は、このリストを順にたどり、用例が条件に適合する最初のルールを採用し、そのルールの予測を出力する。【０００４】
非特許文献１には、決定リストを最適化する方法の一例が記載されている。非特許文献１に記載された方法では、マルコフ連鎖モンテカルロ法を用いて決定リストを最適化する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Letham,  Benjamin,  Rudin,  Cynthia,  McCormick,  Tyler H.,  and Madigan,  David, “Interpretable  classifiers  using  rules  and Bayesian analysis:  Building a better stroke prediction model”, Annals of Applied Statistics, 9(3), pp.1350?1371, 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
決定リストは、解釈性が高いという利点がある一方で、最適化が難しいという欠点がある。線形モデルやニューラルネットワークのような連続的なパラメータを持つモデルであれば、その最適化は連続最適化問題になる。そのため、微分により勾配を計算して勾配降下法を利用するなど、連続最適化の手法が容易に適用できる。しかし、決定リストは、連続的なパラメータを持たず、ルールの適用順序だけで予測が決まるため、この最適化は離散最適化問題となる。そのため、パラメータで微分することができず、最適化が難しい。【０００７】
非特許文献１に記載されている方法は、予測精度が改善されるまで決定リストをランダムに変更する方法であり、好ましい決定リストが偶然得られるまで長い時間をかけて様々なリストを試す必要がある。そのため、非特許文献１に記載された方法は、予測精度が高い決定リストが得られるまでに、非常に長い時間がかかってしまうため非効率的であり、現実的な計算時間で予測精度が高い決定リストを導出することは困難である。【０００８】
そこで、本発明は、予測精度を高めつつ実用的な時間で決定リストを構築できる決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラムを提供すること目的とする。
【課題を解決するための手段】
【０００９】
本発明による決定リスト学習装置は、決定リストを学習する決定リスト学習装置であって、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力部と、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成部と、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新する学習部とを備えたことを特徴とする。【００１０】
本発明による決定リスト学習方法は、決定リストを学習する決定リスト学習方法であって、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付け、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当て、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新することを特徴とする。【００１１】
本発明による決定リスト学習プログラムは、決定リストを学習するコンピュータに適用される決定リスト学習プログラムであって、コンピュータに、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力処理、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成処理、および、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新する学習処理を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、予測精度を高めつつ実用的な時間で決定リストを構築できる。
【図面の簡単な説明】
【００１３】
【図１】本発明による決定リスト学習装置の第一の実施形態の構成例を示すブロック図である。
【図２】ルールセットの例を示す説明図である。
【図３】確率的決定リストの例を示す説明図である。
【図４】重み付線形和を導出する処理の例を示す説明図である。
【図５】予測値を算出する処理の例を示すフローチャートである。
【図６】学習結果の例を示す説明図である。
【図７】決定リストを生成する処理の例を示す説明図である。
【図８】第一の実施形態の決定リスト学習装置の動作例を示すフローチャートである。
【図９】第一の実施形態の決定リスト学習装置の変形例を示すブロック図である。
【図１０】ルールを抽出する処理の例を示す説明図である。
【図１１】本発明による決定リスト学習装置の第二の実施形態の構成例を示すブロック図である。
【図１２】確率的決定リストの例を示す説明図である。
【図１３】本発明の情報処理システムの構成例を示すブロック図である。
【図１４】本発明による決定リスト学習装置の概要を示すブロック図である。
【図１５】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面を参照して説明する。本発明では、ｘを観測データとし、正解ｙを予測する問題を考える。以下では、ｙが任意の連続値である回帰問題について説明するが、クラスへの所属確率をｙとして用いることで、分類問題にも適用可能である。
【００１５】
実施形態１．
図１は、本発明による決定リスト学習装置の第一の実施形態の構成例を示すブロック図である。本実施形態の決定リスト学習装置１００は、リスト上での位置に基づいてルールの適用順序が決まる決定リストを学習する装置である。決定リスト学習装置１００は、入力部１０と、確率的決定リスト生成部２０と、確率的決定リスト学習部３０と、離散化部４０と、出力部５０とを備えている。
【００１６】
入力部１０は、最適化の対象とするルールセットを受け付ける。ルールセットは、観測データに関する条件と、その観測データが条件を満たす場合の予測とを含むルールの集合である。ルールセットに含まれる各ルールには、インデックスが付与されていてもよい。この場合、各ルールがインデックスに従って順に並べられていてもよい。また、入力部１０は、観測データと正解とのペアである訓練データの集合を受け付ける。
【００１７】
本実施形態では、ルールセットが事前に構築されていると仮定する。また、各ルールには、０で始まるインデックスが割り当てられており、インデックスｊで特定されるルールをｒｊと記す。また、このルールの予測（予測値）をｙ＾ｊ、または、ｙｊの上付き＾で記す。
【００１８】
図２は、ルールセットの例を示す説明図である。図２に示す例では、ルールに観測データｘ＝［ｘ０，ｘ１］Ｔに関する条件が含まれる。本実施形態で用いられるルールには、例えば、訓練データに頻出パターンマイニングを適用することで自動獲得されたルールや、人間が手作業で作成したルールを用いることが可能である。
【００１９】
また、ルールの条件は、観測データが与えられた場合に真偽が判定できるものであれば特に限定されない。ルールの条件に、例えば、複数の条件をＡＮＤで結合した複合条件が含まれていてもよい。また、非特許文献１に記載されているような、頻出パターンマイニングで抽出されたルールが用いられてもよい。さらに、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔのような決定木アンサンブルにより抽出されるルールが用いられてもよい。決定木アンサンブルによりルールを抽出する方法は、後述される。
【００２０】
確率的決定リスト生成部２０は、ルールとそのルールが出現する度合いを示す出現度とを対応付けたリストを生成する。この出現度は、決定リストにおける特定の位置にルールが出現する度合いを示す値である。本実施形態の確率的決定リスト生成部２０は、受け付けたルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てたリストを生成する。
【００２１】
以下の説明では、出現度を、ルールが決定リスト上に出現する確率（以下、出現確率と記す。）として扱う。そこで、生成されるリストを、以下、確率的決定リストと記す。
【００２２】
確率的決定リスト生成部２０が決定リスト上の複数の位置にルールを割り当てる方法は任意である。ただし、後述する確率的決定リスト学習部３０が、決定リスト上のルールの順序を適切に決定できるようにするため、各ルールの前後関係を網羅するようにルールを割り当てることが好ましい。確率的決定リスト生成部２０は、例えば、第一のルールと第二のルールとを割り当てる際に、第一のルールの後に第二のルールを割り当てるとともに、第二のルールの後に第一のルールを割り当てるようにすることが好ましい。なお、確率的決定リスト生成部２０がルールを割り当てる数は、各ルールで一致していてもよいし、異なっていてもよい。
【００２３】
また、確率的決定リスト生成部２０は、ルールセットＲに含まれる全てのルールをインデックスに従って並べた長さ｜Ｒ｜のリストを、δ回複製して連結することにより、長さδ｜Ｒ｜の確率的決定リストを生成してもよい。このように、同一のルールセットを複製して確率的決定リストを生成することで、後述する確率的決定リスト学習部３０による学習処理を効率化できる。
【００２４】
上述する例の場合、ルールｒｊは、リスト中に計δ回出現し、その出現位置は、以下に例示する式１で表される。
【００２５】
π（ｊ，ｄ）＝ｄ＊｜Ｒ｜＋ｊ  （ｄ∈［０，δ−１］）    （式１）
【００２６】
確率的決定リスト生成部２０は、ルールｒｊが位置π（ｊ，ｄ）に出現する確率ｐπ（ｊ，ｄ）、を、出現度として、以下の式２に例示する温度つきソフトマックス関数を用いて計算してもよい。式２において、τは温度パラメータであり、ｗｊ，ｄは、ルールｒｊがリスト内の位置π（ｊ，ｄ）に出現する度合いを表わすパラメータである。
【００２７】
【数１】
2020059136.tif 000003
【００２８】
このように、確率的決定リスト生成部２０は、式２に例示するソフトマックス関数で定義される出現確率つきで、決定リスト上の複数の位置に各ルールを割り当てた確率的決定リストを生成してもよい。
【００２９】
ここで、式２において、ｄ＝δの場合のパラメータ（つまり、ｗｊ，ｄ）は、ルールｒｊがリスト内に出現しない度合いを表すパラメータである。すなわち、確率的決定リスト生成部２０は、決定リストに含まれ得る候補のルールセット（リスト内ルールセットと記すこともある。）と、決定リストに含まれない候補のルールセット（リスト外ルールセットと記すこともある。）とを含む確率的決定リストを生成する。
【００３０】
また、上記式２において、パラメータｗｊ，ｄは、［−∞，∞］の範囲の任意の実数である。ただし、ソフトマックス関数によって、確率ｐｊ，ｄは、合計１に正規化される。すなわち、各ルールについて、リスト内のδ個の位置での出現確率、及び、リストに出現しない確率を合計すると１になる。
【００３１】
式２において、温度τが０に近づくと、ソフトマックス関数の出力はｏｎｅ−ｈｏｔベクトルに近づく。すなわち、あるルールは、いずれか１つの位置のみ確率が１になり、他の位置では確率が０になる。
【００３２】
以下の説明では、割り当てた複数のルールの中から一つのルールを決定する範囲をグループと記す。本実施形態では、同一のルールを纏めたものを一つのグループとする。そのため、確率的決定リスト生成部２０は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定していると言える。言い換えると、本実施形態の確率的決定リスト生成部２０は、複数の位置に割り当てられる同一のルールの出現度の合計が１になるように出現度を決定する。
【００３３】
図３は、確率的決定リストを生成する処理の例を示す説明図である。図３（ａ）に示す例では、入力部１０が５つのルールを含むルールセットＲ１を受け付け、ルールセットＲ１から３つの複製されたルールセットを含む確率的決定リストを生成したとする（δ＝２）。この場合、先頭の２つのルールセットがリスト内ルールセットＲ２に対応し、残りの１つのルールセットがリスト外ルールセットＲ３に対応する。
【００３４】
また、図３（ａ）に示す例では、リスト内ルールセットＲ２に含まれる各ルールの出現度が０．３に設定され、リスト外ルールセットＲ３に含まれる各ルールの出現度が０．４に設定されている。ただし、設定される出現度は、リスト内ルールセットＲ２やリスト外ルールセットＲ３で同一である必要はなく、任意の出現度を設定することが可能である。なお、本実施形態では、同一のグループに所属するルールの出現度の合計が１になるように決定される。
【００３５】
例えば、３つのルール０を含むグループに着目すると、図３に例示するルール０の出現度の合計は、０．３＋０．３＋０．４＝１．０に設定されている。他のルールについても同様である。
【００３６】
また、確率的決定リスト生成部２０は、図３（ｂ）に示すように、受け付けたルールセットＲ１の中から、ランダムにルールを選択して確率的決定リスト（リスト内ルールセットＲ４およびリスト外ルールセットＲ５）を生成してもよい。ただし、上述するように、規則的にルールが並んでいる方が、計算の観点（より詳しくは、行列計算の観点）から、より好ましい。
【００３７】
確率的決定リスト学習部３０は、受け付けた訓練データに含まれる観測データが条件を満たすルールの予測を、そのルールに対応付けられた出現度に基づいて統合する。以下、統合された予測のことを統合予測と記す。そして、確率的決定リスト学習部３０は、統合予測と正解との差を小さくするように、出現度を決定するパラメータを更新して、確率的決定リストを学習する。上記式２の例では、確率的決定リスト学習部３０は、パラメータｗｊ，ｄを更新して確率的決定リストを学習する。
【００３８】
具体的には、まず、確率的決定リスト学習部３０は、受け付けた観測データが満たす条件を含むルールを抽出する。次に、確率的決定リスト学習部３０は、抽出したルールを順に並べたときに、観測データが条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するように、ルールの重みを算出する。そして、確率的決定リスト学習部３０は、算出した重みを用いてルールの予測を統合したものを統合予測とする。
【００３９】
例えば、あるルールの出現度が確率ｐで表されるとき、確率的決定リスト学習部３０は、その後続のルールの出現度に対して（１−ｐ）の累積積を乗じてルールの重みを算出し、算出された重みを各予測に乗じて加算した重み付線形和を統合予測としてもよい。例えば、確率的決定リストがルールセットＲの複製で生成されている場合、統合予測ｙ＾は、以下に例示する式３で表される。
【００４０】
【数２】
2020059136.tif 000004
【００４１】
式３において、λ（ｉ）＝ｉ％｜Ｒ｜は、位置ｉに対応するルールを示すインデックスである。また、１ｉ（ｘ）は、位置ｉに対応するルールの条件を入力ｘが満たす場合に１、満たさない場合に０になる関数である。
【００４２】
図４は、重み付線形和を導出する処理の例を示す説明図である。図３に例示する確率的決定リストが生成された状況で、ルール１とルール３の条件を満たす観測データが受け付けられたとする。この場合、確率的決定リスト学習部３０は、受け付けた観測データが満たす条件を含むルール１およびルール３を抽出する（ルールリストＲ６）。
【００４３】
次に、確率的決定リスト学習部３０は、確率的決定リストの上から順に、各ルールの確率ｐに、その前のルールの確率ｐを１から減じた値（１−ｐ）を乗じることで重みを算出する。図４に示す例では、一行目のルール１の確率が０．３の場合、確率的決定リスト学習部３０は、二行目のルール３の重みを、ルール３の確率０．３に、一行目のルール１の確率を１から減じた値（１−０．３）を乗じることで、重み（０．２１）を算出する。
【００４４】
同様に、確率的決定リスト学習部３０は、三行目のルール１の重みを、ルール１の確率０．３に、一行目のルール１の確率を１から減じた値（１−０．３）、および、二行目のルール３の確率を１から減じた値（１−０．３）を乗じることで、重み（０．１４７）を算出する。また、確率的決定リスト学習部３０は、四行目のルール３の重みを、ルール３の確率０．３に、一行目のルール１の確率を１から減じた値（１−０．３）、二行目のルール３の確率を１から減じた値（１−０．３）、および、三行目のルール１の確率を１から減じた値（１−０．３）を乗じることで、重み（０．１０２９）を算出する（算出結果Ｒ７）。
【００４５】
なお、上述するように、リスト外ルールセットは、決定リストに含まれない候補のルールセットであるため、確率的決定リスト学習部３０は、リスト外ルールセットに含まれるルールの出現度を重みの算出処理には用いない。
【００４６】
確率的決定リスト学習部３０は、算出した重みを各予測の係数として加算した重み付線形和を予測値として算出する。図４に示す例では、一行目のルール１による予測１、二行目のルール３による予測３、三行目のルール１による予測１、および、四行目のルール３による予測３に、それぞれ、重み、０．３、０．２１、０．１４７および０．１０２９を乗じて加算することで、重み付線形和Ｆ１を算出する。
【００４７】
なお、受け付けた観測データが満たす条件を含むルールが存在しない場合を考慮し、デフォルトの予測値が設けられていてもよい。この場合、統合予測ｙ＾は、以下に例示する式４で表されてもよい。式４において、ｙ＾ｄｅｆは、デフォルトの予測値である。ｙ＾ｄｅｆとして、例えば、訓練データに含まれるすべてのｙの平均値が用いられてもよい。
【００４８】
【数３】
2020059136.tif 000005
【００４９】
図５は、予測値ｙ＾を算出する処理の例を示すフローチャートである。確率的決定リスト学習部３０は、まず、初期値として、ｙ＾およびｓにそれぞれ０を設定し、ｑｉに１を設定する（ステップＳ１１）。次に、確率的決定リスト学習部３０は、ｉ＝０からδ｜Ｒ｜−１まで、以下に示すステップＳ１２からステップＳ１３の処理を繰り返す。
【００５０】
入力ｘがルールｒｊの条件を満たす場合（ステップＳ１２におけるＹｅｓ）、確率的決定リスト学習部３０は、ｙ＾にｑｉｐｉｙ＾ｊを加算し、ｓにｑｉｐｉを加算し、ｑｉに（１−ｐｉ）を乗じる（ステップＳ１３）。一方、入力ｘがルールｒｊの条件を満たさない場合（ステップＳ１２におけるＮｏ）、ステップＳ１３の処理は行われない。そして、確率的決定リスト学習部３０は、予測値ｙ＾に、（１−ｓ）ｙ＾ｄｅｆを加算し（ステップＳ１４）、加算した値を予測値ｙ＾とする。
【００５１】
図５に例示する処理の結果、当たらないルールは下層に追いやられ、当たるルールは上層に浮かび上がるように学習されることになる。また、図５に例示するフローチャートのアルゴリズムは、以下のように解釈できる。上記の式４に示すように、予測値ｙ＾は、入力ｘが条件を満たすような全てのルールの予測値と、デフォルト予測値の重み付き平均である。そして、ある位置ｉでのルールの出現確率ｐｉは、後続のルールの予測値全てにペナルティとして作用する。すなわち、ｐｉの値が大きいほど、後続のルールの予測値の重みは小さくなる。
【００５２】
例えば、ｐｉ＝１のとき、後続するルールの予測値の重みは全て０になる。特に、上記の式２において、τが０に限りなく近づくとき、各ルールはいずれかの位置においてのみ確率１で存在する。すなわち、全ての位置ｉにおいて、ｐｉは、０か１のいずれかの値をとる。このとき、ｐｉ＝１であり、かつ、入力ｘが条件を満たす最初のルールの予測値が、最終的な予測値になる。
【００５３】
つまり、確率的決定リストは、ｐｉ＝１になるルールのみが存在するとみなした通常の離散的な決定リストに収束することを意味する。このことから、これまで説明してきた確率的決定リストは、通常の離散的な決定リストに近似すると言える。
【００５４】
すなわち、確率的決定リスト学習部３０が、観測データが条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するように、ルールの重みを算出することで、そのルール以降に存在するルールを使わないようにする効果が得られる。これは、確率的に分布するとみなした確率的決定リストから、最終的な決定リストを導出していると言える。
【００５５】
なお、確率的決定リスト学習部３０が、統合予測と正解との差を小さくするように出現度を決定するパラメータを更新する方法は任意である。例えば、観測データｘｉと、正解ｙｉのペアの集合である訓練データＤ＝｛（ｘｉ，ｙｉ）｝ｎ−１ｉ＝０と、出現度を決定するパラメータＷを用いて、損失関数Ｌ（Ｄ；Ｗ）、誤差関数Ｅ（Ｄ；Ｗ）、正則化項Ｒ（Ｗ）を以下に例示する式５のように定義してもよい。
【００５６】
Ｌ（Ｄ；Ｗ）＝Ｅ（Ｄ；Ｗ）＋ｃＲ（Ｗ）  （式５）
【００５７】
ｃは、誤差関数と正則化項のバランスをとるためのハイパーパラメータである。例えば回帰問題の場合、誤差関数Ｅ（Ｄ；Ｗ）として、以下の式６に例示する平均二乗誤差が用いられてもよい。また、例えば、分類問題の場合、誤差関数として、クロスエントロピーが用いられてもよい。すなわち、勾配の計算が可能であれば、どのような誤差関数が定義されてもよい。
【００５８】
【数４】
2020059136.tif 000006
【００５９】
また、正則化項Ｒ（Ｗ）として、例えば、以下に例示する式７が用いられてもよい。式７に例示する正則化項は、全てのルールについて、リスト内に存在する確率を合計したものである。この正則化項を加えることで、リストに含まれるルールの数が少なくなるため、汎化性能を向上させることが可能になる。
【００６０】
【数５】
2020059136.tif 000007
【００６１】
確率的決定リスト学習部３０は、損失関数の勾配を計算し、勾配降下法を用いて最小化する。なお、同一のルールセットを複製して確率的決定リストが生成されている場合、上記式２において、ｗｊ，ｄを、ｊ行目ｄ列目の要素とするサイズ（｜Ｒ｜，δ＋１）の行列と定義することができる。このようにパラメータを定義することで、行列演算により勾配を計算することが可能になる。
【００６２】
図６は、学習結果の例を示す説明図である。例えば、図３に例示する確率的決定リストに基づいて確率的決定リスト学習部３０が学習した結果、予測精度を向上させるように各ルールの出現度が最適化され、更新される。具体的には、図６に示す例では、２行目のルール１、５行目のルール４、８行目のルール２の出現度が、それぞれ０．３から０．８に更新され、適切な位置のルールの出現度が向上したことを示す。また、図６に示す例では、リスト外ルールセットにおいて、１行目のルール０と、４行目のルール０の出現度が、それぞれ０．４から０．８に更新されており、これらのルールの適用可能性が低いことを示す。
【００６３】
離散化部４０は、学習された確率的決定リストに基づいて、決定リストを生成する。具体的には、離散化部４０は、学習された確率的決定リストに基づいて、同一のルールの中から対応付けられた出現度が最も高いルールを選択して、決定リストを生成する。上記グループの観点では、離散化部４０は、同一グループ内で最大の出現度が対応付けられたルールの出現度を１に置換し、置換された以外のルールの出現度を０に置換することで、離散的な決定リストを生成する。これは、出現度が１に置換されたルールのみを適用することにより、確率的に分布するとみなされたルールのリストを離散的なルールのリストとみなすることを意味する。
【００６４】
このように、離散化部４０は、確率的な分布を示す確率的決定リストから離散的な決定リストを生成していることから、決定リスト生成部と言うことができる。また、離散化部４０は、最大確率になる位置にルールを固定する処理を行っているとも言える。
【００６５】
図７は、決定リストを生成する処理の例を示す説明図である。確率的決定リストとして、例えば、図６に例示する結果が得られているとする。ここで、ルール１に着目した場合、出現度の最も大きい位置は、出現度が０．８の２行目であることが分かる。そこで、離散化部４０は、ルール１については、２行目に割り当てられたルールを適用すると決定する。同様に、ルール２については、３行目に割り当てられたルールよりも、８行目に割り当てられたルールの方が出現度が高い。そこで、離散化部４０は、ルール２については、８行目に割り当てられたルールを適用すると決定する。他のルールについても同様である。
【００６６】
離散化部４０は、全てのグループ（ルール）について上記処理を行った結果、ルール１、ルール４、ルール２の順で決定リストＲ８を生成する。なお、リスト外ルールセットのルール０およびルール３は不要なため、離散化部４０は、ルール０およびルール３を決定リストから除外する。
【００６７】
出力部５０は、生成された決定リストを出力する。
【００６８】
入力部１０と、確率的決定リスト生成部２０と、確率的決定リスト学習部３０と、離散化部４０と、出力部５０とは、プログラム（決定リスト学習プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array ））によって実現される。
【００６９】
例えば、プログラムは、決定リスト学習装置１００が備える記憶部（図示せず）に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部１０、確率的決定リスト生成部２０、確率的決定リスト学習部３０、離散化部４０および出力部５０として動作してもよい。また、決定リスト学習装置１００の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
【００７０】
また、入力部１０と、確率的決定リスト生成部２０と、確率的決定リスト学習部３０と、離散化部４０と、出力部５０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
【００７１】
また、決定リスト学習装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【００７２】
次に、本実施形態の決定リスト学習装置１００の動作を説明する。図８は、本実施形態の決定リスト学習装置１００の動作例を示すフローチャートである。入力部１０は、条件と予測とを含むルールの集合（ルールセット）、及び、観測データと正解のペアである訓練データを受け付ける（ステップＳ２１）。確率的決定リスト生成部２０は、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる（ステップＳ２２）。確率的決定リスト学習部３０は、観測データが条件を満たすルールの予測を、出現度に基づいて統合して、統合予測を取得し（ステップＳ２３）、統合予測と正解との差を小さくするように、出現度を決定するパラメータを更新する（ステップＳ２４）。
【００７３】
以降、離散化部４０は、複数の位置にルールおよび出現度が割り当てられた確率的決定リストから離散的な決定リストを生成し、出力部５０は、生成された決定リストを出力する。
【００７４】
以上のように、本実施形態では、入力部１０が、ルールの集合及び訓練データを受け付け、確率的決定リスト生成部２０が、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に出現度つきで割り当てる。そして、確率的決定リスト学習部３０が、観測データが条件を満たすルールの予測を、出現度に基づいて統合することで得られる統合予測と、正解との差を小さくするように、出現度を決定するパラメータを更新する。よって、予測精度を高めつつ実用的な時間で決定リストを構築できる。
【００７５】
すなわち、通常の決定リストは離散的で微分不可能であるが、確率的決定リストは連続的で微分可能である。本実施形態では、確率的決定リスト生成部２０が、決定リスト上の複数の位置に各ルールを出現度つきで割り当てて確率的決定リストを生成する。生成された決定リストは、ルールが確率的に分布するとみなすことで確率的に存在する決定リストであり、勾配降下法で最適化できるため、より精度が高い決定リストを実用的な時間で構築できる。
【００７６】
次に、第一の実施形態の変形例を説明する。図９は、第一の実施形態の決定リスト学習装置の変形例を示すブロック図である。本変形例の決定リスト学習装置１０１は、第一の実施形態の決定リスト学習装置１００に加え、抽出部１１を備えている。
【００７７】
入力部１０は、ルールセットの代わりに、決定木の入力を受け付ける。抽出部１１は、受け付けた決定木から、ルールを抽出する。具体的には、抽出部１１は、決定木から複数のルールとして、根ノードから葉ノードを辿る条件と、その葉ノードが示す予測とを抽出する。
【００７８】
図１０は、ルールを抽出する処理の例を示す説明図である。入力部１０が、図１０に例示する決定木Ｔ１を受け付けたとする。このとき、抽出部１１は、根ノードから葉ノードを辿って、各ノードに設定された条件を結合したルールと、その葉ノードが示す予測とを抽出する。例えば、予測が「Ｂ」になる葉ノードへの条件として、抽出部１１は、「（ｘ０≦４）ＡＮＤ（ｘ１＞２）」を抽出する。抽出部１１は、他の葉ノードに対しても同様に条件および予測を抽出すればよい。
【００７９】
このように、抽出部１１が決定木から複数のルールを抽出することで、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔのような決定木アンサンブルと連携して処理を行うことが可能になる。
【００８０】
実施形態２．
次に、本発明による決定リスト学習装置の第二の実施形態を説明する。第一の実施形態では、確率的決定リスト生成部２０が、１つの位置に１つのルールを割り当てたリスト（確率的決定リスト）を生成する方法について説明した。本実施形態では、１つの位置に複数のルールが割り当てられたリストを用いて、決定リストを学習する方法を説明する。
【００８１】
図１１は、本発明による決定リスト学習装置の第二の実施形態の構成例を示すブロック図である。本実施形態の決定リスト学習装置２００は、入力部１０と、確率的決定リスト生成部２１と、確率的決定リスト学習部３０と、離散化部４０と、出力部５０とを備えている。
【００８２】
すなわち、本実施形態の決定リスト学習装置２００は、第一の実施形態の決定リスト学習装置１００と比較して、確率的決定リスト生成部２０の代わりに確率的決定リスト生成部２１を備えている点において異なる。それ以外の構成は、第一の実施形態と同様である。なお、決定リスト学習装置２００が、第一の実施形態の変形例で示す抽出部１１を備えていてもよい。
【００８３】
確率的決定リスト生成部２１は、第一の実施形態の確率的決定リスト生成部２０と同様に、ルールと出現度とを対応付けたリストを生成する。ただし、本実施形態の確率的決定リスト生成部２１は、１つの位置に複数のルールおよび出現度を割り当てた確率的決定リストを生成する。その際、確率的決定リスト生成部２１は、１つの位置に存在するルールの確率が合計１になるように正規化する。
【００８４】
本実施形態では、１つの位置に存在する複数のルールを一つのグループとして扱う。そのため、本実施形態の確率的決定リスト生成部２１も、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定していると言える。すなわち、確率的決定リスト生成部２１は、同一の位置に割り当てられた複数のルールの出現度の合計が１になるように出現度を決定する。
【００８５】
図１２は、確率的決定リストの例を示す説明図である。図１２に示す例では、１つの位置に５つのルール（ルール０〜４）および出現度を割り当てた確率的決定リストを示す。また、図１２に示す例では、各行がそれぞれ１つのグループに対応し、出現度の合計が１．０になっていることを示す。
【００８６】
本実施形態の確率的決定リスト学習部３０も、受け付けた訓練データに含まれる観測データが条件を満たすルールの予測を、そのルールに対応付けられた出現度に基づいて統合する。具体的には、確率的決定リスト学習部３０は、観測データが条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するように、ルールの重みを算出する。
【００８７】
本実施形態では、確率的決定リスト学習部３０は、１つの位置で入力データｘに該当するルールの出現度の合計を確率ｑとし、その後続のルールの出現度に対して（１−ｑ）の累積積を乗じてルールの重みを算出する。このように算出された重みを各予測に乗じて加算した重み付線形和を統合予測としてもよい。
【００８８】
例えば、図１２に例示する確率的決定リストが生成された状況で、ルール１とルール３の条件を満たす観測データが受け付けられたとする。この場合、確率的決定リスト学習部３０は、受け付けた観測データが満たす条件を含むルール１およびルール３を抽出する。
【００８９】
次に、確率的決定リスト学習部３０は、各位置で該当するルールの出現度の合計を算出し、それを確率ｑとする。確率的決定リスト学習部３０は、各ルールの確率ｐに、その前のルールの確率ｑを１から減じた値（１−ｑ）を乗じることで重みを算出する。
【００９０】
図１２に示す例では、一行目のルール１とルール３の確率の合計が０．２＋０．２＝０．４になる。そこで、確率的決定リスト学習部３０は、二行目のルール１の確率０．１に、一行目のルールの確率の合計を１から減じた値（１−０．４）を乗じることで、重み（０．０６）を算出する。同様に、確率的決定リスト学習部３０は、二行目のルール３の確率０．１に、一行目のルールの確率の合計を１から減じた値（１−０．４）を乗じることで、重み（０．０６）を算出する。以下の行についても同様である。
【００９１】
そして、確率的決定リスト学習部３０は、算出した重みを各予測の係数として加算した重み付線形和を予測値として算出する。
【００９２】
以降、第一の実施形態と同様に、確率的決定リスト学習部３０は、統合予測と正解との差を小さくするように出現度を決定するパラメータを更新する。本実施形態においても、例えば、上記式２におけるτ→０になる極限で、第一の実施形態と同様に、確率的決定リストは、通常の決定リストに収束することになる。
【００９３】
以上のように、本実施形態では、確率的決定リスト生成部２１が、１つの位置に複数のルールおよび出現度を割り当てた確率的決定リストを生成し、確率的決定リスト学習部３０が、統合予測と正解との差を小さくするように出現度を決定するパラメータを更新する。そのような構成によっても、予測精度を高めつつ実用的な時間で決定リストを構築できる。
【００９４】
実施形態３．
次に、本発明で生成される決定リストの適用例を説明する。一般的に、決定リストは、上から順に入力ｘに対する条件がチェックされ、１番目に該当するルールが選択される。本実施形態では、選択するルールを拡張し、該当するルールが発見された場合でも、後続の条件でさらに該当するルールを選択して処理を行う方法を説明する。
【００９５】
図１３は、本発明の情報処理システム３００の構成例を示すブロック図である。図１３に例示する情報処理システム３００は、決定リスト学習装置１００と、予測器３１０とを備えている。なお、決定リスト学習装置１００の代わりに、決定リスト学習装置１０１や決定リスト学習装置２００が用いられてもよい。また、予測器３１０が、決定リスト学習装置１００と一体になって構成されていてもよい。
【００９６】
予測器３１０は、決定リスト学習装置１００が学習した決定リストを取得する。そして、予測器３１０は、予め定めた件数の条件に該当するまで、決定リストを上から順にチェックし、決定リストから入力ｘに該当する条件を含むルールを、予め定めた件数取得する。なお、予め定めた件数に該当する条件が存在しない場合、予測器３１０は、条件に該当する全てのルールを決定リストから取得すればよい。
【００９７】
そして、予測器３１０は、取得した全てのルールを用いて予測を行う。予測器３１０は、例えば、取得したルールの予測の平均を、最終的な予測として決定してもよい。また、決定リストの各ルールに重みが設定されている場合、予測器３１０は、各ルールの重みに従って予測を算出してもよい。
【００９８】
決定リストから条件に該当する１つのルールを取得し、そのルールに基づいて予測を行う方法は、通常の決定リストを用いた方法に一致する。この場合、解釈性の高い予測を行うことが可能になる。一方、複数のルールの予測を用いて、多数決的に予測を行う方法は、予測の精度をより向上させることが可能になる。
【００９９】
すなわち、決定リストから選択されるルールの数をｋとした場合、ｋ＝１で通常の決定リストを利用する方法に一致する。また、ｋ＝∞で、複数のルールを考慮して処理が行われることからＲａｎｄｏｍ  Ｆｏｒｅｓｔを利用する方法に一致すると言える。このように、上位からｋ件のルールを選択して行われる処理を、トップｋ決定リスト（Ｔｏｐ−ｋ  ｄｅｃｉｓｉｏｎ  ｌｉｓｔｓ）と呼ぶことができる。
【０１００】
また、ｋの値（すなわち、選択するルールの数）は、ユーザが予め指定することが可能である。上述するように、ｋ＝１の場合には、より解釈性の高い予測を行うことができ、ｋを大きくするほど、予測の精度を向上させることができる。すなわち、ユーザは、解釈性と予測精度のトレードオフを自由に選択することが可能になる。
【０１０１】
次に、本発明の概要を説明する。図１４は、本発明による決定リスト学習装置の概要を示すブロック図である。本発明による決定リスト学習装置８０は、決定リストを学習する決定リスト学習装置（例えば、決定リスト学習装置１００，１０１，２０１）であって、条件と予測とを含むルールの集合、及び、観測データと正解のペア（例えば、訓練データ）を受け付ける入力部８１（例えば、入力部１０）と、ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる（例えば、確率的決定リストを生成する）確率的決定リスト生成部８２（例えば、確率的決定リスト生成部２０）と、観測データが条件を満たすルールの予測を出現度に基づいて統合することで得られる統合予測（例えば、重み付線形和）と、正解との差を小さくするように、出現度を決定するパラメータを更新する学習部８３（例えば、確率的決定リスト学習部３０）とを備えている。
【０１０２】
そのような構成により、予測精度を高めつつ実用的な時間で決定リストを構築できる。
【０１０３】
また、学習部８３は、観測データが条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するようにルールの重みを算出し、その重みを用いてルールの予測を統合したものを統合予測としてもよい。このように、条件を満たすルールの出現度が大きいほど、そのルールに後続するルールの重みが減少するように、ルールの重みを算出することで、そのルール以降に存在するルールを使わないようにする効果が得られる。
【０１０４】
また、確率的決定リスト生成部８２は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定してもよい。
【０１０５】
具体的には、確率的決定リスト生成部８２は、複数の位置に割り当てられた同一のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定してもよい。
【０１０６】
もしくは、確率的決定リスト生成部８２は、同一の位置に割り当てられた複数のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定してもよい。
【０１０７】
また、決定リスト学習装置８０は、同一グループ内で最大の出現度を１に置換し、置換された以外の出現度を０に置換することで、離散的なリストを決定リストとして生成する離散化部（例えば、離散化部４０）を備えていてもよい。
【０１０８】
また、決定リスト学習装置８０は、決定木からルールを抽出する抽出部（例えば、抽出部１１）を備えていてもよい。そして、入力部８１は、決定木の入力を受け付け、抽出部は、受け付けた決定木から、根ノードから葉ノードを辿る条件とその葉ノードが示す予測とをルールとして抽出してもよい。そのような構成によれば、決定木から複数のルールを抽出することが可能になる。
【０１０９】
また、確率的決定リスト生成部８２は、ルールの集合に含まれるすべてのルールを複数回複製して連結することにより、各ルールを決定リスト上の複数の位置に出現度つきで割り当ててもよい。そのような構成によれば、パラメータを行列で定義することができるため、行列演算により勾配を計算することが可能になる。
【０１１０】
また、学習部８３は、出現度に応じて減少させたルールの重みをそのルールの予測にそれぞれ乗じて総和とした重み付線形和を統合予測としてもよい。
【０１１１】
図１５は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。
【０１１２】
上述の決定リスト学習装置８０は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（決定リスト学習プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
【０１１３】
なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ−ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。
【０１１４】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１５】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１１６】
（付記１）決定リストを学習する決定リスト学習装置であって、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力部と、前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成部と、前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習部とを備えたことを特徴とする決定リスト学習装置。
【０１１７】
（付記２）学習部は、観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出し、当該重みを用いて前記ルールの予測を統合したものを統合予測とする付記１記載の決定リスト学習装置。
【０１１８】
（付記３）確率的決定リスト生成部は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定する付記１または付記２記載の決定リスト学習装置。
【０１１９】
（付記４）確率的決定リスト生成部は、複数の位置に割り当てられた同一のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する付記１から付記３のうちのいずれか１つに記載の決定リスト学習装置。
【０１２０】
（付記５）確率的決定リスト生成部は、同一の位置に割り当てられた複数のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する付記１から付記３のうちのいずれか１つに記載の決定リスト学習装置。
【０１２１】
（付記６）同一グループ内で最大の出現度を１に置換し、置換された以外の出現度を０に置換することで、離散的なリストを決定リストとして生成する離散化部を備えた付記３から付記５のうちのいずれか１つに記載の決定リスト学習装置。
【０１２２】
（付記７）決定木からルールを抽出する抽出部を備え、入力部は、決定木の入力を受け付け、前記抽出部は、受け付けた決定木から、根ノードから葉ノードを辿る条件と当該葉ノードが示す予測とをルールとして抽出する付記１から付記６のうちのいずれか１つに記載の決定リスト学習装置。
【０１２３】
（付記８）確率的決定リスト生成部は、ルールの集合に含まれるすべてのルールを複数回複製して連結することにより、各ルールを決定リスト上の複数の位置に出現度つきで割り当てる付記１から付記７のうちのいずれか１つに記載の決定リスト学習装置。
【０１２４】
（付記９）学習部は、出現度に応じて減少させたルールの重みを当該ルールの予測にそれぞれ乗じて総和とした重み付線形和を統合予測とする付記２記載の決定リスト学習装置。
【０１２５】
（付記１０）決定リストを学習する決定リスト学習方法であって、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付け、前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当て、前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新することを特徴とする決定リスト学習方法。
【０１２６】
（付記１１）観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出し、当該重みを用いて前記ルールの予測を統合したものを統合予測とする付記１０記載の決定リスト学習方法。
【０１２７】
（付記１２）決定リストを学習するコンピュータに適用される決定リスト学習プログラムであって、前記コンピュータに、条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力処理、前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成処理、および、前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習処理を実行させるための決定リスト学習プログラム。
【０１２８】
（付記１３）コンピュータに、学習処理で、観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出させ、当該重みを用いて前記ルールの予測を統合したものを統合予測とさせる付記１２記載の決定リスト学習プログラム。
【符号の説明】
【０１２９】
１０  入力部
１１  抽出部
２０，２１  確率的決定リスト生成部
３０  確率的決定リスト学習部
４０  離散化部
５０  出力部
１００，１０１，２００  決定リスト学習装置
３００  情報処理システム
３１０  予測器
【図１】
2020059136.tif 000008
【図２】
2020059136.tif 000009
【図３】
2020059136.tif 000010
【図４】
2020059136.tif 000011
【図５】
2020059136.tif 000012
【図６】
2020059136.tif 000013
【図７】
2020059136.tif 000014
【図８】
2020059136.tif 000015
【図９】
2020059136.tif 000016
【図１０】
2020059136.tif 000017
【図１１】
2020059136.tif 000018
【図１２】
2020059136.tif 000019
【図１３】
2020059136.tif 000020
【図１４】
2020059136.tif 000021
【図１５】
2020059136.tif 000022
【手続補正書】
【提出日】令和3年3月9日(2021.3.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
決定リストを学習する決定リスト学習装置であって、
条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力部と、
前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成部と、
前記観測データが条件を満たす前記ルールの予測を前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習部とを備えた
ことを特徴とする決定リスト学習装置。
【請求項２】
学習部は、観測データが条件を満たすルールの出現度が大きいほど、当該ルールに後続するルールの重みが減少するようにルールの重みを算出し、当該重みを用いて前記ルールの予測を統合したものを統合予測とする
請求項１記載の決定リスト学習装置。
【請求項３】
確率的決定リスト生成部は、同一のグループに所属するルールの出現度の合計が１になるように、出現度を決定する
請求項１または請求項２記載の決定リスト学習装置。
【請求項４】
確率的決定リスト生成部は、複数の位置に割り当てられた同一のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する
請求項１から請求項３のうちのいずれか１項に記載の決定リスト学習装置。
【請求項５】
確率的決定リスト生成部は、同一の位置に割り当てられた複数のルールをグループ化し、各グループに所属するルールの出現度の合計が１になるように出現度を決定する
請求項１から請求項３のうちのいずれか１項に記載の決定リスト学習装置。
【請求項６】
同一グループ内で最大の出現度を１に置換し、置換された以外の出現度を０に置換することで、離散的なリストを決定リストとして生成する離散化部を備えた
請求項３から請求項５のうちのいずれか１項に記載の決定リスト学習装置。
【請求項７】
決定木からルールを抽出する抽出部を備え、
入力部は、決定木の入力を受け付け、
前記抽出部は、受け付けた決定木から、根ノードから葉ノードを辿る条件と当該葉ノードが示す予測とをルールとして抽出する
請求項１から請求項６のうちのいずれか１項に記載の決定リスト学習装置。
【請求項８】
確率的決定リスト生成部は、ルールの集合に含まれるすべてのルールを複数回複製して連結することにより、各ルールを決定リスト上の複数の位置に出現度つきで割り当てる
請求項１から請求項７のうちのいずれか１項に記載の決定リスト学習装置。
【請求項９】
決定リストを学習する決定リスト学習方法であって、
条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付け、
前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当て、
前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する
ことを特徴とする決定リスト学習方法。
【請求項１０】
決定リストを学習するコンピュータに適用される決定リスト学習プログラムであって、
前記コンピュータに、
条件と予測とを含むルールの集合、及び、観測データと正解のペアを受け付ける入力処理、
前記ルールの集合に含まれる各ルールを、決定リスト上の複数の位置に、出現の度合いを示す出現度つきで割り当てる確率的決定リスト生成処理、および、
前記観測データが条件を満たす前記ルールの予測を、前記出現度に基づいて統合することで得られる統合予測と、前記正解との差を小さくするように、前記出現度を決定するパラメータを更新する学習処理
を実行させるための決定リスト学習プログラム。
【国際調査報告】
2020059136.tif 000023
2020059136.tif 000024
2020059136.tif 000025