(57)【要約】  密度推定部８１は、観測された共変数が与えられ、ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する。積分推定部８２は、入力されたランダム変数のシグモイド関数と、ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する。
2021536087.tif 000002
【特許請求の範囲】
【請求項１】
ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する密度推定部と、
入力されたランダム変数のシグモイド関数と、前記ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する積分推定部とを備えた
ことを特徴とする経験損失推定システム。
【請求項２】
密度推定部は、ランダム変数の条件付き確率密度を正規分布で推定し、
積分推定部は、シグモイド関数の区分線形近似を用いて、一次元積分を推定する
請求項１記載の経験損失推定システム。
【請求項３】
ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定し、
入力されたランダム変数のシグモイド関数と、前記ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する
ことを特徴とする経験損失推定方法。
【請求項４】
ランダム変数の条件付き確率密度を正規分布で推定し、
シグモイド関数の区分線形近似を用いて、一次元積分を推定する
請求項３記載の経験損失推定方法。
【請求項５】
コンピュータに、
ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する密度推定処理、および、
入力されたランダム変数のシグモイド関数と、前記ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する積分推定処理
を実行させるための経験損失推定プログラム。
【請求項６】
コンピュータに、
密度推定処理で、ランダム変数の条件付き確率密度を正規分布で推定させ、
積分推定処理で、シグモイド関数の区分線形近似を用いて、一次元積分を推定させる
請求項５記載の経験損失推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１以上の未知の共変数を取得した場合の分類器に期待される誤分類コストを推定する経験損失推定システム、経験損失推定方法、および経験損失推定プログラムに関する
【背景技術】
【０００２】
多くの状況では、より多くの共変数を収集することで、分類精度を向上させることができる。しかし、共変数を取得するにはコストがかかる可能性がある。例えば、糖尿病の有無を診断する場合を想定する。年齢や性別などの情報（共変数）の収集には、ほとんどコストがかからないのに対し、血液検査には、明らかにコスト（医師の勤務時間コストなど）がかかる。一方、患者が糖尿病に苦しんでいるにもかかわらず、誤って糖尿病を持っていないと分類してしまうコストも存在する。
【０００３】
したがって、分類の最終的な目標は、取得した共変数のコストと予想される誤分類のコストの合計によって与えられる誤分類の総コストを削減することであると言える。
【０００４】
共変数を取得するためのコスト、および、誤分類のコストが与えられていると仮定する。誤分類の総コストを削減するためには、より多くの共変数を与えられた場合（すなわち、上記の例では患者に関するより多くの情報を与えられた場合）に予想される誤分類コストを見積もる必要がある。
【０００５】
形式的には、この予想されるコストは、以下のように表される。
【０００６】
【数１】
2021536087.tif 000003
【０００７】
ここで、Ｓは、既に観測された共変数の集合を示し、Ａは追加的に取得すると考えられる共変数を示す。また、正しいクラスがｙであるにもかかわらず、あるサンプル（すなわち、上記の例では患者）をクラスｙ’に分類してしまう場合のコストをｃｙ，ｙ’と示す。なお、以下の説明では、本文中にギリシャ文字を用いる場合には、ギリシャ文字の英語表記を括弧（［］）で囲むことがある。また、大文字のギリシャ文字を表す場合には、［］内の単語の先頭を大文字で表し、小文字のギリシャ文字を表す場合には、［］内の単語の先頭を小文字で表す。さらに、以下の説明では、ギリシャ文字のデルタをｄと表記し、数学における結合を∪と示す。さらに、ｄ＊（ｘＡ∪Ｓ）は、共変数Ａ∪Ｓを用いたベイズ分類器を表し、以下のように定義される。
【０００８】
【数２】
2021536087.tif 000004
【０００９】
ここで、ｃｙ，ｙ＊は、ｙとｙ＊が等しくない場合に０であり、そうでない場合、ｃｙ，ｙ＊＞０で、真のラベルｙを有するサンプルをラベルｙ＊として誤分類してしまうコストを示す。
【００１０】
以下では、未知の共変数Ａを、潜在的なクエリ共変数、または、単にクエリ共変数と記す。これらは、問い合わせを所望される共変数（例えば、臨床実験を行う）であり、それらの結果ｘＡを、分類器に含めることが可能なためである。
【００１１】
式１に示すように、期待される誤分類コストの計算には、すべての未知の共変数Ａに対する積分が必要である。多くの未知の共変数がある場合、すなわち｜Ａ｜＞１の場合、解析的な閉形解がないため、この積分の評価は、計算上困難である。
【００１２】
非特許文献１には、ベイズ的コスト考慮型の分類法が記載されている。非特許文献１に記載された方法は、常に｜Ａ｜を１に限定しているため、一次元積分のみ解く必要がある。
【００１３】
なお、非特許文献２には、ラベル付きデータを用いた勾配降下による学習方法が記載されている。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】Shihao Ji, Lawrence Carin, "Cost-sensitive feature acquisition and classification", Pattern Recognition, Volume 40, Issue 5, May 2007, pp.1474-1485.
【非特許文献２】Hastie, Trevor, Tibshirani, Robert, Friedman, Jerome, "The Elements of Statistical Learning", Springer-Verlag New York , 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上述したように、非特許文献１に記載された方法では、クエリ共変数が２つ以上ある場合に予想される誤分類コストを推定できない。これは、誤分類の総コストがさらに減少する可能性があるにもかかわらず、クエリ共変数に対する処理を停止するという最適でない決定につながる可能性があるためである。
【００１６】
以下では、線形分離可能なデータであっても問題になる具体例を示す。ここで、Ｖを可能な全ての共変数の集合、Ｓをすでに観測された共変数の集合、Ａを追加で取得されると想定される共変数の集合とする。共変数を取得する際の総期待コストは、以下のように定義される。
【００１７】
【数３】
2021536087.tif 000005
【００１８】
ここでｆｉは共変数ｉを取得するコストである。非特許文献１に記載された方法も、ｔ（Ａ）を最適化しようとするが、ｔ（Ａ）が最小であり、かつ｜Ａ｜≦１である集合Ａを選択する貪欲法が用いられる。そして、Ａ＝｛０｝が選択された場合、アルゴリズムは停止する。以下の例は、｜Ａ｜≦１のみを考慮する方法が失敗することを示す。
【００１９】
まず、以下の状況を想定する。
【００２０】
【数４】
2021536087.tif 000006
【００２１】
そして、ｘ１とｘ２の条件付き同時分布は、平均値が０の等方性ガウス分布ある。
ｐ（ｘ１，ｘ２｜ｘｓ）＝Ｎ（ｘ１，ｘ２｜０，Ｉ）
単純化のために、誤分類コストがｃ０，１＝ｃ１，０＝ｃ＞０であり、ｃｙ，ｙ＝０であると仮定する。さらに、単純化のため、共変数ｘ１のクエリ共変数のコストがｘ２と同じであると仮定し、これをｆ＞０と記載する。
【００２２】
クラス１とクラス０の間に、以下のような決定境界があると仮定する。
【００２３】
【数５】
2021536087.tif 000007
【００２４】
ここで、図７に示すように、一般性を損なうことなく、ｍ＞０、ｒ＞０とする。図７は、クラス間の決定境界の一例を示す説明図である。さらに、図７では、条件付き同時確率ｐ（ｘ１，ｘ２｜ｘＳ）の一定密度の等高線図が示されている。ここでは、Ａ＝｛０｝、Ａ＝｛ｘ１｝、Ａ＝｛ｘ２｝、および、Ａ＝｛ｘ１，ｘ２｝の４つの場合を考える。各Ａについて、期待される誤分類コストを計算し、αＡと表記する。
【００２５】
まず、Ａ＝｛ｘ１，ｘ２｝について、
【００２６】
【数６】
2021536087.tif 000008
【００２７】
であり、
【００２８】
【数７】
2021536087.tif 000009
【００２９】
次に、Ａ＝｛ｘ１｝について、
【００３０】
【数８】
2021536087.tif 000010
【００３１】
以下を満たすｘ１の値をｂと定義する。
【００３２】
【数９】
2021536087.tif 000011
【００３３】
以下の式
【００３４】
【数１０】
2021536087.tif 000012
【００３５】
を満たすため、ｂ＝−ｒ／ｍになる。
【００３６】
【数１１】
2021536087.tif 000013
【００３７】
同様に、期待ベイズリスク｛ｘ２｝を計算することが可能である。
【００３８】
最後に、Ａ＝｛０｝とする。また、ランダム変数ｚ：＝ｘ２−ｍｘ１−ｒを定義する。ｘ１とｘ２は独立した標準正規分布であるため、ｚ〜Ｎ（−ｒ，ｍ２＋１）である。
【００３９】
【数１２】
2021536087.tif 000014
【００４０】
ｒ＞０と仮定しているため、上記式が得られる。そのため、ｄ＊（ｘｓ）＝０である。そして、結果として、以下の式が得られる。
【００４１】
【数１３】
2021536087.tif 000015
【００４２】
一般性を失うことなく、α｛ｘ１｝＜α｛ｘ２｝であり、各共変数のコストがｆ＞０であると想定する。貪欲法で｜Ａ｜≦１の場合、
（Ｉ）ｔ（｛０｝）＜t（｛ｘ１｝）、または、
（ＩＩ）ｔ（｛０｝）＞ｔ（｛ｘ１，ｘ２｝）の場合、失敗する。これは、
（Ｉ）α｛０｝＜α｛ｘ１｝＋ｆ、または、
（ＩＩ）α｛０｝＞２ｆを意味し、α｛ｘ１｝＞α｛０｝／２と等価だからである。
【００４３】
したがって、ｒ＝０の場合を除き、共変数コストｆ＞０が必ず存在するため、貪欲法は失敗する。具体的な数値例として、ｒ＝ｍ＝１、ｃ０，１＝ｃ１，０＝１００、ｆ＝１０と仮定する。各クエリセットに対する期待コストの合計を表１に示す。
【００４４】
【表１】
2021536087.tif 000016
【００４５】
そこで、本発明では、クエリ共変数が１以上の場合でも、低い計算コストで高精度に経験損失を推定できる経験損失推定システム、経験損失推定方法、および経験損失推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００４６】
本発明による経験損失推定システムは、ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する密度推定部と、入力されたランダム変数のシグモイド関数と、ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する積分推定部とを備えたことを特徴とする。
【００４７】
本発明による経験損失推定方法は、ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定し、入力されたランダム変数のシグモイド関数と、ランダム変数の条件付き確率密度の関数との積の一次元積分を推定することを特徴とする。
【００４８】
本発明による経験損失推定プログラムは、コンピュータに、ランダム変数に対応する目的変数と、観測された共変数に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数の滑らかな関数の写像の結果である真値を示すランダム変数の条件付き確率密度を推定する密度推定処理、および、入力されたランダム変数のシグモイド関数と、ランダム変数の条件付き確率密度の関数との積の一次元積分を推定する積分推定処理を実行させることを特徴とする。
【発明の効果】
【００４９】
本発明によれば、クエリ共変数が１以上の場合でも、低い計算コストで高精度に経験損失を推定できる。
【図面の簡単な説明】
【００５０】
【図１】本発明による経験損失推定システムの一実施形態の構成例を示すブロック図である。
【図２】本発明による経験損失推定システムの一実施形態の構成例を示す説明図である。
【図３】異なるシグモイド関数の近似例を示す説明図である。
【図４】経験損失推定システムの動作例を示すフローチャートである。
【図５】本発明による経験損失推定システムの概要を示すブロック図である。
【図６】本発明の一実施形態に係るコンピュータの構成例を示す概略ブロック図である。
【図７】クラス間の決定境界の例を示す説明図である。
【発明を実施するための形態】
【００５１】
以下、本発明の実施形態を図面を参照して説明する。
【００５２】
図１は、本発明による経験損失推定システムの一実施形態の構成例を示すブロック図である。また、図２は、本発明による経験損失推定システムの一実施形態の構成例を示す説明図である。
【００５３】
本実施形態では、条件付きクラス確率が、以下の一般化された加算モデルで表すことができると仮定する。
【００５４】
【数１４】
2021536087.tif 000017
【００５５】
ここで、ｇは、例えばロジスティック関数などのシグモイド関数、τはバイアス、ｆＡ：Ｒ｜Ａ｜−＞Ｒ、および、ｆＳ：Ｒ｜Ｓ｜−＞Ｒは、任意の滑らかな関数である。τおよびこれらの関数の学習方法は任意であり、例えば、一般的には、ラベル付きデータを用いて勾配降下法により学習される。非特許文献２に記載された方法が学習に用いられてもよい。ただし、本実施形態では、τおよびこれらの関数は、与えられるものとする。
【００５６】
例えば、線形決定境界を持つ分類器の場合、以下の式が得られる。
【００５７】
【数１５】
2021536087.tif 000018
【００５８】
βは、ラベル付けされたデータから学習された分類器の重みベクトルである。ここで、βＡおよびβＳは、それぞれ、共変数ＡおよびＳに対応するβの部分ベクトルを表す。
【００５９】
期待される誤分類コストは、以下のように表わすことができる。
【００６０】
【数１６】
2021536087.tif 000019
【００６１】
ここでは、密度ｈ（ｚ）：＝ｐ（ｚ｜ｘｓ）であるランダム変数ｚ：＝ｆＡ（ｘＡ）を導入する。式３による結果として得られる積分は、ｚの一次元積分にしか過ぎない。しかし、ｈ（ｚ）を推定する必要がある。
【００６２】
本実施形態の経験損失推定システム１００は、密度推定部１０と、積分推定部２０と、記憶部３０とを備えている
【００６３】
密度推定部１０は、ｈ（ｚ）を推定する。具体的には、密度推定部１０は、観測された共変数Ｓが与えられ、ランダム変数ｚに対応する目的変数と、共変数Ｓに対応する独立変数とを有する回帰モデルを学習することにより、ｚの条件付き確率密度を推定する。ｚは、観測されていない共変数Ａの滑らかな関数の写像の結果である実数を表す。
【００６４】
以下では、線形回帰、または、非線形回帰を用いてｈ（ｚ）を推定する方法を説明する。ここでは、ラベル付けされていないデータの集合を｛ｘ（ｉ）｝ｎｉ＝１と記す。なお、密度推定部１０は、クラスラベル付きデータを必要としない。非ラベル化データの集合から、密度推定部１０は、｛（ｚ（ｉ），ｘＳ（ｉ））｝ｎｉ＝１（ただし、ｚ（ｉ）＝ｆＡ（ｘＡ（ｉ）））形式の目的変数と独立変数の対の集合を形成してもよい。例えば、ｚとｘＳとの間に正規ノイズを伴う線形関係があると仮定すると、密度推定部１０は、以下の式を得られる。
【００６５】
【数１７】
2021536087.tif 000020
【００６６】
あるパラメータベクトルに対して、
【００６７】
【数１８】
2021536087.tif 000021
【００６８】
これは、データ｛（ｚ（ｉ），ｘＳ（ｉ））｝ｎｉ＝１から推定される。以下、μ、Σ、および、σが用いられる。例えば、同時分布ｐ（ｘ）が多変数正規分布Ｎ（μ，Σ）であり、ｐ（ｙ｜ｘＡ，ｘＢ）が重みベクトルｂのロジスティック回帰モデルにしたがう場合、最尤推定値は、以下にように示される。
【００６９】
【数１９】
2021536087.tif 000022
【００７０】
すなわち、密度推定部１０は、正規分布によりｚの条件付き確率密度を推定してもよい。
【００７１】
ｚとｘｓの間の線形関係が不合理な場合、ガウス過程のようなノンパラメトリック回帰モデルの方が、より適切である可能性がある。上述のように、ｘ（ｉ）（ｘ（ｉ）はＲｐに属する。）を学習時に利用可能なｘのｉ番目のサンプルとし、ｘ＊Ｓをテスト時の新しいサンプルの観測された共変数とする。このとき、行列Ｋ（ＸＳ，ＸＳ）は、以下のように定義される。
【００７２】
【数２０】
2021536087.tif 000023
【００７３】
ここで、ｋは共分散関数であり、例えば、二乗指数共分散関数を使用すると、密度推定部１０は、以下の式を得られる。
【００７４】
【数２１】
2021536087.tif 000024
【００７５】
ここで、ｌは長さスケールパラメータである。さらに、密度推定部１０は、列ベクトルｚ（ｚはＲｎに属する）を以下のように定義する。
【００７６】
【数２２】
2021536087.tif 000025
【００７７】
また、テスト時の新しいサンプルｘ＊について、密度推定部１０は、同じように、以下のように定義する。
【００７８】
【数２３】
2021536087.tif 000026
【００７９】
そして、密度推定部１０は、列ベクトルｋ（ｘ＊Ｓ，ＸＳ）（ｋ（ｘ＊Ｓ，ＸＳ）はＲｎに属する。）を以下のように定義する。
【００８０】
【数２４】
2021536087.tif 000027
【００８１】
そして、分散σ０２を有する追加的ガウスノイズを有するガウスプロセス仮定の下、密度推定部１０は、以下の式を得られる。
【００８２】
【数２５】
2021536087.tif 000028
【００８３】
ここで、密度推定部１０は、以下の式で与えられる固定的な平均μ０を想定する。
【００８４】
【数２６】
2021536087.tif 000029
【００８５】
また、１ｎ（１ｎはＲｎに属する。）は、すべて１のベクトルである。結果として、密度推定部１０は、以下の式を得られる。
【００８６】
【数２７】
2021536087.tif 000030
【００８７】
積分推定部２０は、式３を推定する。特に、積分推定部２０は、入力ｚを有するシグモイド関数ｇとｚの条件付き確率密度関数との積の一次元積分を推定する。
【００８８】
積分推定部２０は、式３を推定するために、単純にｈ（ｚ）からのモンテカルロサンプルを用いてもよい。一方、処理速度を向上させるために、積分推定部２０は、以下に説明するように、シグモイド関数ｇの区分線形近似に基づく別の戦略を使用してもよい。
【００８９】
まず、積分推定部２０は、予想される誤分類コストを以下のように表現する。
【００９０】
【数２８】
2021536087.tif 000031
【００９１】
なお、以下の関係に留意する。
【００９２】
【数２９】
2021536087.tif 000032
【００９３】
さらに、積分推定部２０は、以下の式を得られる。
【００９４】
【数３０】
2021536087.tif 000033
【００９５】
以上のように、ｄ＊（ｘＡ∪Ｓ）は、ｚ（ランダム変数）とζ（固定）にのみ依存する。そのため、積分推定部２０は、以下の式を得られる。
【００９６】
【数３１】
2021536087.tif 000034
【００９７】
同様に、積分推定部２０は、以下の式を得られる。
【００９８】
【数３２】
2021536087.tif 000035
【００９９】
したがって、残る課題は、以下の積分を評価することである。
【０１００】
【数３３】
2021536087.tif 000036
【０１０１】
一般的な戦略の一つが、シグモイド関数ｇを標準正規分布Φの累積分布関数で近似することである。しかし、ここでは、ａまたはｂが有界であるため、この近似はここでは機能しないことが分かる。代わりに、本実施形態では、積分推定部２０は、シグモイド関数がわずか数個の線形関数でよく近似できるという事実をここで使用する。ｈ（ｚ）が平均μ´と分散σ２の正規分布であると仮定する。表記を容易にするために、以下の定数を導入する。
【０１０２】
【数３４】
2021536087.tif 000037
【０１０３】
この場合、式４の積分は、以下のように表すことができる。
【０１０４】
【数３５】
2021536087.tif 000038
【０１０５】
積分推定部２０は、シグモイド関数の以下の部分線形近似を定義する。
【０１０６】
【数３６】
2021536087.tif 000039
【０１０７】
ξは、線形近似の数であり、例えば、４０に設定される。以下の近似との比較
【０１０８】
【数３７】
2021536087.tif 000040
【０１０９】
は、図３に示される。図３は、異なるシグモイド関数の近似例を示す説明図である。図３において、線４１はシグモイド、線４２は線形近似、線４３は正規ＣＤＦ（累積分布関数）近似、線４４は離散近似を表している。非特許文献１によれば、線形関数近似および離散ビン近似では、ξ＝４０が設定されている。正規ＣＤＦ近似の場合、以下の式
【０１１０】
【数３８】
2021536087.tif 000041
【０１１１】
が用いられる。
【０１１２】
このことは、相対的に少数の線形近似については、積分推定部２０が、Φ−近似よりも正確な近似を達成できることを示している。より重要なことは、以下に示すように、これにより、Φ−近似を使用する場合にはできないような、式５の積分計算を扱いやすくできることである。
【０１１３】
これにより、積分推定部２０は、以下の式を得られる。
【０１１４】
【数３９】
2021536087.tif 000042
【０１１５】
これは、標準的な実装でよく近似することができる。残りの積分はまた、置換ｕ−μ：＝ｒを使用するΦで表すことができ、積分推定部２０は、以下の式を得られる。
【０１１６】
【数４０】
2021536087.tif 000043
【０１１７】
このように、積分推定部２０は、シグモイド関数の区分線形近似を用いて一次元積分を推定してもよい。
【０１１８】
記憶部３０は、各種データを記憶する。記憶部３０は、ラベル付けされていないデータ｛ｘ｝を記憶してもよい。記憶部３０は、例えば、磁気ディスクによって実現される。
【０１１９】
密度推定部１０と、積分推定部２０とは、それぞれ、プログラム（経験損失推定プログラム）に従って動作するコンピュータのＣＰＵによって実行される。例えば、プログラムは、経験損失推定システム１００に含まれる記憶部３０に記憶され、ＣＰＵがプログラムを読み込んで、そのプログラムに従って密度推定部１０及び積分推定部２０として動作してもよい。
【０１２０】
また、本実施形態の経験損失推定システムにおいて、密度推定部１０および積分推定部２０は、それぞれ専用のハードウェアによって実装されてもよい。また、本発明による経験損失推定システムが、有線または無線で接続された２つ以上の物理的に分離された装置で構成されてもよい。
【０１２１】
以下、本実施形態の経験損失リスク推定システムの動作例を説明する。図４は、本実施形態の経験損失推定システムの動作例を示すフローチャートである。
【０１２２】
密度推定部１０は、部分的に観測されたデータサンプルｘＳと、未知の共変数Ａのインデックスと、ラベル付けされていないデータ｛ｘ｝とを入力する（ステップＳ１０１）。密度推定部１０は、条件付き確率ｐ（ｘＡ｜ｘＳ）を推定する（ステップＳ１０２）。密度推定部１０は、確率ｐ（ｘＴＡβＡ|ｘＳ）を正規分布ｈ（ｚ）で近似する（ステップＳ１０３）。
【０１２３】
積分推定部２０は、ｚ＞ｚ＊であればｄ＊（ｘＳ∪Ａ）＝１、そうでなければｄ＊（ｘＳ∪Ａ）＝０となるような閾値ｚ＊を算出する（ステップＳ１０４）。積分推定部２０は、ｇの区分線形近似を行い、以下の積分をガウスＣＤＦで表現する（ステップＳ１０５）。
【０１２４】
【数４１】
2021536087.tif 000044
【０１２５】
積分推定部２０は、ＥｘＡ［ＢａｙｅｓＲｉｓｋ（ｘＳ∪Ａ）｜ｘＳ］を評価する（ステップＳ１０６）。このようにして、共変数Ａが取得され、ベイズリスクが推定される。
【０１２６】
以上のように、本実施形態では、密度推定部１０が、ｚに対応する目的変数と、観測された共変数Ｓに対応する独立変数とを有する回帰モデルを学習することにより、ｚの条件付き確率密度を推定し、積分推定部２０が、入力ｚを有するシグモイド関数ｇとｚの条件付き確率密度関数との積の一次元積分を推定する。
【０１２７】
そのような構成により、クエリ共変数が１以上の場合でも、低い計算コストで高精度に経験損失を推定できる。
【０１２８】
すなわち、本実施形態では、クラス確率がクエリ共変数の特徴マップの加法関数である分類器が考慮され、それらの特徴マップの和の値が実数である。この実数は、既に観測された共変数が与えられた条件分布を直接推定するランダム変数とみなされる。そして、積分推定部２０は、この条件付き分布に関して期待される誤分類コストを推定する。
【０１２９】
この場合、本実施形態では、クエリ共変数の数が１以上の場合でも、予想される誤分類コストを推定するためには、一次元積分を解くだけでよい。したがって、高次元の積分とは対照的に、一次元積分は、数値的手法を用いて、低い計算コストで高い精度で解くことができる。
【０１３０】
次に、本発明の概要を説明する。図５は、本発明による経験損失推定システムの概要を示すブロック図である。本発明による経験損失推定システム８０（例えば、経験損失推定システム１００）は、観測された共変数（例えば、Ｓ）が与えられ、ランダム変数（例えば、ｚ）に対応する目的変数と、観測された共変数（例えば、Ｓ）に対応する独立変数とを有する回帰モデルを学習することにより、観測されていない共変数（例えば、Ａ）の滑らかな関数の写像の結果である真値を示すランダム変数（例えば、ｚ）の条件付き確率密度を推定する密度推定部８１（例えば、密度推定部１０）と、入力されたランダム変数（例えば、ｚ）のシグモイド関数（例えば、ｇ）と、ランダム変数（例えば、ｚ）の条件付き確率密度の関数との積の一次元積分を推定する積分推定部８２（例えば、積分推定部２０）とを備えている。
【０１３１】
そのような構成により、クエリ共変数が１以上の場合でも、低い計算コストで高精度に経験損失を推定できる。
【０１３２】
また、密度推定部８１は、ランダム変数（例えば、ｚ）の条件付き確率密度を正規分布で推定し、積分推定部は、シグモイド関数の区分線形近似を用いて、一次元積分を推定してもよい。そのような構成により、処理速度の向上を図ることができる。
【０１３３】
次に、本発明の例示的な実施形態によるコンピュータの構成例を説明する。図６は、本発明の一実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４および表示装置１００５を備える。
【０１３４】
上述の経験損失推定システム１００は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（分類プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
【０１３５】
補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ−ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。
【０１３６】
また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、プログラムは、本実施形態における所定の処理を達成するために、補助記憶装置１００３に既に記憶されている別のプログラムと組み合わせた差分プログラムであってもよい。
【０１３７】
さらに、本実施形態の処理の内容により、コンピュータ１０００の要素の一部を省略することが可能である。 例えば、ユーザに情報を提示しない場合、表示装置１００５を省略することができる。図６には図示していないが、本実施形態の処理の内容によっては、コンピュータ１０００は、入力装置を含んでもよい。経験損失推定システム１００は、例えば、リンクが設定されている部分をクリックするなど、リンクへの移動指示を入力するための入力装置を含んでいてもよい。
【０１３８】
また、各デバイスの構成要素の一部または全部は、汎用または専用の回路、プロセッサ等、またはそれらの組み合わせによって実装される。これらは、単一のチップで構成されていてもよいし、バスを介して接続された複数のチップで構成されていてもよい。また、各装置の構成要素の一部または全部が、上記の回路等とプログラムとの組み合わせによって実現されてもよい。
【０１３９】
各装置の構成要素の一部または全部が複数の情報処理装置、回路等によって実現される場合、複数の情報処理装置、回路等が集中的に配置されていてもよいし、分散的に配置されていてもよい。例えば、情報処理装置、回路等は、クライアントシステムとサーバシステム、クラウドコンピューティングシステム等がそれぞれ通信ネットワークを介して接続された形態で実現されてもよい。
【符号の説明】
【０１４０】
１０  密度推定部
２０  積分推定部
３０  記憶部
１００  経験損失推定システム
【図１】
2021536087.tif 000045
【図２】
2021536087.tif 000046
【図３】
2021536087.tif 000047
【図４】
2021536087.tif 000048
【図５】
2021536087.tif 000049
【図６】
2021536087.tif 000050
【図７】
2021536087.tif 000051
【国際調査報告】
2021536087.tif 000052