(57)【要約】  学習装置１００は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段１１０と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する予測手段１２０とを備える。
2020121378.tif 000002
【特許請求の範囲】
【請求項１】
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する予測手段と
を備える学習装置。
【請求項２】
前記対応関係推論手段は、複数のテスト入力データ点を用いたときに、事前知識を考慮するアルゴリズムを使用する
請求項１に記載の学習装置。
【請求項３】
前記対応関係推論手段は、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示する出力部を備える
請求項１または請求項２に記載の学習装置。
【請求項４】
前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を表示する
請求項３に記載の学習装置。
【請求項５】
前記対応関係推論手段は、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程をグラフ表示する出力部を備える
請求項１または請求項２に記載の学習装置。
【請求項６】
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。
【請求項７】
前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用する
請求項６に記載の学習方法。
【請求項８】
前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示器に表示する
請求項６または請求項７に記載の学習方法。
【請求項９】
前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示する
請求項８に記載の学習方法。
【請求項１０】
前記対応関係を推論するときに、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程を表示器にグラフ表示する
請求項６または請求項７に記載の学習方法。
【請求項１１】
コンピュータに、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する処理と
を実行させるための学習プログラム。
【請求項１２】
コンピュータに、
前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用させる
請求項１１に記載の学習プログラム。
【請求項１３】
コンピュータに、
前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用させ、
前記予測出力に寄与する属性情報を視認可能に表示器に表示させる
請求項１１または請求項１２に記載の学習プログラム。
【請求項１４】
コンピュータに、
前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示させる
請求項１３に記載の学習プログラム。
【請求項１５】
コンピュータに、
前記対応関係を推論するときに、処理結果の解釈が容易化されるアルゴリズムを使用させ、
前記予測出力が計算される過程を表示器にグラフ表示させる
請求項１１または請求項１２に記載の学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、未知のタスクを対象とする実数値予測または未知のクラスも対象とする多値分類を可能にする学習装置および学習方法に関する。
【背景技術】
【０００２】
未知のタスクまたは未知のクラスに対しても予測を可能とする学習方法として、例えば、非特許文献１に記載されているような属性を用いるゼロショット学習がある。【０００３】
非特許文献１に記載されているようなゼロショット学習では、まず、学習事例がある入出力データと既知タスクまたは既知クラスの補助情報としての属性情報とを用いて予測器が構築される。そして、構築された予測器を用いて、新たなタスクまたは新たなクラスの属性情報を用いて予測が実行される。属性情報は、例えば、タスクやクラスを説明する、単一もしくは複数の連続値またはカテゴリ値である。なお、新たなタスクまたは新たなクラスは、学習事例がないタスクまたはクラスである。新たなタスクまたは新たなクラスを未知タスクまたは未知クラスともいう。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】B. Romera-Paredes and P. H.S. Torr, "An embarrassingly simple approach to zero-shot learning", Proceedings of the 32nd International Conference on Machine Learning, vol.37, 2015, pp.2152-2161
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、ゼロショット学習では、既知タスクまたは既知クラスについて、全てのタスクまたはクラスに関する入出力データと属性情報とを用いて新しい予測器を構築する。すなわち、既存の予測システムを活かすことはしない。予測器を構成するために、計算資源、計算時間、人件費など様々なコストがかかる。また、多数の予測対象がある場合には、予測対象の数に応じて計算資源、計算時間、人件費が増加する。したがって、未知タスクまたは未知クラスのために予測器を新たに構成することが求められるようなゼロショット学習法を導入するためのコストは高い。【０００６】
本発明は、未知タスクまたは未知クラスに対する予測を行う学習装置および学習方法を低コストで実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による学習装置は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する予測手段とを備える。【０００８】
本発明による学習方法は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算された出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する。【０００９】
本発明による学習プログラムは、コンピュータに、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、計算された出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する処理とを実行させる。
【発明の効果】
【００１０】
本発明によれば、未知タスクまたは未知クラスに対する予測を行う学習装置および学習方法を低コストで実現できる。
【図面の簡単な説明】
【００１１】
【図１】学習装置の一実施形態の構成例を示すブロック図である。
【図２】予測部の構成例を示すブロック図である。
【図３】実数値予測を行う予測部を含む学習装置の動作を示すフローチャートである。
【図４】多値分類を行う予測部を含む学習装置の動作を示すフローチャートである。
【図５】属性情報の予測値に対する寄与の程度の表示例を示す説明図である。
【図６】表示されるグラフの一例を示す説明図である。
【図７】ＣＰＵを有するコンピュータの一例を示すブロック図である。
【図８】学習装置の主要部を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を図面を参照して説明する。
【００１３】
学習装置の入力をｘ、学習装置の出力をｙ、各タスクまたはクラスｔに対する予測器をｈｔ、各タスクまたは各クラスの特性を表す属性情報をａｔ  で表す。本実施形態の学習装置は、未知タスクまたは未知クラスに対する予測を可能にするために、追加された属性情報と既に運用中の予測器とを用いる。追加された属性情報は、未知タスクまたは未知クラスに対応する属性情報である。また、運用中の予測器は、学習済みの予測器である。なお、一般に、クラスにはラベルが付随する。ラベルは、属性情報に含まれていてもよい。
【００１４】
入力は、ｄ次元ベクトルで表される。出力は、スカラ値で表される。出力値のドメイン（終域）は、実数値予測では実数体である。ドメインは、多値分類では離散集合である。
【００１５】
既知タスクまたは既知クラスの数がｋ個あるとする。また、各タスクまたはクラスに対応する既に運用中のｋ個の予測器があると仮定する。なお、スカラ値を返すｋ個の個別の予測器が存在してもよいが、ｋ個のスカラ値を出力する一つの予測器が存在してもよい。例えば、前者の場合には、各予測器ｈｔに応じて、属性情報ａｔ  として、異なる属性ベクトルが得られているとする。後者の場合には、予測器の各出力次元（次元数ｋは、タスク数またはクラス数に相当）に対して、属性情報ａｔ  として、一つの属性ベクトルが得られているとする。なお、属性情報は、ｍ次元の属性ベクトルで表されるとする。
【００１６】
運用中の予測器ｈｔは、入力ｘを受けとる。実数値予測を実施する予測器ｈｔは、予測値そのものを出力する関数である。多値分類を実施する予測器ｈｔは、入力ｘがクラスｔに属する度合いを表すスコア（予測スコア）を出力する関数である。多値分類を実施する予測器ｈｔは、スコアが最も高いクラスを予測クラスｙとして出力する。
【００１７】
運用中の予測器として、例えば重回帰法や深層学習など任意の統計的学習手法やヒューリスティクスによって、既存のタスクまたは既存のクラスのそれぞれについて、入力ｘと出力ｙとの対応関係を学習した予測器が得られているとする。
【００１８】
次に、運用中の予測器ｈｔを活用した未知タスクまたは未知クラスに対する予測法を説明する。以下、ｋ個の個別の予測器が存在する場合を例にする。また、追加された属性情報（未知タスクまたは未知クラスに対応する属性情報）は、あらかじめ取得されている。
【００１９】
予測したいテスト入力点に対して、運用中の予測器の出力値を得る。すなわち、テスト入力点に対応するテスト入力データを受けた予測器は、予測値またはスコアを出力値として出力する。そして、得られた出力値と既知の属性ベクトルとの間の対応関係を学習する。例えば、既知の属性ベクトルと、対応する予測器の出力値とを、入出力の組として、既存の任意の学習アルゴリズムに与えて対応関係を得る。利用される学習アルゴリズムは、任意である。学習アルゴリズムの一例として、リッジ回帰、ランダムフォレスト、深層学習が使用可能である。また、ノイズに対して頑健な学習アルゴリズムを用いると、後述する対応関係推論部における、予測器や属性情報に対するノイズの影響が減少する。例えば、対応関係推論部が、フーバー回帰やロバスト・サポートベクトル回帰を用いる場合には、運用中の予測器の誤差や属性情報のノイズに対して頑健な対応関係の学習が可能になる。また、対応関係の推論に決定木や線形モデルを用いると、結果の解釈が容易になる。
【００２０】
一つのテスト入力点だけを扱うのではなく、複数のテスト入力点を考慮した予測も可能である。その場合には、一つの既知の属性ベクトルに対して、対応する予測器の出力値が複数得られるので、多値出力関数を学習するアルゴリズムを用いることができる。また、複数のテスト入力点の情報を考慮した様々な正則化を実施することができる。すなわち、誤差関数に制約（事前知識）を表す項を追加することによって性能が向上するエントロピー正則化、多様体正則化、グループ正則化、構造正則化等の学習アルゴリズムを利用することができる。
【００２１】
実数値予測の場合には、得られた対応関係を用いて、未知タスクの属性ベクトルに対する予測出力（予測値）を計算できる。多値分類の場合には、得られた対応関係を用いて、既知クラスおよび未知クラスの属性ベクトルに対するすべての予測値を計算してスコアを出力する。そして、スコアが最も高いクラスをテスト入力データに対する予測クラスのラベル（予測クラスラベル）とする。
【００２２】
次に、属性情報と運用中の予測器の出力との対応関係を推論する方法を説明する。一例として、線形モデルを用いて、その結果を解釈する方法を説明する。なお、線形モデルは一例であって、他のタイプのモデルが用いられてもよい。
【００２３】
正則化としてL1正則化を用いると、パラメータの多くがゼロになり、求めたパラメータの解釈が例えばL2正則化と比べて容易になる。したがって、L1正則化を用いると、予測に有効な属性情報を可視化するときに視認性が向上する。
【００２４】
さらに、テストデータ点が複数ある場合には、それらのテストデータ点に対するパラメータベクトルを個別に推定するのではなく、テストデータ点をまとめて取り扱うことが好ましい。パラメータベクトルもまとめてパラメータ行列として扱うときには、そのパラメータ行列に対して正則化を実施することが考えられる。例えば、L_{2,1} 正則化やトレースノルム正則化を適用することができる。そのような処理によって、既知タスクまたは既知クラスのうち、予測値をよく説明するもの数個を選んで、その結果を可視化できる。
【００２５】
次に、学習装置の実施形態の構成例を説明する。
【００２６】
図１は、学習装置の一実施形態の構成例を示すブロック図である。図１に示すように、学習装置１は、入力部１０と、演算部２０と、出力部４０とを含む。
【００２７】
実数値予測が行われるときには、入力部１０は、予測器を入力し、かつ、実数値予測の対象となるテスト入力データと各タスクの属性情報とを入力する。例えば、入力部１０には、各タスクに対応する予測器、および、既知の各タスクの特性が記述された属性情報が既知の属性情報として与えられる。さらに、入力部１０には、それに対する予測結果が望まれるテスト入力データと未知タスクの属性情報とが、テストデータとして与えられる。
【００２８】
多値分類が行われるときには、入力部１０は、予測器を入力し、かつ、多値分類の対象となるテスト入力データと各クラスの属性情報とを入力する。例えば、入力部１０には、各クラスに対応する予測器、および、既知の各クラスの特性が記述された属性情報が既知の属性情報として与えられる。また、入力部１０には、それに対する予測結果が望まれるテスト入力データと未知クラスの属性情報とが、テストデータとして与えられる。
【００２９】
演算部２０は、予測器記憶部２１と、既知属性記憶部２２と、テストデータ記憶部２３と、予測部２４とを含む。
【００３０】
予測部２４は、テストデータ記憶部２３から予測に必要なデータ（すなわち、テスト入力データ）を読み出す。そして、予測部２４は、予測器のテスト入力データに対する出力結果と既知属性記憶部２２に記憶された複数の属性ベクトルとの対応関係を推論する。さらに、予測部２４は、テスト入力データと未知タスクまたは未知クラスの属性情報とについて、推論された対応関係を用いて予測値を算出する。
【００３１】
実数値予測が行われているときには、すなわち、実数値予測を行う予測部２４が設けられているときには、出力部４０は、予測部２４が算出した予測値を予測結果（予測出力）として出力する。多値分類が行われているときには、すなわち、多値分類を行う予測部２４が設けられているときには、出力部４０は、予測部２４が計算した予測スコアと予測クラスとを予測結果（予測出力）として出力する。
【００３２】
図２は、予測部２４の構成例を示すブロック図である。図２に示すように、予測部２４は、初期化部３１、対応関係推論部３２、対応関係記憶部３３、および予測実行部３４を含む。
【００３３】
初期化部３１は、運用中の予測器を予測器記憶部２１から読み出す。また、初期化部３１は、既知タスクまたは既知クラスの属性ベクトルを既知属性記憶部２２から読み出す。さらに、初期化部３１は、予測結果が必要なデータとタスクまたはクラスの属性ベクトルとをテストデータ記憶部２３から読み出す。
【００３４】
対応関係推論部３２は、テスト入力データに対する学習済み予測器（運用中の予測器）の出力を得る。そして、対応関係推論部３２は、予測器の出力と既知属性記憶部２２から読み出した複数の属性ベクトルとの対応関係を推論する。対応関係記憶部３３は、推論された対応関係を記憶する。
【００３５】
予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する。
【００３６】
次に、図３および図４のフローチャートを参照して学習装置１の動作を説明する。図３は、実数値予測を行う予測部２４を含む学習装置１の動作を示すフローチャートである。
【００３７】
実数値予測が行われる場合に、入力部１０は、入力された各タスクにおける予測器を予測器記憶部２１に格納する（ステップＳ１１Ａ）。入力部１０は、入力された各タスクの特性を記述した属性情報を、既知の属性情報として既知属性記憶部２２に格納する（ステップＳ１１Ａ）。入力部１０は、入力されたテスト入力データと入力された未知タスクの属性情報とを、テストデータとしてテストデータ記憶部２３に格納する（ステップＳ１１Ａ）。テスト入力データは、予測結果が望まれるデータである。
【００３８】
予測部２４は、予測器記憶部２１と既知属性記憶部２２とテストデータ記憶部２３とから、予測器と上述したデータとを読み出す（ステップＳ１２）。具体的には、予測部２４において、初期化部３１は、予測器記憶部２１から予測器を読み出す。初期化部３１は、既知属性記憶部２２から既知タスクの属性ベクトルを読み出す。初期化部３１は、テストデータ記憶部２３から、テスト入力データと未知タスクの属性ベクトルとを読み出す。
【００３９】
次に、予測部２４は、テスト入力データに対する予測器の出力を得る（ステップＳ１３）。具体的には、予測部２４において、対応関係推論部３２は、予測器記憶部２１から読み出した予測器を用いて、テストデータ記憶部２３から読み出したテスト入力データに対する予測器の出力を得る。
【００４０】
次いで、対応関係推論部３２は、推論のための所定のアルゴリズムを用いて、予測器の出力と既知の属性情報との対応関係を推論する（ステップＳ１４）。予測部２４は、所定のアルゴリズムとして、例えば、正則化最小二乗法や、サポートベクトル回帰、ランダムフォレストを利用する。対応関係推論部３２は、推論した対応関係を対応関係記憶部３３に格納する。
【００４１】
そして、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測対象となるタスクの属性に対する出力を計算する。具体的には、予測実行部３４は、テストデータ記憶部２３から読み出した属性ベクトルに対する各々の予測器の出力を計算する（ステップＳ１５Ａ）。出力部４０は、計算された予測結果を出力する（ステップＳ１６Ａ）。
【００４２】
図４は、多値分類を行う予測部２４を含む学習装置１の動作を示すフローチャートである。
【００４３】
多値分類が行われる場合に、入力部１０は、入力された各クラスにおける予測器を予測器記憶部２１に格納する（ステップＳ１１Ｂ）。入力部１０は、入力された各クラスの特性を記述した属性情報を、既知の属性情報として既知属性記憶部２２に格納する（ステップＳ１１Ｂ）。入力部１０は、入力されたテスト入力データと入力された未知クラスの属性情報とを、テストデータとしてテストデータ記憶部２３に格納する（ステップＳ１１Ｂ）。テスト入力データは、予測結果が望まれるデータである。
【００４４】
予測部２４は、図３に示されたステップＳ１２〜Ｓ１４の処理と同様の処理を実行する。ただし、初期化部３１は、ステップＳ１２の処理で、既知属性記憶部２２から既知クラスの属性ベクトルを読み出す。
【００４５】
そして、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測対象となるタスクの属性に対する出力を計算する。具体的には、予測実行部３４は、テストデータ記憶部２３から読み出した属性ベクトルに対する各々の予測器の出力を計算する。すなわち、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測スコアと予測クラスとを計算する（ステップＳ１５Ｂ）。出力部４０は、計算された予測結果を出力する。なお、予測部２４は、例えば、予測スコアが最も高いクラスを予測クラスとして出力したり、当該予測クラスに対応するラベルを予測ラベルとして出力する。
【００４６】
以上に説明したように、本実施形態の学習装置１は、ゼロショット学習に基づく学習を行うが、未知タスクまたは未知クラスに対する予測を行うときに、新たに予測器を生成することはなく、学習済みの既存の予測器を活用する。したがって、低コストで学習装置を得ることができる。
【実施例１】
【００４７】
実数値予測を行う予測部２４を含む学習装置１の実施例として、商品需要予測を行う学習装置を説明する。【００４８】
学習装置１において、予測器記憶部２１には、既存の複数種類の商品それぞれに対する需要予測を行う運用中の予測器が記憶される。既知属性記憶部２２には、既存商品に対する、商品名、原材料および栄養成分などを適切な統計量に変換したデータが属性ベクトルとして記憶される。テストデータ記憶部２３には、新商品の属性ベクトルと、予測を行いたい日時や天気の情報とがテストデータとして記憶される。【００４９】
本実施例では、学習装置１は、商品をタスクとして需要を予測する。図３のフローチャートを参照すると、ステップＳ１４において、対応関係推論部３２は、予測器の出力と、既知属性記憶部２２から読み出した既知の属性情報とを用いて、商品の属性情報と商品の需要予測値との対応関係を、例えば正則化最小二乗法を用いて推論する。ステップＳ１５Ａでは、予測実行部３４は、推論された対応関係に基づいて、新商品の属性情報に対応する需要予測値を計算する。出力部４０は、計算した需要予測値を出力する。
【実施例２】
【００５０】
多値分類を行う予測部２４を含む学習装置１の実施例として、ニュース記事分類を行う学習装置を説明する。【００５１】
本実施例では、予測器記憶部２１には、ニュース配信サイトにおける、ニュース記事が属するカテゴリを予測する予測器が記憶される。既知属性記憶部２２には、カテゴリの特性を示す統計量が属性ベクトルとして記憶される。テストデータ記憶部２３には、新たに追加されたカテゴリの属性情報と新しいニュース記事とが記憶される。【００５２】
図４のフローチャートを参照すると、ステップＳ１４において、対応関係推論部３２は、予測器の予測スコアと既知の属性情報とを用いて、適当な学習アルゴリズムで既知の属性情報と予測スコアとの対応関係を推論する。ステップＳ１５Ｂでは、予測実行部３４は、推論された対応関係に基づいて、新たに追加されたクラスの属性に対する予測スコアを計算する。そして、予測実行部３４は、既知の属性情報の予測スコアおよび新たに計算した予測スコアの中で、最も予測スコアが高い属性情報に対応するカテゴリを予測ラベルとして選択する。出力部４０は、計算した予測ラベルと予測スコアを出力する。
【実施例３】
【００５３】
実施形態における出力部４０は、得られた結果を可視化をすることもできる。以下、可視化の実施例を説明する。【００５４】
例えば、対応関係を学習するアルゴリズムとして、解釈が容易になる正則化を線形モデルに加えた学習アルゴリズムを用いることによって、出力部４０は、線形モデルのパラメータを可視化表示することができる。【００５５】
図５は、属性情報の予測値に対する寄与の程度の表示例を示す説明図である。上述したように、対応関係推論部３２の処理において、L1正則化などが用いられる場合には、パラメータの数が削減される。本実施例に当てはめると、予測値に寄与した属性情報のみが選定される。【００５６】
図５において、横軸は属性情報を示す。なお、本実施例では、属性情報は、２０次元の属性ベクトルで表されているとする。横軸の数値は、２０次元の属性ベクトルの各次元に対応する。縦軸は、テスト入力点の番号を示す。白表示は、予測に利用された属性情報に対応する。黒表示は、予測にほとんど利用されなかった（パラメータ値がかなり小さい）属性情報に対応する。学習装置１の使用者は、テスト入力点の予測値に寄与する属性情報がどれであるかを視覚的に把握することができる。【００５７】
なお、出力部４０には、図５に例示された表示を行う表示器などが接続されている。また、出力部４０が表示器などを含むと位置づけられてもよい。【００５８】
また、出力部４０は、得られたパラメータ値を二値化し、二値化されたパラメータ値によって属性情報の利用の有無を表示してもよいが、得られたパラメータ値をそのまま表示してもよい。その場合には、予測に影響する属性情報の影響の程度が視認可能になる。【００５９】
さらに、出力部４０は、利用される正則化およびテスト入力データ点に応じて、属性、パラメータおよび予測値の様々な関係を表示することもできる。
【実施例４】
【００６０】
対応関係を学習するアルゴリズムとして決定木のような予測値を計算する過程を解釈しやすいアルゴリズムを予測部２４が用いる場合には、出力部４０は、予測値の計算過程を、グラフで示すことができる。【００６１】
図６は、表示されるグラフの一例を示す説明図である。上述したように、対応関係の推論に決定木や線形モデルを用いると結果の解釈が容易になる。例えば、結果が表示された場合に、結果が視認されやすくなる。本実施例では、対応関係推論部３２の処理において、決定木が用いられる。【００６２】
図６に示す例では、例えば、未知タスクの属性ベクトルとして、属性１から属性５に対応する値が（７、５、４、３、−３）で表されるとき、予測実行部３４が、ノード１、ノード２、ノード５を経由して、予測出力（予測値）として１を返すことが視認される。【００６３】
なお、出力部４０には、図６に例示された表示を行う表示器などが接続されている。また、出力部４０が表示器などを含むと位置づけられてもよい。【００６４】
図７は、ＣＰＵ（Central Processing Unit ）を有するコンピュータの一例を示すブロック図である。コンピュータは、学習装置１に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１に示された学習装置１における演算部２０の各記憶部以外の機能を実現する。また、図２に示された予測部２４における初期化部３１および対応関係推論部３２の機能を実現する。なお、ＣＰＵ１０００に代えて、または、ＣＰＵ１０００とともに、ＧＰＵ（Graphics Processing Unit）が用いられてもよい。【００６５】
記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ−Ｒ（Compact Disc-Recordable ）、ＣＤ−Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。【００６６】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。【００６７】
メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。また、図１に示された予測器記憶部２１、既知属性記憶部２２、およびテストデータ記憶部２３と、図２に示された対応関係記憶部３３は、メモリ１００２または記憶装置１００１で実現される。【００６８】
図８は、学習装置の主要部を示すブロック図である。図８に示す学習装置１００は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段１１０（実施形態では、対応関係推論部３２で実現される。）と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する予測手段１２０（実施形態では、予測実行部３４で実現される。）とを備える。【００６９】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下の構成に限定されるわけではない。【００７０】
（付記１）既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する予測手段と
を備える学習装置。【００７１】
（付記２）前記対応関係推論手段は、複数のテスト入力データ点を用いたときに、事前知識を考慮するアルゴリズムを使用する
付記１の学習装置。【００７２】
（付記３）前記対応関係推論手段は、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示する出力部を備える
付記１または付記２の学習装置。【００７３】
（付記４）前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を表示する
付記３の学習装置。【００７４】
（付記５）前記対応関係推論手段は、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程をグラフ表示する出力部を備える
付記１または付記２の学習装置。【００７５】
（付記６）既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。【００７６】
（付記７）前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用する
付記６の学習方法。【００７７】
（付記８）前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示器に表示する
付記６または付記７の学習方法。【００７８】
（付記９）前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示する
付記８の学習方法。【００７９】
（付記１０）前記対応関係を推論するときに、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程を表示器にグラフ表示する
付記６または付記７の学習方法。【００８０】
（付記１１）コンピュータに、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する処理と
を実行させるための学習プログラム。【００８１】
（付記１２）コンピュータに、
前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用させる
付記１１の学習プログラム。【００８２】
（付記１３）コンピュータに、
前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用させ、
前記予測出力に寄与する属性情報を視認可能に表示器に表示させる
付記１１または付記１２の学習プログラム。【００８３】
（付記１４）コンピュータに、
前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示させる
付記１３の学習プログラム【００８４】
（付記１５）コンピュータに、
前記対応関係を推論するときに、処理結果の解釈が容易化されるアルゴリズムを使用させ、
前記予測出力が計算される過程を表示器にグラフ表示させる
付記１１または付記１２の学習プログラム。【００８５】
（付記１６）コンピュータが、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。
【符号の説明】
【００８６】
１，１００  学習装置
１０      入力部
２０      演算部
２１      予測器記憶部
２２      既知属性記憶部
２３      テストデータ記憶部
２４      予測部
３１      初期化部
３２      対応関係推論部
３３      対応関係記憶部
３４      予測実行部
４０      出力部
１１０    対応関係推論手段
１２０    予測手段
１０００  ＣＰＵ
１００１  記憶装置
１００２  メモリ
【図１】
2020121378.tif 000003
【図２】
2020121378.tif 000004
【図３】
2020121378.tif 000005
【図４】
2020121378.tif 000006
【図５】
2020121378.tif 000007
【図６】
2020121378.tif 000008
【図７】
2020121378.tif 000009
【図８】
2020121378.tif 000010
【手続補正書】
【提出日】令和3年5月14日(2021.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する予測手段と
を備える学習装置。
【請求項２】
前記対応関係推論手段は、複数のテスト入力データ点を用いたときに、事前知識を考慮するアルゴリズムを使用する
請求項１に記載の学習装置。
【請求項３】
前記対応関係推論手段は、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示する出力部を備える
請求項１または請求項２に記載の学習装置。
【請求項４】
前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を表示する
請求項３に記載の学習装置。
【請求項５】
前記対応関係推論手段は、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程をグラフ表示する出力部を備える
請求項１または請求項２に記載の学習装置。
【請求項６】
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。
【請求項７】
前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用する
請求項６に記載の学習方法。
【請求項８】
前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示器に表示する
請求項６または請求項７に記載の学習方法。
【請求項９】
前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示する
請求項８に記載の学習方法。
【請求項１０】
コンピュータに、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する処理と
を実行させるための学習プログラム。
【国際調査報告】
2020121378.tif 000011
2020121378.tif 000012