(57)【要約】【課題】学習データを所与とした場合であってもよりドメイン識別器を汎化させる。【解決手段】  第１ベクトル変換部３００は、第１の次元数の第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する。第２ベクトル変換部３０１は、第２の次元数のベクトルデータである第２ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する。特徴ベクトル混合部３１は、第１特徴ベクトルデータ及第２特徴ベクトルデータの組を取得し、第１特徴ベクトルデータと第２特徴ベクトルデータとを０以上１以下の内分比で内分した第３特徴ベクトルデータを生成するとともに、第１ベクトル空間を示す空間ラベルと第２ベクトル空間を示す空間ラベルとを同じ内分比で内分した空間ラベルを第３特徴ベクトルデータに紐づける。【選択図】図２
2020154925.tif 000002
【特許請求の範囲】
【請求項１】
第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを格納する記憶部と、
前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する第１ベクトル変換部と、
前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する第２ベクトル変換部と、
前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成するとともに、前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づける特徴ベクトル混合部と、
前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させる学習データ生成部と、
を備える情報処理装置。
【請求項２】
前記第１ベクトルデータ群を構成する各ベクトルデータは、当該ベクトルデータが属するクラスを示すクラスラベルが割り当てられているとともに、前記第２ベクトルデータ群を構成する各ベクトルデータは、前記第１ベクトルデータ群の各ベクトルデータに割り当てられたクラスラベルのうちいずれかのクラスラベルが割り当てられており、
前記情報処理装置はさらに、
前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを入力として当該学習ベクトルデータに紐付けられたクラスラベルの推定値を出力するクラス識別部と、
前記第３特徴ベクトルデータを入力として当該学習ベクトルデータに紐付けられた空間ラベルの推定値を出力するデータ識別部と、
前記クラス識別部に前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを入力したときの推定値を含む第１評価関数の評価値に基づいて前記クラス識別部、前記第１ベクトル変換部、及び前記第２ベクトル変換部を更新するとともに、前記データ識別部に前記第３特徴ベクトルデータを入力したときの推定値を含む第２評価関数の評価値に基づいて前記データ識別部、前記第１ベクトル変換部、及び前記第２ベクトル変換部を更新する更新部をさらに備える、
請求項１に記載の情報処理装置。
【請求項３】
前記第１評価関数は、前記クラス識別部に前記第１特徴ベクトルデータを入力したときの推定値と、前記第１特徴ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力し、かつ前記クラス識別部に前記第２特徴ベクトルデータを入力したときの推定値と、前記第２特徴ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されており、
前記第２評価関数は、前記データ識別部に前記第３特徴ベクトルデータを入力したときの推定値と、前記第３特徴ベクトルデータに紐付けられている空間ラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されている、
請求項２に記載の情報処理装置。
【請求項４】
前記更新部は、
前記第１評価関数の評価値が小さくなるように前記クラス識別部を更新し、
前記第２評価関数の評価値が小さくなるように前記データ識別部を更新し、
前記第１評価関数の評価値が小さくなり、かつ前記第２評価関数の評価値が大きくなるように、前記第１ベクトル変換部及び前記第２ベクトル変換部を更新する、
請求項３に記載の情報処理装置。
【請求項５】
プロセッサが、
第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを記憶部から取得するステップと、
前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換するステップと、
前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換するステップと、
前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成するステップと、
前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づけるステップと、
前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させるステップと、
を実行する情報処理方法。
【請求項６】
コンピュータに、
第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを記憶部から取得する機能と、
前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する機能と、
前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する機能と、
前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成する機能と、
前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づける機能と、
前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させる機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ニューラルネットワークを始めとする機械学習の技術が急速に発展してきている。ニューラルネットワークのような教師あり機械学習では、学習に用いる学習データの精度（量及び質）が学習モデルの性能に大きく関わってくる。
【０００３】
学習データの精度を向上させるため、例えば、非特許文献１に開示されている技術では、ドメイン敵対的訓練（Domain Adversarial Training；ＤＡＴ）を用いて異なる学習データを援用する技術が提案されている。ＤＡＴは、入力データのクラス識別器とドメイン識別器とを同時に学習させ、なおかつドメイン識別が不能となるように入力データの変換を学習させることで、特徴表現のドメイン不変性の獲得を狙う技術である。なお、ドメイン識別器とは、ある学習データが、異なる学習データのうちどの学習データに由来するデータであるかを識別するための識別器である。
【０００４】
獲得可能な特徴表現のドメイン不変性の程度は、ドメイン識別器として用いる関数の表現力、すなわち仮説クラスに依存する。ドメイン識別器の表現力を高める方法のひとつとして、より複雑な関数を採用することが考えられる。一方、学習データを所与とした場合、ドメイン識別器を汎化させるにはその関数の複雑度をある程度制限する必要があることが知られている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Y. Ganin et al., “Domain-Adversarial Training of Neural Networks,” J. Mach. Learn. Res., vol. 17, pp. 1-35, May 2016.
【非特許文献２】T. Suzuki, “Fast generalization error bound of deep learning from a kernel perspective,” Proc. Twenty-First Int. Conf. Artif. Intell. Stat., vol. 84, pp. 1397-1406, 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
学習データを所与とすることによるドメイン識別器の表現力の限界は、ＤＡＴにおける入力データの変換性能の限界にもつながり、ひいては学習データの精度向上にも影響する。
【０００７】
本発明はこれらの点に鑑みてなされたものであり、学習データを所与とした場合であってもよりドメイン識別器を汎化させることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、情報処理装置である。この装置は、第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを格納する記憶部と、前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する第１ベクトル変換部と、前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する第２ベクトル変換部と、前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成するとともに、前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づける特徴ベクトル混合部と、前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させる学習データ生成部と、を備える。
【０００９】
前記第１ベクトルデータ群を構成する各ベクトルデータは、当該ベクトルデータが属するクラスを示すクラスラベルが割り当てられているとともに、前記第２ベクトルデータ群を構成する各ベクトルデータは、前記第１ベクトルデータ群の各ベクトルデータに割り当てられたクラスラベルのうちいずれかのクラスラベルが割り当てられていてもよく、前記情報処理装置はさらに、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを入力として当該学習ベクトルデータに紐付けられたクラスラベルの推定値を出力するクラス識別部と、前記第３特徴ベクトルデータを入力として当該学習ベクトルデータに紐付けられた空間ラベルの推定値を出力するデータ識別部と、前記クラス識別部に第１特徴ベクトルデータと前記第２特徴ベクトルデータとを入力したときの推定値を含む第１評価関数の評価値に基づいて前記クラス識別部、前記第１ベクトル変換部、及び前記第２ベクトル変換部を更新するとともに、前記データ識別部に前記第３特徴ベクトルデータを入力したときの推定値を含む第２評価関数の評価値に基づいて前記データ識別部、前記第１ベクトル変換部、及び前記第２ベクトル変換部を更新する更新部をさらに備えてもよい。
【００１０】
前記第１評価関数は、前記クラス識別部に前記第１特徴ベクトルデータを入力したときの推定値と、前記第１特徴ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力し、かつ前記クラス識別部に前記第２特徴ベクトルデータを入力したときの推定値と、前記第２特徴ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されていてもよく、前記第２評価関数は、前記データ識別部に前記第３特徴ベクトルデータを入力したときの推定値と、前記第３特徴ベクトルデータに紐付けられている空間ラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されていてもよい。
【００１１】
前記更新部は、前記第１評価関数の評価値が小さくなるように前記クラス識別部を更新してもよく、前記第２評価関数の評価値が小さくなるように前記データ識別部を更新してもよく、前記第１評価関数の評価値が小さくなり、かつ前記第２評価関数の評価値が大きくなるように、前記第１ベクトル変換部及び前記第２ベクトル変換部を更新してもよい。
【００１２】
本発明の第２の態様は、情報処理方法である。この方法において、プロセッサが、第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを記憶部から取得するステップと、前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換するステップと、前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換するステップと、前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成するステップと、前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づけるステップと、前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させるステップと、を実行する。
【００１３】
本発明の第３の態様は、プログラムである。このプログラムは、コンピュータに、第１の次元数の空間である第１ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第１ベクトル空間を示す数値である空間ラベルが紐づけられている第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータの集合であって各ベクトルデータに前記第２ベクトル空間を示す数値である空間ラベルが紐づけられている第２ベクトルデータ群とを記憶部から取得する機能と、前記第１ベクトルデータ群を構成するベクトルデータそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータに変換する機能と、前記第２ベクトルデータ群を構成するベクトルデータそれぞれを、前記第３の次元数のベクトルデータである第２特徴ベクトルデータに変換する機能と、前記第１特徴ベクトルデータ及び前記第２特徴ベクトルデータの組を取得し、前記第１特徴ベクトルデータと前記第２特徴ベクトルデータとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータを生成する機能と、前記内分比で前記第１ベクトル空間を示す空間ラベルと前記第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを前記第３特徴ベクトルデータに紐づける機能と、前記第１特徴ベクトルデータ、前記第２特徴ベクトルデータ、及び前記第３特徴ベクトルデータを学習ベクトルデータとして前記記憶部に記憶させる機能と、を実現させる。
【００１４】
このプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
【００１５】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、学習データを所与とした場合であってもよりドメイン識別器を汎化させることができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態の概要を説明するための模式図である。
【図２】実施の形態に係る情報処理装置の機能構成を模式的に示す図である。
【図３】実施の形態に係る情報処理装置が実行する学習処理を説明するための図である。
【図４】実施の形態に係る更新部の前後における第３特徴ベクトルデータの分布を概念的に示す模式図である。
【図５】実施の形態に係る情報処理装置が実行する情報処理の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【００１８】
＜実施の形態の概要＞
本発明の実施の形態は、汎用的なデータ強化手法であるｍｉｘｕｐを、ＤＡＴのドメイン識別器に適用することにより、学習データを所与とした場合であってもよりドメイン識別器を汎化させることを可能とする。
【００１９】
図１は、実施の形態の概要を説明するための模式図である。図１において、第１ベクトル空間は、あるデータソース（ドメイン）から得られた学習データを表現するベクトル空間である。また、第２ベクトル空間は、第１ベクトル空間で表現される学習データとは異なるデータソースから得られた学習データを表現するベクトル空間である。
【００２０】
一例として、例えば、第１ベクトル空間のベクトルは、医用画像データに由来するベクトルである。第１ベクトル空間を規定する各軸は、医用画像データの特徴量に対応する。図示の都合上、図１において第１ベクトル空間は３次元空間として表しているが、一般に、Ｎ個（Ｎは正の整数）の特徴量を用いることにより、１枚の医用画像データはＮ次元空間中の１点に射影される。
【００２１】
第２ベクトル空間のベクトルは、例えば、医用画像データを読影した医師が作成したカルテに由来するベクトルである。具体的には、第２ベクトル空間のベクトルは、医用画像データを読影した医師が作成したカルテをＤｏｃ２Ｖｅｃ等の既知の手法を用いて多次元ベクトルに変換して得られたベクトルであり、これにより、カルテを多次元空間の１点に射影することができる。図示の都合上、図１において第２ベクトル空間は２次元空間として表しているが、一般にはより高次元である。
【００２２】
なお、上述のデータやそのベクトル化手法は一例である。本実施の形態は、異なるデータソースのデータが、何らかの手法によってそれぞれベクトル表現されていれば適用でき、データの種類やベクトル化手法は問わない。
【００２３】
いま、精度向上を実現したい主タスクが定義されるドメインを目標ドメイン、主タスクの精度向上のために援用するデータが得られるドメインを元ドメインと呼ぶことにする。図１において、第１ベクトル空間のベクトルで表現されるベクトルデータｘｔが目標ドメインに由来するベクトルであり、第２ベクトル空間のベクトルで表現されるベクトルデータｘｓが元ドメインに由来するベクトルである。
【００２４】
目標ドメインに由来するベクトルデータｘｔはｄｔ次元のベクトルデータであり、サンプル数はｎｔであるとする。また、元ドメインに由来するベクトルデータｘｓはｄｓ次元のベクトルデータであり、サンプル数はｎｓであるとする。図１に示すように、目標ドメインに由来する任意のベクトルデータｘｔはｄｔ次元の空間である第１ベクトル空間の１点で表され、元ドメインに由来する任意のベクトルデータｘｓはｄｓ次元の空間である第２ベクトル空間の１点で表される。
【００２５】
第１ベクトル空間のベクトルデータｘｔには、第１ベクトル空間のベクトルであることを示す空間ラベルとして「１」を割り当てることにする。同様に、第２ベクトル空間のベクトルデータｘｓには、第２ベクトル空間のベクトルであることを示す空間ラベルとして「０」を割り当てることにする。なお、空間ラベルとして０や１を割り当てることは一例であり、他の値であってもよい。
【００２６】
一般に、第１ベクトル空間の次元数と、第２ベクトル空間の次元数とは異なり、このままでは元ドメインに由来するベクトルデータｘｓを目標ドメインに由来するベクトルデータｘｔに援用することはできない。
【００２７】
そこで、実施の形態に係る情報処理装置は、第１ベクトルデータ群を構成するベクトルデータｘｔそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータｚｔに変換する。同様に、実施の形態に係る情報処理装置は、第２ベクトルデータ群を構成するベクトルデータｘｓそれぞれを、第３の次元数のベクトルデータである第２特徴ベクトルデータｚｓに変換する。これにより、第１ベクトル空間のベクトルデータｘｔと第２ベクトル空間のベクトルデータｘｓとは、ともに第３の次元数のベクトル空間である第３ベクトル空間のベクトルデータに変換される。以下、第１ベクトル空間のベクトルデータｘｔを第３ベクトル空間の第１特徴ベクトルデータｚｔに変換する変換を第１ベクトル変換Ｇｆｔ、第２ベクトル空間のベクトルデータｘｓを第３ベクトル空間の第２特徴ベクトルデータｚｓに変換する変換を第２ベクトル変換Ｇｆｓと記載することがある。
【００２８】
第１ベクトル変換Ｇｆｔ及び第２ベクトル変換Ｇｆｓは、多層パーセプトロンで構成してよく、特にｄｔ、ｄｘ、ｄｚ等の次元が整合しているユニット数を有すれば３層の多層パーセプトロンで構成してもよいがこの限りではない。
【００２９】
第１ベクトル変換Ｇｆｔ及び第２ベクトル変換Ｇｆｓは、それぞれベクトルデータｘｔとベクトルデータｘｓとを同一次元のベクトルデータである第１特徴ベクトルデータｚｔ及び第２特徴ベクトルデータｚｓに変換するが、変換された第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとが第３ベクトル空間中の近傍領域に変換される保証はない。むしろ、第１ベクトル変換Ｇｆｔ及び第２ベクトル変換Ｇｆｓを適当に設定すると、第３ベクトル空間において第１特徴ベクトルデータｚｔが存在する領域と、第２特徴ベクトルデータｚｓが存在する領域とは乖離する蓋然性が高い。
【００３０】
第３ベクトル空間において第１特徴ベクトルデータｚｔが存在する領域と、第２特徴ベクトルデータｚｓが存在する領域とが乖離していると、たとえ第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとの次元数が同じであったとしても、第２特徴ベクトルデータｚｓを第１特徴ベクトルデータｚｔに援用したところで、ＤＡＴのための精度の高い学習データが得られたとは言い難い。これは、ドメイン識別器の構成が容易であることによって端的に示される。
【００３１】
そこで、実施の形態に係る情報処理装置は、既知のｍｉｘｕｐの手法を用いて第２特徴ベクトルデータｚｓと第１特徴ベクトルデータｚｔとを混合し、新たな第３特徴ベクトルデータｚｍを生成する。具体的には、実施の形態に係る情報処理装置は、第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを内分比λ：１−λ（０≦λ≦１）で内分して得られる新たなベクトルデータを第３特徴ベクトルデータｚｍとして生成する。さらに具体的には、ｚｍ＝λｚｓ＋（１−λ）ｚｔとなる。なお、実施の形態に係る情報処理装置は、０以上１以下の値を取る確率変数（例えば、ベータ分布にしたがう変数）としてλを定める。λの値は０又は１となり得るので、ｚｍはｚｔ又はｚｓそのものも含み得る。
【００３２】
実施の形態に係る情報処理装置は、生成した第３特徴ベクトルデータｚｍにも、空間ラベルを割り当てる。上述したように、第１ベクトル空間のベクトルデータｘｔには空間ラベルとして１が割り当てられているので、第１特徴ベクトルデータｚｔにも空間ラベルとして１が割り当てられている。同様に、第２ベクトル空間のベクトルデータｘｓには空間ラベルとして０が割り当てられているので、第２特徴ベクトルデータｚｓにも空間ラベルとして０が割り当てられている。
【００３３】
そこで、実施の形態に係る情報処理装置は、第３特徴ベクトルデータｚｍを生成する際に用いた内分比と同じ内分比を用いて、空間ラベルも内分した値を第３特徴ベクトルデータｚｍの空間ラベルとして割り当てる。例えば、第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを内分比λ：１−λで内分して得られた第３特徴ベクトルデータｚｍの空間ラベルとしてλ×０＋（１−λ）×１を割り当てる。
【００３４】
図１に示す第３ベクトル空間において、第１特徴ベクトルデータｚｔを黒塗りの丸、第２特徴ベクトルデータｚｓを黒塗りの四角、第３特徴ベクトルデータｚｍを黒塗りの三角で示している。図１はあくまでも模式図であるが、第３ベクトル空間において第２特徴ベクトルデータｚｓの集合が存在する領域と第１特徴ベクトルデータｚｔの集合が存在する領域との間に第３特徴ベクトルデータｚｍの集合が存在する領域が形成され、第３ベクトル空間における特徴ベクトルデータが一つのまとまった集合となる。
【００３５】
ここで、上述したドメイン識別器は、第３ベクトル空間における各特徴ベクトルデータに割り当てられた空間ラベルを識別するための識別器である。したがって、ｍｉｘｕｐの手法を用いて第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを混合して新たな第３特徴ベクトルデータｚｍとした場合と、第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとのみが存在する場合とでは、前者の方が後者よりも空間ラベルを識別するのは難しい問題となる。つまり、ｍｉｘｕｐの手法を用いて第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを混合し、新たな第３特徴ベクトルデータｚｍを生成することにより、より汎用性の高いドメイン識別器を学習するための学習データを生成できることを意味する。
【００３６】
以上より、実施の形態に係る情報処理装置は、学習データが所与であってもドメイン識別器を汎化させるための学習データを生成することができる。
【００３７】
＜実施の形態に係る情報処理装置１の機能構成＞
図２は、実施の形態に係る情報処理装置１の機能構成を模式的に示す図である。情報処理装置１は、記憶部２と制御部３とを備える。図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってもよい。図２において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
【００３８】
記憶部２は、情報処理装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や情報処理装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。
【００３９】
制御部３は、情報処理装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部２に記憶されたプログラムを実行することによってベクトル変換部３０、特徴ベクトル混合部３１、学習データ生成部３２、クラス識別部３３、データ識別部３４、及び更新部３５として機能する。
【００４０】
なお、図２は、情報処理装置１が単一の装置で構成されている場合の例を示している。しかしながら、情報処理装置１は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部３を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。
【００４１】
記憶部２は、第１の次元数の空間である第１ベクトル空間におけるベクトルデータｘｔの集合である第１ベクトルデータ群と、第２の次元数の空間である第２ベクトル空間におけるベクトルデータｘｓの集合である第２ベクトルデータ群とを格納している。ここで、記憶部２は、第１ベクトルデータ群を構成する各ベクトルデータｘｔに第１ベクトル空間を示す数値である空間ラベルを紐づけて格納している。同様に、記憶部２は、第２ベクトルデータ群を構成する各ベクトルデータｘｓに第２ベクトル空間を示す数値である空間ラベルを紐づけて格納している。
【００４２】
ベクトル変換部３０は、第１ベクトル変換部３００と第２ベクトル変換部３０１とを備える。第１ベクトル変換部３００は、第１ベクトルデータ群を構成するベクトルデータｘｔそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータｚｔに変換する。すなわち、第１ベクトル変換部３００は、上述した第１ベクトル変換Ｇｆｔを実行する。
【００４３】
第２ベクトル変換部３０１は、第２ベクトルデータ群を構成するベクトルデータｘｓそれぞれを、第３の次元数のベクトルデータである第２特徴ベクトルデータｚｓに変換する。すなわち、第２ベクトル変換部３０１は、上述した第２ベクトル変換Ｇｆｓを実行する。
【００４４】
特徴ベクトル混合部３１は、第１特徴ベクトルデータｚｔ及び第２特徴ベクトルデータｚｓの組を取得し、第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータｚｍを生成する。また、特徴ベクトル混合部３１は、第３特徴ベクトルデータｚｍを生成する際に用いた内分比と同じ内分比を用いて第１ベクトル空間を示す空間ラベルと第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを第３特徴ベクトルデータｚｍに紐づける。
【００４５】
学習データ生成部３２は、第１特徴ベクトルデータｚｔ、第２特徴ベクトルデータｚｓ、及び第３特徴ベクトルデータｚｍを学習ベクトルデータとして記憶部２に記憶させる。これにより、情報処理装置１は、所与の学習データから、より汎化性能の高いドメイン識別器を生成するための学習データを生成することができる。
【００４６】
以上より、実施の形態に係る情報処理装置１は、所与の学習データである第１ベクトルデータと第２ベクトルデータとから、最終的に第１特徴ベクトルデータｚｔ、第２特徴ベクトルデータ、及び第３特徴ベクトルデータｚｍを含む学習ベクトルデータを生成することができる。ここで、情報処理装置１の主タスクは、学習データに基づいて生成されたクラス識別器の出力により、目標ドメインの事例の目的変数を予測することである。以下、クラス識別器及びドメイン識別器の学習について説明する。
【００４７】
第１ベクトルデータ群を構成する各ベクトルデータｘｔは、各ベクトルデータｘｔが属するクラスを示すクラスラベルが割り当てられている。例えば、第１ベクトルデータ群を構成する各ベクトルデータｘｔが肺のＸ線画像データに由来するベクトルである場合において、各ベクトルデータｘｔには、結節陰影を含むことを示すクラスラベル「１」と結節陰影を含まないことを示すクラスラベル「０」と、のいずれかのクラスラベルが割り当てられているとする。ベクトルデータｘｔを変換して得られる第１特徴ベクトルデータｚｔも、元となったベクトルデータｘｔと同じクラスラベルが割り当てられる。
【００４８】
第２ベクトルデータ群を構成する各ベクトルデータｘｓには、第１ベクトルデータ群の各ベクトルデータｘｔに割り当てられたクラスラベルのうちいずれかのクラスラベルが割り当てられている。例えば、第２ベクトルデータ群を構成する各ベクトルデータｘｓが肺のＸ線画像を読影した医師が作成したカルテに由来するベクトルである場合にも、各ベクトルデータｘｓには、結節陰影を含むことを示すクラスラベル「１」と結節陰影を含まないことを示すクラスラベル「０」と、のいずれかのクラスラベルが割り当てられている。ベクトルデータｘｓを変換して得られる第２特徴ベクトルデータｚｓも、元となったベクトルデータｘｓと同じクラスラベルが割り当てられる。
【００４９】
クラス識別部３３は、学習ベクトルデータのうち第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを入力として各特徴ベクトルデータに紐付けられたクラスラベルの推定値を出力する。クラス識別部３３は、上述のクラス識別器に相当する。
【００５０】
データ識別部３４は、学習ベクトルデータのうち第３特徴ベクトルデータｚｍを入力としてその第３特徴ベクトルデータｚｍに紐付けられた空間ラベルの推定値を出力する。データ識別部３４は、上述のドメイン識別器に相当する。
【００５１】
図３は、実施の形態に係る情報処理装置１が実行する学習処理を説明するための図である。以下、本明細書及び図３に記載されている記号の定義について、既出のものを含めてまとめて記載する。
【００５２】
（記号の定義）
・第１ベクトルデータ群を構成するベクトルデータ  ：  ｘｔ
・各ベクトルデータｘｔに割り当てられたクラスラベル  ：  ｙｔ
・第１ベクトル空間の空間ラベル  ：  ｄｔ
・第２ベクトルデータ群を構成するベクトルデータ  ：  ｘｓ
・各ベクトルデータｘｔに割り当てられたクラスラベル  ：  ｙｓ
・第２ベクトル空間の空間ラベル  ：  ｄｓ
・第１ベクトル変換  ：  Ｇｆｔ
・第２ベクトル変換  ：  Ｇｆｓ
・第１特徴ベクトルデータ  ：  ｚｔ
・第２特徴ベクトルデータ  ：  ｚｓ
・第３特徴ベクトルデータ  ：  ｚｍ
・各第３特徴ベクトルデータｚｍに割り当てられた空間ラベル  ：  ｄｍ
・クラス識別器  ：  Ｇｙ
・データ識別器  ：  Ｇｄ
・クラス識別器Ｇｙによる第１特徴ベクトルデータｚｔの識別結果  ：  Ｐｔ
・クラス識別器Ｇｙによる第２特徴ベクトルデータｚｓの識別結果  ：  Ｐｓ
・データ識別器Ｇｄによる各特徴ベクトルデータの識別結果  ：  ｑｍ
・クラス識別器の損失関数  ：  Ｌｙ
・データ識別器の損失関数  ：  Ｌｄ
【００５３】
ここで、ベクトルデータｘｓの個数をｎｓとし、ｉ番目（ｉは１以上ｎｓ以下の整数）のベクトルデータｘｉｓと記載する。同様に、ベクトルデータｘｔの個数をｎｔとし、ｊ番目（ｊは１以上ｎｔ以下の整数）のベクトルデータｘｊｔと記載する。また、ベクトルデータｘｉｓに紐付けられているクラスラベルをｙｉｓとし、ベクトルデータｘｉｔに紐付けられているクラスラベルをｙｊｔとする。
【００５４】
第１ベクトル変換Ｇｆｔは、ベクトルデータｘｔを第１特徴ベクトルデータｚｔに変換するため、ｚｔ＝Ｇｆｔ（ｘｔ）と書ける。同様に、第２ベクトル変換Ｇｆｓは、ベクトルデータｘｓを第２特徴ベクトルデータｚｓに変換するため、ｚｓ＝Ｇｆｓ（ｘｓ）である。
【００５５】
クラス識別器Ｇｙは学習データｚ（第１特徴ベクトルデータｚｔ及び第２特徴ベクトルデータｚｓ）を入力したとき、０から１の値を出力する。すなわち、Ｇｙ（ｚ）→［０，１］である。データ識別器は第３特徴ベクトルデータｚｍを入力したとき、０から１の値を出力する。すなわち、Ｇｄ（ｚ）→［０，１］である。
【００５６】
クラス識別器Ｇｙとデータ識別器Ｇｄとのいずれも分類器であるため、一般的な交差エントロピー損失Ｌ（ｐ，ｙ）＝−｛ｙｌｏｇｐ＋（１−ｙ）ｌｏｇ（１−ｐ）｝を用いることができる。交差エントロピー損失Ｌ（ｐ，ｙ）は、ｐとｙとの値が一致するとき最小値を取る。
【００５７】
以上を用いると、ＤＡＴは下記のような最適化問題として定式化される。
【００５８】
【数１】
2020154925.tif 000003
ここで、γは損失間のバランシングパラメータであり、任意の正数を定めてよいが、例えばγ＝１としてもよい。
【００５９】
式（１）において、第１項は元ドメインに由来するベクトルデータｘｓに関してクラス識別を学習するための項である。また、第２項は、目標ドメインに由来するベクトルデータｘｔに関してクラス識別を学習するための項である。
【００６０】
式（１）において、第３項は与えられた事例のドメイン由来に関する識別損失であり、ベクトル変換のパラメータに関しては最小化、データ識別器のパラメータに関しては最大化をする。すなわち、ベクトル変換は変換後のベクトルの見分けが付かなくなるように学習し、データ識別器は変換後のベクトルデータの由来となったドメインを見分けるよう学習する。この学習方法により、ベクトル変換はよりドメインの見分けがつかない特徴表現、つまりドメイン不変な特徴表現を獲得することができる。そしてそれはデータ識別器の性能に依存することになる。
【００６１】
更新部３５は、クラス識別部３３に第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを入力したときの推定値を含む第１評価関数の評価値に基づいて、クラス識別部３３、第１ベクトル変換部３００、及び第２ベクトル変換部を３０１更新する。ここで、第１評価関数は、式（１）の第１項及び第２項に対応する。すなわち、第１評価関数は、クラス識別部３３に学習ベクトルデータを入力したときの推定値と、学習ベクトルデータに紐付けられているクラスラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されている。
【００６２】
また、更新部３５は、データ識別部３４に第３特徴ベクトルデータｚｍを入力したときの推定値を含む第２評価関数の評価値に基づいて、データ識別部３４、第１ベクトル変換部３００、及び第２ベクトル変換部３０１を更新する。ここで、第２評価関数は、式（１）の第３項から負号及び係数を除いた部分に対応する。すなわち、第２評価関数は、データ識別部３４に第３特徴ベクトルデータｚｍを入力したときの推定値と、第３特徴ベクトルデータｚｍに紐付けられている空間ラベルとの差が小さい場合は、大きい場合よりも小さな評価値を出力するように構成されている。
【００６３】
更新部３５は、式（１）に示す評価関数にしたがって更新処理を実行する。このため、更新部３５は、第１評価関数の評価値が小さくなるようにクラス識別部３３を更新し、第２評価関数の評価値が小さくなるようにデータ識別部３４を更新し、第１評価関数の評価値が小さくなり、かつ第２評価関数の評価値が大きくなるように、第１ベクトル変換部３００及び第２ベクトル変換部３０１を更新する。
【００６４】
これにより、第１ベクトル変換部３００及び第２ベクトル変換部３０１は、それぞれベクトルデータｘｔ及びベクトルデータｘｓを第３ベクトル空間に射影したときに、各ベクトルデータに紐付けられたクラスラベルによって射影先が分類されやすくなるように更新される。また、第１ベクトル変換部３００及び第２ベクトル変換部３０１は、それぞれベクトルデータｘｔ及びベクトルデータｘｓを第３ベクトル空間に射影したときに、由来となるベクトルデータの異同に依存せず同じ領域に射影されるように更新される。
【００６５】
図４（ａ）−（ｂ）は、実施の形態に係る更新部３５による更新処理の前後における第３特徴ベクトルデータｚｍの分布を概念的に示す模式図である。具体的には、図４（ａ）は、更新部３５による更新処理前の第３特徴ベクトルデータｚｍの分布を示す模式図である。一方、図４（ｂ）は、更新部３５による更新処理後の第３特徴ベクトルデータｚｍの分布を示す模式図である。
【００６６】
図４（ａ）−（ｂ）において、第１特徴ベクトルデータｚｔのうち、紐付けられているクラスラベルが「０」のものを黒塗りの丸で示し、紐付けられているクラスラベルが「１」のものを白抜きの丸で示している。また、第２特徴ベクトルデータｚｓのうち、紐付けられているクラスラベルが「０」のものを黒塗りの四角で示し、紐付けられているクラスラベルが「１」のものを白抜きの四角で示している。
【００６７】
図４（ａ）に示すように、更新部３５による更新処理の前は、第１特徴ベクトルデータｚｔはクラスラベルの異同によらず近傍領域に集合している。同様に、第２特徴ベクトルデータｚｓもクラスラベルの異同によらず近傍領域に集合している。さらに、第１特徴ベクトルデータｚｔが集合している領域と第２特徴ベクトルデータｚｓが集合している領域とは、第３ベクトル空間において乖離している。この状態では、クラス識別器Ｇｙによるクラス識別は難しく、データ識別器Ｇｄによる識別は容易である。つまり、主タスクであるクラス識別器の性能は期待できず、かつ、データ援用の効果も薄いといえる。
【００６８】
これに対し、図４（ｂ）に示すように、更新部３５による更新処理の後は、第１特徴ベクトルデータｚｔは紐付けられているクラスラベルに応じて第３ベクトル空間内の異なる領域にそれぞれ集合している。第２特徴ベクトルデータｚｓも、紐付けられているクラスラベルに応じて第３ベクトル空間内の異なる領域にそれぞれ集合している。さらに、第１特徴ベクトルデータｚｔのうちクラスラベルが１であるものが集合している領域と、第２特徴ベクトルデータｚｓのうちクラスラベルが１であるものが集合している領域は重複している。同様に、第１特徴ベクトルデータｚｔのうちクラスラベルが０であるものが集合している領域と、第２特徴ベクトルデータｚｓのうちクラスラベルが０であるものが集合している領域も重複している。
【００６９】
この状態は、クラス識別器Ｇｙによるクラス識別が容易となり、かつデータ識別器Ｇｄによる識別は困難となっている。つまり、主タスクであるクラス識別器の性能及びデータ援用の効果がうまく出ているといえる。
【００７０】
なお、上記では、学習データ全量を用いて損失を表記してきたが、更新部３５は、ミニバッチ確率的勾配法を用いて最適化を実行してもよい。確率的勾配法を実施する際には、更新部３５は、モデルパラメータのそれぞれについて式（１）に示す目的関数の微分を計算して更新式を求めてもよいが、自動微分機能を備えた数値計算フレームワークを用いてもよい。最適化の更新処理の終了条件は、既定の回数に達することとしてもよく、また、学習データを構築用と検証用とに分けて構築用で更新処理をし、検証用で目的関数の値を算出し、検証用の目的関数の値が既定の回数だけ連続で改善（より小さくなること）しなかった場合としてもよく、さらに、これら両方のいずれかに該当することとしてもよい。モデルパラメータの初期値には標準正規分布に従う乱数を用いてもよい。
【００７１】
＜情報処理装置１が実行する情報処理方法の処理フロー＞
図５は、実施の形態に係る情報処理装置１が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置１が起動したときに開始する。
【００７２】
第１ベクトル変換部３００は、第１ベクトルデータ群を記憶部２から読み出して取得する（Ｓ２）。第１ベクトル変換部３００は、第１ベクトルデータ群を構成するベクトルデータｘｔそれぞれを、第３の次元数のベクトルデータである第１特徴ベクトルデータｚｔに変換する（Ｓ４）。
【００７３】
第２ベクトル変換部３０１は、第２ベクトルデータ群を記憶部２から読み出して取得する（Ｓ６）。第２ベクトル変換部３０１は、第２ベクトルデータ群を構成するベクトルデータｘｓそれぞれを、第３の次元数のベクトルデータである第２特徴ベクトルデータｚｓに変換する（Ｓ８）。
【００７４】
特徴ベクトル混合部３１は、第１特徴ベクトルデータｚｔ及び第２特徴ベクトルデータｚｓの組を取得し、第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを０以上１以下の確率変数で定まる内分比で内分した第３特徴ベクトルデータｚｍを生成する（Ｓ１０）。
【００７５】
特徴ベクトル混合部３１は、第３特徴ベクトルデータｚｍの生成に利用した内分比で第１ベクトル空間を示す空間ラベルと第２ベクトル空間を示す空間ラベルとを内分した空間ラベルを生成し第３特徴ベクトルデータに紐づける（Ｓ１２）。
【００７６】
学習データ生成部３２は、第１特徴ベクトルデータｚｔ、第２特徴ベクトルデータｚｓ、及び第３特徴ベクトルデータｚｍを学習ベクトルデータとして記憶部２に記憶させる（Ｓ１４）。
【００７７】
学習データ生成部３２が、学習ベクトルデータを記憶部２に記憶させると、本フローチャートにおける処理は終了する。
【００７８】
＜実施の形態に係る情報処理装置１が奏する効果＞
以上説明したように、実施の形態に係る情報処理装置１によれば、学習データが所与であってもドメイン識別器を汎化させるための学習データを生成することができる。
【００７９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。
【００８０】
＜第１の変形例＞
上記では、クラス識別部３３はいわゆる２クラス問題を解くための識別器である場合について説明した。しかしながら、クラス識別部３３は３以上のクラスを識別する多クラス問題の識別器であってもよい。
【００８１】
＜第２の変形例＞
上記では、学習ベクトルデータのうち第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとを入力として各特徴ベクトルデータに紐付けられたクラスラベルの推定値を出力するようクラス識別器を生成する場合について説明した。しかしながら、第１特徴ベクトルデータｚｔと第２特徴ベクトルデータｚｓとは、各特徴ベクトルデータに紐付けられた実数値を目的変数として重回帰モデルの学習に用いられてもよい。
【符号の説明】
【００８２】
１・・・情報処理装置
２・・・記憶部
３・・・制御部
３０・・・ベクトル変換部
３００・・・第１ベクトル変換部
３０１・・・第２ベクトル変換部
３１・・・特徴ベクトル混合部
３２・・・学習データ生成部
３３・・・クラス識別部
３４・・・データ識別部
３５・・・更新部
【図１】
2020154925.tif 000004
【図２】
2020154925.tif 000005
【図３】
2020154925.tif 000006
【図４】
2020154925.tif 000007
【図５】
2020154925.tif 000008