(57)【要約】【課題】有用な転移データの抽出時間を短縮することを課題とする。【解決手段】学習装置は、転移先の学習データの中から、転移先および転移元の学習データから特定される制約を満たす学習データを選択する。そして、学習装置は、転移元の学習データのうち、選択した学習データを、転移先の学習データとして使用する転移データとして抽出する。【選択図】図１
2020115288.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
転移先の学習データの中から、転移先および転移元の学習データから特定される制約を満たす学習データを選択し、
転移元の学習データのうち、選択した学習データを、前記転移先の学習データとして使用する転移データとして抽出する
処理を実行することを特徴とする転移学習方法。
【請求項２】
コンピュータが、
第一のラベルと第三のラベルとを識別するよう転移先の学習器に入力される転移先の学習データを取得し、
転移先の学習データのうちの第三のラベルのデータの数と転移先の学習データのうちの第一のラベルの学習データの数との差分が予め設定された数よりも大きい場合に、第一のラベルと第二のラベルとを識別するよう転移元の学習器に入力される転移元の学習データを取得し、
取得した転移元の学習データの中から、転移先および転移元の第一のラベルを示す同一の学習データから特定される制約を満たす学習データを抽出し、
抽出した学習データと、転移先の学習データとに基づいて、学習をする請求項１に記載の転移学習方法。
【請求項３】
前記選択する処理は、前記転移先の学習データを含む転移先ドメインに与えられる第１の知識情報を用いて、第１の制約を生成し、
前記抽出する処理は、前記転移元の学習データを含む転移元ドメインに与えられる第２の知識情報を用いて生成される各制約のうち、前記第１の制約と対となる同型の制約を構成する学習データから、前記転移データを抽出する請求項１に記載の転移学習方法。
【請求項４】
前記転移先において、前記第１の知識情報を用いて、前記転移先の学習データから前記第１の制約と同じ結論となる第２の制約を検出し、
前記転移元において、前記転移元の学習データから前記転移先における前記第２の制約と同型な第３の制約を生成し、前記転移元の学習データから前記第３の制約と同型な第４の制約を検出し、
前記転移元の学習のデータのうち、前記第３の制約を満たす学習データまたは前記第４の制約を満たす学習データを、前記転移先の学習データとして検出する、処理を前記コンピュータが実行することを特徴とする請求項３に記載の転移学習方法。
【請求項５】
転移元候補である各知識源について、前記転移先における前記第１の制約と、前記転移元における前記第１の制約と対となる同型の制約とを生成するとともに、前記転移データを抽出し、
前記各知識源と、前記第１の制約と前記同型の制約と前記転移データとを対応付けた選択画面を表示する、処理を前記コンピュータが実行することを特徴とする請求項３に記載の転移学習方法。
【請求項６】
前記選択画面で選択された前記知識源に対応付けられる前記転移データを、選択された前記知識源から取得し、学習データとして転移学習を実行する、処理を前記コンピュータが実行することを特徴とする請求項５に記載の転移学習方法。
【請求項７】
コンピュータに、
転移先の学習データの中から、転移先および転移元の学習データから特定される制約を満たす学習データを選択し、
転移元の学習データのうち、選択した学習データを、前記転移先の学習データとして使用する転移データとして抽出する
処理を実行させることを特徴とする転移学習プログラム。
【請求項８】
転移先の学習データの中から、転移先および転移元の学習データから特定される制約を満たす学習データを選択する選択部と、
転移元の学習データのうち、選択した学習データを、前記転移先の学習データとして使用する転移データとして抽出する抽出部と
を有することを特徴とする学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、転移学習方法、転移学習プログラムおよび学習装置に関する。
【背景技術】
【０００２】
深層学習（DL：Deep  Learning）などを用いた統計的機械学習技術では、教師あり学習による識別器の学習が行われているが、充分な教師データを準備できない場合が多い。このようなことから、他領域（転移元ドメイン：Source  Domain（SD））のデータを、目標の領域（転移先ドメイン：Target  Domain（TD））の教師データとして利用する機械学習（転移学習）が注目されている。なお、転移学習とは、例えば、新規（転移先）のドメイン（タスク）での効果的な仮説を効率的に見つけ出すために、一つ以上の別（転移元）のドメインで学習された知識を得て、それを適用する学習方法である。
【０００３】
転移学習では、転移元ドメインと転移先ドメインとが類似していると仮定される場合が多いが、仮定に反して、転移元ドメインと転移先ドメインとのデータ分布が大きく異なる場合がある。この場合、転置元ドメインのデータを転移先ドメインに転移させて、転移先ドメインで転移学習を実行すると、負の転移が発生し、学習精度が劣化する。なお、負の転移とは、例えば、転移学習して得られた識別器の性能が転移データを用いない識別器より性能が劣化する現象のことをいう。
【０００４】
近年では、転移元ドメインと転移先ドメインのデータ分布に違いを調整するクラスタリング技術が知られている。例えば、転移元ドメインの転移候補データをデータの特徴でクラスタリングし、得られたクラスタを順次、転移先ドメインでデータと共に試行的に機械学習を実施する。その結果からクラスタの有効性を評価し、より有効な転移候補データを必要数になるまで転移データに利用する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−２２４１５６号公報
【特許文献２】特開２０１８−０２２４７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記技術では、学習精度の劣化を抑制するためにクラスタ数を増やすと、試行的な機械学習の回数が多くなるので、転移データの抽出にかかる処理時間が長くなる。また、クラスタ数を減らすと、試行的な機械学習の回数が少なくなり、転移データの抽出にかかる処理時間が短くなるが、学習精度が劣化する可能性が高くなる。このように、学習精度の向上が期待できる有用な転移データを短時間で抽出するには、クラスタ数と処理時間の両方を考慮しなければならず、ユーザが簡単に実行できるものではない。
【０００７】
一つの側面では、有用な転移データの抽出時間を短縮することができる転移学習方法、転移学習プログラムおよび学習装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の案では、コンピュータが、転移先の学習データの中から、転移先および転移元の学習データから特定される制約を満たす学習データを選択し、転移元の学習データのうち、選択した学習データを、前記転移先の学習データとして使用する転移データとして抽出する処理を実行する。
【発明の効果】
【０００９】
一つの側面では、有用な転移データの抽出時間を短縮することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１にかかる学習装置の全体例を説明する図である。
【図２】図２は、実施例１にかかる学習装置の機能構成を示す機能ブロック図である。
【図３】図３は、転移先データＤＢに記憶される情報の例を示す図である。
【図４】図４は、転移先知識ＤＢに記憶される情報の例を示す図である。
【図５】図５は、転移元知識ＤＢに記憶される情報の例を示す図である。
【図６】図６は、転移データ抽出の全体例を説明する図である。
【図７】図７は、転移先と転移元の知識の前提を説明する図である。
【図８】図８は、転移先証明の生成を説明する図である。
【図９】図９は、転移元証明の生成を説明する図である。
【図１０】図１０は、転移先と転移元での対となる証明の検出を説明する図である。
【図１１】図１１は、転移元で同型な証明の検出を説明する図である。
【図１２】図１２は、転移データの抽出を説明する図である。
【図１３】図１３は、転移データの抽出処理から学習処理までの一連の流れを示すフローチャートである。
【図１４】図１４は、実施例１にかかる転移データ抽出処理の詳細な流れを示すフローチャートである。
【図１５】図１５は、実施例１にかかる証明集合の構成処理の詳細な流れを示すフローチャートである。
【図１６】図１６は、複数の知識源から転移元を選択する例を説明する図である。
【図１７】図１７は、ハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、本願の開示する転移学習方法、転移学習プログラムおよび学習装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例１】
【００１２】
［全体例］
図１は、実施例１にかかる学習装置の全体例を説明する図である。図１に示す学習装置１０は、ラベルが付加された教師データを用いて機械学習を実行するコンピュータ装置の一例である。
【００１３】
近年、ＬＯＤ（Linked  Open  Data）やナレッジベースなど、人間の持つ知識を格納したシステムが様々な領域に対して作成され利用されている。これらＬＯＤやナレッジベースでは、ある事実が成立することを、その事実を格納した知識から証明できることにより示される。これは、それぞれの格納された知識が、その知識に対応する領域での事実が満たすべき制約を表しているとみなせる。
【００１４】
この考えを用いて、学習装置１０は、転移データの抽出を実行する。具体的には、転移元ドメインや転移先ドメインに対して知識が与えられているとする。教師データ（入出力関係＜ｘ．ｙ＞）に対する各ドメインでの知識を基にした証明が存在するとき、それぞれ証明はその証明を与えたドメインでの教師データ（入出力関係＜ｘ，ｙ＞）が満たすべき制約である。ここで、入出力関係＜ｘ，ｙ＞対する証明とは、ドメイン知識から導出される、前提の個体項部分に入力ｘが現れ、結論の個体項部分に出力ｙが現れる証明である。
【００１５】
教師データに対する証明対と類似な証明を対応するドメインで持つデータ（入出力関係＜ｘ，ｙ＞）は、教師データと同じ制約を満たすデータとして転移候補となる。ここで、教師データ数が少ない場合、教師データと同型な証明を持つ転移先ドメインでのデータも教師データに加える。そして、この証明対である制約が教師データではないデータを転移データする根拠（説明）となる。
【００１６】
ここで、転移元ドメインと転移先のドメインについて説明する。転移元ドメインは、第一のラベルと第二のラベルとを識別するための学習データである。例えば、転移元ドメインは、ネコの画像とニワトリの画像であり、ネコとニワトリとを識別するための学習データである。学習器は、転移元ドメインの学習データを学習することで、ニワトリとネコを識別することができる。一方で、転移先のドメインは、第一のラベルと第三のラベルとを識別するための学習データである。例えば、転移先ドメインは、ネコの画像とイヌの画像であり、ネコとイヌとを識別するための学習データである。学習器は、転移先のドメインの学習データを学習することで、イヌとネコを識別することができる。つまり、転移元ドメインのネコの画像は、ニワトリとネコとを識別するための特徴を有しているが、イヌとネコとの識別をするのに適している画像であるとはいえない。これにより、転移元ドメインのネコ画像を転移先のドメインのネコ画像に転移すると、イヌとネコとの識別をするための学習の低下をすることがある。なお、学習データは、動物の画像に限られず学習される内容によって変わる。例えば、学習データは、スポーツの写真、不動産に関する画像、グラビア写真、ネイルに関する画像、義歯に関する画像、医療に関する画像、設備保守に関する画像、苦情などの時系列データなどであってもよい。
【００１７】
例えば、図１に示すように、学習装置１０は、転移元の識別装置が有する教師データ群（転移元ドメイン）の知識情報と、転移先の識別装置（学習装置１０）が有する教師データ群の知識情報とを保持する。なお、転移元と転移先の定義域は、同一とする。
【００１８】
そして、学習装置１０は、転移先の知識情報を用いて転移先拡張を実行し、転移先知識で教師データの証明と類似な証明を持つ転移先データを特定する。続いて、学習装置１０は、特定した転移先データのうち、転移元知識でも証明を持つ転移先データを特定する。さらに、学習装置１０は、転移元の知識情報を用いて転移元拡張を実行し、転移元データのうち、転移元知識でも証明を持つ転移先データと類似な証明を持つ転移元データを特定する。
【００１９】
そして、学習装置１０は、このようにして特定された転移元データ（転移元ドメインの教師データ）と、転移先の教師データとをマージして学習データとする。この結果、学習装置１０は、クラスタリングや試行的な機械学習を実行することなく、有用な転移データを抽出することができ、抽出時間を短縮することができる。
【００２０】
［機能構成］
図２は、実施例１にかかる学習装置１０の機能構成を示す機能ブロック図である。図２に示すように、学習装置１０は、通信部１１、記憶部１２、制御部２０を有する。
【００２１】
通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、図示しない管理端末から処理開始の指示を送信したり、当該管理端末に転移データの決定結果などを送信したり、図示しない転移元の識別装置から転移元ドメインの知識情報などを受信したりする。
【００２２】
記憶部１２は、制御部２０が実行するプログラムや各種データを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。例えば、記憶部１２は、転移先データＤＢ１３、転移元データＤＢ１４、転移先知識ＤＢ１５、転移元知識ＤＢ１６、学習データＤＢ１７を記憶する。
【００２３】
転移先データＤＢ１３は、転移学習の転移先である転移先ドメインの教師データを記憶するデータベースである。図３は、転移先データＤＢ１３に記憶される情報の例を示す図である。図３に示すように、転移先データＤＢ１３は、「画像、ラベル」を対応付けて記憶する。ここで記憶される「画像」は、学習対象の教師データの一例である画像データを示し、「ラベル」は、画像データに設定されるラベルを示す。図３の例では、画像ａ１にラベル「ネコ」が設定されており、画像ｂ１にラベル「イヌ」が設定されている。
【００２４】
転移元データＤＢ１４は、転移学習の転移元である転移元ドメインの教師データを記憶するデータベースである。転移元データＤＢ１４は、図３と同様、「画像、ラベル」を対応付けて記憶する。例えば、転移元データＤＢ１４は、画像ｊにラベル「ネコ」が設定されたデータなどを記憶する。
【００２５】
転移先知識ＤＢ１５は、ドメイン知識である転移先ドメインの知識情報を記憶するデータベースである。具体的には、転移先知識ＤＢ１５は、転移先ドメインの各教師データの各関係から特定できる知識であり、学習装置１０が自動で判別して取得することもでき、管理者が設定することもできる。
【００２６】
図４は、転移先知識ＤＢ１５に記憶される情報の例を示す図である。図４に示すように、転移先知識ＤＢ１５は、「画像（ａ１）、画像（ａ２）、画像（ａ３）、画像（ａ４）、丸顔（ａ１）、丸顔（ａ３）、丸顔（ａ４）」や「画像（ｘ）ａｎｄ丸顔（ｘ）→ｉｓ（ｘ，“ネコ”）」などを記憶する。
【００２７】
転移元知識ＤＢ１６は、ドメイン知識である転移元ドメインの知識情報を記憶するデータベースである。具体的には、転移元知識ＤＢ１６は、転移元ドメインの各教師データの各関係から特定できる知識であり、転移元ドメインの識別装置から取得することもでき、管理者が設定することもできる。
【００２８】
図５は、転移元知識ＤＢ１６に記憶される情報の例を示す図である。図５に示すように、転移元知識ＤＢ１６は、「画像（ａ３）、画像（ａ５）、画像（ａ６）、四足（ａ３）、四足（ａ５）」や「画像（ｘ）ａｎｄ四足（ｘ）→ｉｓ（ｘ，“ネコ”）」などを記憶する。
【００２９】
学習データＤＢ１７は、学習対象の教師データを記憶するデータベースである。具体的には、学習データＤＢ１７は、後述する制御部２０による転移学習により得られた教師データを記憶する。
【００３０】
制御部２０は、学習装置１０全体を司る処理部であり、例えばプロセッサなどである。例えば、制御部２０は、転移処理部２１と学習部２４を有する。なお、転移処理部２１と学習部２４は、プロセッサなどの電子回路の一例やプロセッサが実行するプロセスの一例である。
【００３１】
転移処理部２１は、知識抽出部２２と転移データ抽出部２３を有し、転移学習によって転移元ドメインから学習データを抽出する処理部である。
【００３２】
知識抽出部２２は、各ドメインの知識を抽出する処理部である。具体的には、知識抽出部２２は、転移先知識ＤＢ１５や転移元知識ＤＢ１６から知識情報を抽出し、転移データ抽出部２３に出力する。
【００３３】
例えば、知識抽出部２２は、転移先知識ＤＢ１５を参照し、転移先の知識として「画像（ａ１）と画像（ａ３）と画像（ａ４）は、丸顔に該当する画像データであり、画像データかつ丸顔の画像データは「ネコ」の画像データである。」を抽出して転移データ抽出部２３に出力する。
【００３４】
また、知識抽出部２２は、転移元知識ＤＢ１６を参照し、転移元の知識として「画像（ａ３）と画像（ａ５）は、四足に該当する画像データであり、画像データかつ四足の画像データは「ネコ」の画像データである。」を抽出して転移データ抽出部２３に出力する。
【００３５】
転移データ抽出部２３は、第一のラベルと第三のラベルとを識別するよう転移先の学習器に入力される転移先の学習データを取得する。そして、転移データ抽出部２３は、転移先の学習データのうちの第三のラベルに比べて転移先の学習データのうちの第一のラベルの学習データが予め設定された数よりも少ない場合に、第一のラベルと第二のラベルとを識別するよう転移元の学習器に入力される転移元の学習データを取得する。さらに、転移データ抽出部２３は、取得した転移元の学習データの中から、転移先および転移元の第一のラベルを示す同一の学習データから特定される制約を満たす学習データを抽出する。
【００３６】
つまり、転移データ抽出部２３は、転移元ドメインの知識および転移先とメインの知識を用いて、転移元データから転移先の学習データを抽出する処理部である。具体的には、転移データ抽出部２３は、転移元のドメインに属する画像データであって、画像データのうち第一のラベル（例えばネコ）が対応づけられた第一のデータと、第二のラベル（例えばニワトリ）が対応付けられた第二のデータとを有する転移元知識を抽出する。また、転移データ抽出部２３は、転移先のドメインに属する画像データであって、画像データのうち第一のラベル（例えばネコ）が対応づけられた第三のデータと、第三のラベル（例えばイヌ）が対応付けられた第四のデータとを有する転移先知識を抽出する。
【００３７】
そして、転移データ抽出部２３は、第一のデータと第三のデータから同じデータを特定し、ドメインごとに設定されたルールを用いて、特定した同じデータに関し、転移元のドメインの中での第一データが第一のラベルの特徴（例えば４本脚）を示す第一の制約を特定する。また、転移データ抽出部２３は、特定した同じデータに関し、転移先のドメインの中での第三データが第一のラベルの特徴（例えば丸顔）を示す第二の制約を特定する。そして、転移データ抽出部２３は、転移元のドメインの中から特定した第一の制約を有するデータを抽出し、転移先のドメインの中から特定した第二の制約を有するデータを抽出し、抽出したデータの中に同じデータが含まれるときは、転移元のドメインの中から特定した知識を有する抽出したデータを転移先の学習データとする。
【００３８】
ここで、転移データの抽出について具体的に説明する。図６は、転移データ抽出の全体例を説明する図である。ここで、転移元の学習データと転移先の学習データについて説明する。転移元の学習データは、画像（ａ３）と画像（ａ５）と画像（ａ６）とを少なくとも有する。転移データ抽出部２３は、転移元知識ＤＢ１６から情報を取得し、画像（ａ３）と画像（ａ５）と画像（ａ６）の知識とラベルとを対応づける。これにより、画像（ａ３）は、知識およびラベルが不明であることが分かる。また、画像（ａ５）と画像（ａ６）は、四足である知識を特定でき、ラベルは不明であることが分かる。
【００３９】
一方で、転移先の学習データは、画像（ａ１）と画像（ａ２）と画像（ａ３）と画像（ａ４）とを少なくとも有する。転移データ抽出部２３は、転移先知識ＤＢ１５から情報を取得し、画像（ａ１）と画像（ａ２）と画像（ａ３）と画像（ａ４）の知識とラベルを対応づける。これにより、画像（ａ１）は、丸顔である知識を特定でき、ネコというラベルを特定できる。また、画像（ａ２）は、知識は不明であるが分かり、ネコというラベルを特定することができる。さらに、画像（ａ３）は、丸顔という知識を特定でき、ラベルは不明であることが分かる。画像（ａ４）は、知識およびラベルが不明であることが分かる。
【００４０】
図６に示すように、ここでは、転移先ドメインの教師データであるイヌの画像データとネコの画像データとを保持するが、ネコの教師データが不足しているとする。具体的には、転移データ抽出部２３は、転移先データを構成する第一のラベルと第二のラベルの学習データを特定する。例えば、転移データ抽出部２３は、転移先データを構成するネコの画像とイヌの画像の学習データを特定する。そして、転移データ抽出部２３は、第二のラベルのデータの数に比べて第一のラベルのデータの数が予め設定された数よりも少ないときに転移元の学習データを構成する第一のラベルと第三のラベルの中から第一のラベルの学習データを取得する。例えば、転移データ抽出部２３は、イヌの画像のデータの数に比べてネコの画像のデータの数が予め設定された数よりも少ないときに、転移元の学習データを構成するニワトリの画像とネコの画像の中からネコの画像の学習データの取得を決定する（Ｓ１）。
【００４１】
続いて、学習装置１０の転移データ抽出部２３は、転移先側での教師データと同じ関係（ネコ画像）を結論とする証明を生成する。具体的には、転移先の学習データから少なくとも１枚の画像を抽出し、抽出した画像と知識とに基づいて、結論となる証明を生成する。例えば、転移先の学習データから画像（ａ３）を抽出する。次に、画像（ａ３）と、「画像（ｘ）ａｎｄ丸顔（ｘ）→ｉｓ（ｘ，“ネコ”）」という規則に基づいて、画像（ａ３）はネコであるとの結論とする証明を生成する（Ｓ２）。さらに、転移データ抽出部２３は、転移先側での教師データと同型な証明集合を生成する（Ｓ３）。すなわち、転移データ抽出部２３は、「画像（ｘ）ａｎｄ丸顔（ｘ）→ネコ」と同じ証明の集合を生成する。
【００４２】
一方で、転移データ抽出部２３は、転移元データＤＢ１４や転移元知識ＤＢ１６を参照し、転移元データのうち、転移元側でネコの証明に該当するネコの画像データを抽出する。転移データ抽出部２３は、転移元の学習データの中から、転移先および転移元のネコの画像を示す同一の学習データから特定される制約を満たす学習データを抽出する。具体的には、転移先の学習データから少なくとも１枚の画像を抽出し、抽出した画像と知識とに基づいて、結論となる証明を生成する。例えば、転移元の学習データから画像（ａ３）を抽出する。次に、画像（ａ３）と、「画像（ｘ）ａｎｄ四足（ｘ）→ｉｓ（ｘ，“ネコ”）」という規則に基づいて、画像（ａ３）はネコであるとの結論とする証明を生成する（Ｓ４）。ここで、転移データ抽出部２３は、Ｓ２で生成された転移先側の証明と、Ｓ４で生成された転移元の証明（ネコの証明）とが対となる証明と判定し（Ｓ５）、Ｓ３で生成した証明集合と対となる転移元の同型な証明を生成する（Ｓ６）。すなわち、転移データ抽出部２３は、転移元データのうち、転移元側のネコの証明と同型な証明集合を生成する。
【００４３】
その後、転移データ抽出部２３は、転移元側での同型な証明集合から画像データを抽出し、転移データとして転移先の学習データに転移させ、学習データＤＢ１７に格納する。この結果、転移データ抽出部２３は、転移先で不足する学習データ（ネコの教師データ）を補うことができる。例えば、画像（ａ３）と画像（ａ５）を転移データと特定することができる。
【００４４】
なお、Ｓ２で転移先の学習データから抽出された画像と、Ｓ４で転移元の学習データから抽出された画像が同じデータであることが必要である。つまり、転移元の学習データと転移先の学習データにおいて、一部の学習データが重複している。例えば、Ｓ２で転移先の学習データから抽出された画像が画像（ａ３）であり、Ｓ４で転移先の学習データから抽出された画像が画像（ａ１）である場合は、Ｓ５で対となる証明は成立しない。このときは、転移先の学習データと転移元の学習データから、新たに学習データを抽出することになる。
【００４５】
図２に戻り、学習部２４は、学習データＤＢ１７に記憶される、転移データを含む学習データを用いて機械学習を実行する処理部である。なお、学習装置１０が実行する機械学習には、一般的な機械学習に加えて、ＲＮＮ（Recurrent  Neural  Network）やＣＮＮ（Convolutional  Neural  Network）など様々なニューラルネットワークを用いることができる。
【００４６】
［具体例］
次に、図７から図１２を用いて、転移データ抽出の具体例を説明する。図７は、転移先と転移元の知識の前提を説明する図である。図７に示すように、学習装置１０が保持する転移元側の知識には、データと規則が含まれる。データには、二足の動物等の画像データと、四足の動物等の画像データとが含まれる。知識には、一例として、四足の画像データがネコであることの規則（制約）を示す「画像（ｘ）ａｎｄ四足（ｘ）→ｉｓ（ｘ，“ネコ”）」、二足の画像データがニワトリであることの規則を示す「画像（ｘ）ａｎｄ二足（ｘ）→ｉｓ（ｘ，“ニワトリ”）」、四足の画像データがイヌであることの規則を示す「画像（ｘ）ａｎｄ四足（ｘ）→ｉｓ（ｘ，“イヌ”）」、二足の画像データが人であることの規則を示す「画像（ｘ）ａｎｄ二足（ｘ）→ｉｓ（ｘ，“ヒト”）」などが含まれる。
【００４７】
同様に、学習装置１０が保持する転移先側の知識にも、データと規則が含まれる。データには、丸顔の動物等の画像データおよび面長の動物等の画像データが含まれ、その中には教師データであるネコの画像データおよび教師データであるイヌの画像データが含まれる。知識には、一例として、丸顔の画像データがネコであることの規則を示す「画像（ｘ）ａｎｄ丸顔（ｘ）→ｉｓ（ｘ，“ネコ”）」、面長の画像データがイヌであることの規則を示す「画像（ｘ）ａｎｄ面長（ｘ）→ｉｓ（ｘ，“イヌ”）」、くちばしを有する画像データがトリであることの規則を示す「画像（ｘ）ａｎｄくちばし（ｘ）→ｉｓ（ｘ，“トリ”）」、細長の画像データがウマであることの規則を示す「画像（ｘ）ａｎｄ細長（ｘ）→ｉｓ（ｘ，“ウマ”）」などが含まれる。
【００４８】
このような状態において、学習装置１０の転移データ抽出部２３は、教師データと同じ関係（ネコ画像関係）を結論とする転移先での証明を持つ画像を検出し、転移先証明を生成する。図８は、転移先証明の生成を説明する図である。転移データ抽出部２３は、画像（ａ３）と画像（ａ４）に関して、転移先側の知識を用いて、教師データ「ｉｓ（ａ１，“ネコ”）」と同じ関係である「ｉｓ（ａ３，“ネコ”）」と「ｉｓ（ａ４，“ネコ”）」を結論とする証明を作ることができる。
【００４９】
例えば、図８に示すように、転移データ抽出部２３は、丸顔の画像データがネコであることを示す知識である規則「画像（ｘ）ａｎｄ丸顔（ｘ）→ｉｓ（ｘ，“ネコ”）」と、画像（ａ３）が丸顔の画像データである知識とから、丸顔の画像（ａ３）がネコであることを示す規則「画像（ａ３）ａｎｄ丸顔（ａ３）→ｉｓ（ａ３，“ネコ”）」を生成する。この結果、転移データ抽出部２３は、規則「ｉｓ（ａ３，“ネコ”）」を生成する。すなわち、転移データ抽出部２３は、教師データ「ｉｓ（ａ１，“ネコ”）」の証明と同型な「ｉｓ（ａ３，“ネコ”）」の証明を生成する。
【００５０】
なお、証明ｐ１、ｐ２が同型とは、証明ｐ１のある個体項を別の個体項に全て置き換えた証明が証明ｐ２になることをいう。言い換えると、証明ｐ１と証明ｐ２が同型とは、一方の証明木に現れる述語が他方に現れることをいう。
【００５１】
同様に、学習装置１０の転移データ抽出部２３は、転移先での証明と同型な転移元の証明を構成する。図９は、転移元証明の生成を説明する図である。転移データ抽出部２３は、画像（ａ３）に関して、転移元側の知識を用いて、転移先で教師データと同じ「ｉｓ（ａ３，“ネコ”）」を結論とする証明を作ることができる。
【００５２】
例えば、図９に示すように、転移データ抽出部２３は、四足の画像データがネコであることを示す規則「画像（ｘ）ａｎｄ四足（ｘ）→ｉｓ（ｘ，“ネコ”）」と、画像（ａ３）が四足の画像データである知識とから、四足の画像（ａ３）がネコであることを示す規則「画像（ａ３）ａｎｄ四足（ａ３）→ｉｓ（ａ３，“ネコ”）」を生成する。この結果、転移データ抽出部２３は、関係「ｉｓ（ａ３，“ネコ”）」を生成する。すなわち、転移データ抽出部２３は、転移先の関係「ｉｓ（ａ３，“ネコ”）」と同じ関係の（同型な）転移元での「ｉｓ（ａ３，“ネコ”）」の証明を生成する。
【００５３】
続いて、学習装置１０の転移データ抽出部２３は、転移先と転移元での対となる証明の検出（発見）を行う。図１０は、転移先と転移元での対となる証明の検出を説明する図である。図１０に示すように、転移データ抽出部２３は、転移先（ＴＤ）側に対しては図８で説明したように、関係（ａ）「ｉｓ（ａ３，“ネコ”）」と証明構成（ｂ）とによって、教師データ「ｉｓ（ａ１，“ネコ”）」の証明と同型な「ｉｓ（ａ３，“ネコ”）」の証明を生成する。同様に、転移データ抽出部２３は、転移元（ＳＤ）側に対しては図９で説明したように、関係（ｃ）「ｉｓ（ａ３，“ネコ”）」と証明構成（ｄ）とによって、転移先の関係「ｉｓ（ａ３，“ネコ”）」と同じ関係「ｉｓ（ａ３，“ネコ”）」の証明を生成する。
【００５４】
ここで、転移データ抽出部２３は、転移先側の関係（ａ）と転移元側の関係（ｃ）とが領域は異なるが同じ関係という意味で対となる関係であると特定する。同様に、転移データ抽出部２３は、転移先側の証明構成（ｂ）と転移元側の証明構成（ｄ）とが領域は異なるが同じ結論の証明という意味で対となる証明であると特定する。このようにして、転移データ抽出部２３は、ドメインの異なる転移先と転移元との間で、対となる証明や関係を特定する。
【００５５】
その後、学習装置１０の転移データ抽出部２３は、転移元で同型な証明の検出を行う。具体的には、転移データ抽出部２３は、転移元において、図１０で転移先の対となる証明と同じ証明を構成できる関係を特定する。
【００５６】
図１１は、転移元で同型な証明の検出を説明する図である。転移データ抽出部２３は、四足の画像データがネコであることを示す規則「画像（ｘ）ａｎｄ四足（ｘ）→ｉｓ（ｘ，“ネコ”）」と、画像（ａ５）が四足の画像データである知識とから、四足の画像（ａ５）がネコであることを示す規則「画像（ａ５）ａｎｄ四足（ａ５）→ｉｓ（ａ５，“ネコ”）」を生成する。この結果、図１１に示すように、転移データ抽出部２３は、関係（ａ）「ｉｓ（ａ３，“ネコ”）」と同型な関係（ｂ）「ｉｓ（ａ５，“ネコ”）」を生成することができる。
【００５７】
その後、学習装置１０の転移データ抽出部２３は、転移元で生成した関係および証明に基づいて、転移元のデータ群から転移データを抽出する。具体的には、転移データ抽出部２３は、図１１に示す関係（ａ）または関係（ｂ）に該当するデータを、転移データとして転移先に転移させる。
【００５８】
図１２は、転移データの抽出を説明する図である。図１２に示すように、転移データ抽出部２３は、転移元のデータ群のうち、関係（ａ）「ｉｓ（ａ３，“ネコ”）」に該当するデータ＜ａ３,“ネコ”＞と、関係（ｂ）「ｉｓ（ａ５，“ネコ”）」に該当するデータ＜ａ５,“ネコ”＞とを転移データとして抽出する。言い換えると、転移データ抽出部２３は、転移元のデータ群のうち、関係（ａ）により特定される制約を満たすデータ＜ａ３,“ネコ”＞と、関係（ｂ）により特定される制約を満たす「ｉｓ（ａ５，“ネコ”）」に該当するデータ＜ａ５,“ネコ”＞とを転移データとして抽出する。
【００５９】
すなわち、転移データ抽出部２３は、転移先で教師データと同型な証明を持ち、かつ転移元でも証明を持った関係「ｉｓ（ａ３,“ネコ”）に対応するデータ＜ａ３,“ネコ”＞を転移データとして抽出する。また、転移データ抽出部２３は、転移元で関係「ｉｓ（ａ３,“ネコ”）」の証明と同型な証明を持つ関係「ｉｓ（ａ５,“ネコ”）」に対応するデータ＜ａ５,“ネコ”＞を転移データとして抽出する。
【００６０】
この結果、学習部２４は、元々から格納されていたデータ＜ａ１,“ネコ”＞、データ＜ａ２,“ネコ”＞に、データ＜ａ３,“ネコ”＞およびデータ＜ａ５,“ネコ”＞を加えたデータを教師データとして学習することができる。
【００６１】
［処理の流れ］
次に、上述した転移データの抽出から学習まえの処理に関して、一連の流れ、詳細な流れを説明する。
【００６２】
（一連の流れ）
図１３は、転移データの抽出処理から学習処理までの一連の流れを示すフローチャートである。図１３に示すように、学習装置１０の転移データ抽出部２３は、転移先ドメインの知識情報や転移元ドメインの知識情報が入力されて、処理が開示されると（Ｓ１０１：Ｙｅｓ）、転移先知識ＤＢ１５から転移先の知識を取得し（Ｓ１０２）、転移先の証明を生成（構成）する（Ｓ１０３）。また、転移データ抽出部２３は、転移元知識ＤＢ１６から転移元の知識を取得し（Ｓ１０４）、転移元の証明を生成（構成）する（Ｓ１０５）。
【００６３】
続いて、転移データ抽出部２３は、転移先と転移元で対となる証明等を検出し（Ｓ１０６）、転移元内で同型な証明を検出する（Ｓ１０７）。その後、転移データ抽出部２３は、転移先と転移元で対となる証明や転移元内で同型な証明等に基づき、転移元のデータ群から転移データを決定する（Ｓ１０８）。
【００６４】
そして、転移データ抽出部２３は、決定した転移データを転移元データＤＢ１４から読み出し、転移先データＤＢ１３に記憶されるデータとあわせて学習データを生成し、学習データＤＢ１７に格納する（Ｓ１０９）。
【００６５】
その後、学習部２４は、学習データＤＢ１７に記憶される学習データを用いて機械学習を実行し（Ｓ１１０）、学習済みの学習モデルを生成して、記憶部１２等に出力する（Ｓ１１１）。
【００６６】
（転移データ抽出処理の流れ）
図１４は、実施例１にかかる転移データ抽出処理の詳細な流れを示すフローチャートである。図１４に示すように、転移データ抽出部２３は、転移先の知識情報ＴＫを用いて、教師データＤ０の証明の集合ＴＰを構成する（Ｓ３０１）。
【００６７】
続いて、転移データ抽出部２３は、転移先で、転移先ドメインの知識情報ＴＫを用いた、転移先のデータの証明が集合ＴＰと同型な証明となるデータの集合Ｄ１を抽出する（Ｓ３０２）。
【００６８】
そして、転移データ抽出部２３は、転移元の知識情報ＳＫを用いて、データ集合Ｄ０のデータの証明の集合ＳＰを構成する（Ｓ３０３）。続いて、転移データ抽出部２３は、集合Ｄ１かつ転移元のデータから、転移元の知識ＳＫを用いて集合ＳＰの証明と同型な証明を持つデータの集合Ｄ２を抽出する（Ｓ３０４）。その後、転移データ抽出部２３は、データ集合「Ｄ２−Ｄ１」を転移データＤ３に設定する（Ｓ３０５）。
【００６９】
（証明集合の構成処理の流れ）
図１５は、実施例１にかかる証明集合の構成処理の詳細な流れを示すフローチャートである。図１５に示すように、転移データ抽出部２３は、注目するデータ集合をＤ（＝｛＜ｘ，ｙ｝）、ドメイン知識（知識情報）をＫとする（Ｓ４０１）。
【００７０】
続いて、転移データ抽出部２３は、データ集合Ｄの要素となるデータｄ（＝｛＜ｘ，ｙ｝）を取り出す（Ｓ４０２）。そして、転移データ抽出部２３は、入力ｘが定項からなるベクトルｘの部分となる事実Ｒ１（ｘ）で知識Ｋから証明される関係Ｒ１を抽出する（Ｓ４０３）。
【００７１】
さらに、転移データ抽出部２３は、出力ｙが定項からなるベクトルＹの部分と事実Ｒ２（Ｙ）でＲ１（Ｘ）を前提、Ｒ（Ｙ）を結論とする証明ｐを抽出し、集合Ｐに追加する（Ｓ４０４）。
【００７２】
ここで、転移データ抽出部２３は、他の証明ｐが構成できる場合（Ｓ４０５：Ｙｅｓ）、Ｓ４０３以降を繰り返す。一方、転移データ抽出部２３は、他の証明ｐが構成できない場合（Ｓ４０５：Ｎｏ）、他のデータｄが残っているか否かを判定する（Ｓ４０６）。
【００７３】
そして、転移データ抽出部２３は、他のデータｄが残っている場合（Ｓ４０６：Ｙｅｓ）、Ｓ４０２以降を繰り返す。一方、転移データ抽出部２３は、他のデータｄが残っていない場合（Ｓ４０６：Ｎｏ）、集合Ｐを、ドメイン知識ｋにおける、注目するデータ集合Ｄに対する証明集合とする（Ｓ４０７）。
【００７４】
［効果］
上述したように、実施例１にかかる学習装置では、学習装置１０は、クラスタリングや試行的な機械学習を実行することなく、有用な転移データを抽出することができ、抽出時間を短縮することができる。また、実施例１にかかる学習装置では、転移データの転移元ドメインでの証明、教師データの転移先ドメインでの証明により、転移学習に用いる教師データおよび転移データがどのような条件を満たす学習データであるかを明確に示すことができる。これにより、従来暗に与えられた「転移元と転移先ドメインは互いに類似であるが少し異なる」という仮定を、証明対として人間可読な形で与えることができる。このため、ユーザが意図しないデータが混入することを事前にチェックすることができる。
【実施例２】
【００７５】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
【００７６】
［転移元の選択］
例えば、上記実施例１では、１つの転移元から転移データを抽出して転移学習を実行する例を説明したが、これに限定されるものではない。例えば、学習装置１０の転移データ抽出部２３は、複数の転移元の知識から１つの転移元をユーザに選択させることもできる。
【００７７】
図１６は、複数の知識源から転移元を選択する例を説明する図である。学習装置１０は、転移元の対象である知識１から知識５のそれぞれについて、実施例１と同様の手法で、転移先での証明、転移元での証明、抽出対象の転移データを生成する。そして、図１６に示すように、学習装置１０は、各知識源を選択可能に表示するボタンと、選択中の知識源について特定された転移先での証明、転移元での証明、抽出対象の転移データを表示する選択画面を表示する。
【００７８】
そして、ユーザは、図１６に示す画面において、各知識源を選択することで、選択中の知識源についての証明構成や転移データを閲覧し、どの知識源を転移元とするかを選択することができる。例えば、知識源１、２、３、４、５が表示される。ユーザは知識源３を選択すると、選択された知識源３の証明が「選択中の転移元知識源での証明」として表示される。そして、ユーザは、知識源３を転移データとして選択すると「選択中の知識源での転移データ」として表示される。このようにすることで、学習装置１０は、転移先での証明を教師データの説明として閲覧させることができ、またユーザが選択した転移元での証明を転移データの説明として閲覧させることで、どの知識源を転移元とするかの選択支援を行うことができる。
【００７９】
［転移データの選択］
上記実施例では、転移先の証明と対となる転移元の証明を満たす学習データと、当該転移元の証明と同型の転移元の証明を満たす学習データとを転移データとして抽出する例を説明したが、これに限定されるものではない。例えば、転移先の学習データ（教師データ）の数が第１の閾値以上かつ第２の閾値未満の場合は、転移先の証明と対となる転移元の証明を満たす学習データのみを転移データとして抽出することもできる。また、転移先の学習データ（教師データ）の数が第１の閾値未満の場合は、上記各転移元の証明を満たす学習データを転移データとして抽出することもできる。
【００８０】
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
【００８１】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８２】
図１７は、ハードウェア構成例を説明する図である。図１７に示すように、学習装置１０は、通信装置１０ａ、ＨＤＤ（Hard  Disk  Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１７に示した各部は、バス等で相互に接続される。
【００８３】
通信装置１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。
【００８４】
プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、学習装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、転移処理部２１と学習部２４等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、転移処理部２１と学習部２４等と同様の処理を実行するプロセスを実行する。
【００８５】
このように学習装置１０は、プログラムを読み出して実行することで学習方法を実行する情報処理装置として動作する。また、学習装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、学習装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
【００８６】
このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ（Magneto−Optical  disk）、ＤＶＤ（Digital  Versatile  Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
【符号の説明】
【００８７】
１０  学習装置
１１  通信部
１２  記憶部
１３  転移先データＤＢ
１４  転移元データＤＢ
１５  転移先知識ＤＢ
１６  転移元知識ＤＢ
１７  学習データＤＢ
２０  制御部
２１  転移処理部
２２  知識抽出部
２３  転移データ抽出部
２４  学習部
【図１】
2020115288.tif 000003
【図２】
2020115288.tif 000004
【図３】
2020115288.tif 000005
【図４】
2020115288.tif 000006
【図５】
2020115288.tif 000007
【図６】
2020115288.tif 000008
【図７】
2020115288.tif 000009
【図８】
2020115288.tif 000010
【図９】
2020115288.tif 000011
【図１０】
2020115288.tif 000012
【図１１】
2020115288.tif 000013
【図１２】
2020115288.tif 000014
【図１３】
2020115288.tif 000015
【図１４】
2020115288.tif 000016
【図１５】
2020115288.tif 000017
【図１６】
2020115288.tif 000018
【図１７】
2020115288.tif 000019