(57)【特許請求の範囲】
【請求項１】
各々に１以上の評価項目ごとのラベルが付された複数のラベル付き転移先データを、前記評価項目と同数以上の出力ユニットを出力層に有しかつ複数のラベル付き転移元データで学習済みのニューラルネットワーク装置に入力することにより、前記出力ユニットから出力された評価値を取得する転移先データ評価部と、
前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる出力層調整部と、
を備える転移学習装置。
【請求項２】
前記出力層調整部は、
前記１以上の評価項目の各々について、前記複数のラベル付き転移先データにわたって当該評価項目のラベルとの差分が最も小さい評価値が取得された前記出力ユニットの頻度分布を算出し、
前記１以上の評価項目の各々に異なる１つの前記出力ユニットを対応付ける組み合わせの中から、対応付けられる前記出力ユニットの前記頻度の総和がより大きい組み合わせを優先的に選択し、
選択された前記組み合わせによって前記１以上の評価項目の各々に対応付けられる出力ユニットを、当該評価項目の出力ユニットとして割り当てる、
請求項１に記載の転移学習装置。
【請求項３】
前記ニューラルネットワーク装置における荷重値を、前記複数のラベル付き転移元データで学習済みの荷重値を初期値として、前記複数の転移先データを用いた教師付き学習によって更新する荷重調整部を、さらに備える、
請求項１又は２に記載の転移学習装置。
【請求項４】
前記荷重調整部は、前記ニューラルネットワーク装置が有する全てのユニットの荷重値を更新の対象とする、
請求項３に記載の転移学習装置。
【請求項５】
前記ラベル付き転移元データには、前記出力ユニットの各々に対応するラベルが付されており、
前記荷重調整部は、さらに、前記ニューラルネットワーク装置における荷重値を、前記複数のラベル付き転移元データに付されたラベルのうち、前記出力層調整部によって割り当てられた出力ユニットに対応するラベルのみを用いた教師付き学習によって更新する、
請求項３から４の何れか１項に記載の転移学習装置。
【請求項６】
前記荷重調整部は、前記教師付き学習を行う前に、前記ニューラルネットワーク装置が有する１以上の隠れ層の各々で教師なし学習を行う、
請求項３から５の何れか１項に記載の転移学習装置。
【請求項７】
前記ニューラルネットワーク装置は、前記評価項目の数よりも多くの出力ユニットを前記出力層に有しており、
前記転移学習装置は、
１以上のラベルなし転移先データを前記ニューラルネットワーク装置に入力することにより、前記出力層調整部によって割り当てられなかった出力ユニットから出力された評価値を取得し、当該評価値が基準範囲から逸脱することにより学習不足を検出する学習不足検出部を、さらに備える、
請求項３から６の何れか１項に記載の転移学習装置。
【請求項８】
前記転移学習装置は、
前記ラベルなし転移先データについて前記学習不足が検出された場合、前記ラベルなし転移先データに対応するラベルをユーザーから受け付ける正解取得部を、さらに備え、
前記荷重調整部は、前記ユーザーから受け付けた前記ラベルと前記ラベルなし転移先データとを用いた教師付き学習によって前記ニューラルネットワーク装置の荷重値を更新する、
請求項７に記載の転移学習装置。
【請求項９】
前記正解取得部は、前記出力層調整部によって割り当てられなかった同じ１つの出力ユニットから出力された評価値が前記基準範囲から逸脱する複数のラベルなし転移先データに共通するラベルを前記ユーザーから受け付け、
前記荷重調整部は、前記ユーザーから受け付けた前記ラベルと前記複数のラベルなし転移先データとを用いた教師付き学習によって前記ニューラルネットワーク装置の荷重値を更新する、
請求項８に記載の転移学習装置。
【請求項１０】
前記複数のラベル付き転移先データの各々には、さらに連想データが付されており、
前記正解取得部は、前記ラベルなし転移先データに関する連想データを前記ユーザーから受け付け、
前記荷重調整部は、前記ユーザーから受け付けた前記連想データが付されたラベル付き転移先データのラベルと前記ラベルなし転移先データとを用いて前記教師付き学習を行う、
請求項８又は９に記載の転移学習装置。
【請求項１１】
前記ニューラルネットワーク装置と、
当該ニューラルネットワーク装置において転移学習を行うための、請求項１から１０の何れか１項に記載の転移学習装置と、
を備える転移学習システム。
【請求項１２】
各々に１以上の評価項目ごとのラベルが付された複数のラベル付き転移先データを、前記評価項目と同数以上の出力ユニットを出力層に有しかつ前記ラベル付き転移先データとは評価項目が異なる複数のラベル付き転移元データで学習済みのニューラルネットワーク装置に入力することにより、前記出力ユニットから出力された評価値を取得し、
前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる、
転移学習方法。
【請求項１３】
請求項１２に記載の転移学習方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、転移学習装置、転移学習システム、転移学習方法およびプログラムに関し、特には、ニューラルネットワーク装置での転移学習に関する。
【背景技術】
【０００２】
近年、ニューラルネットワークにおける転移学習に関する研究が行われている。ニューラルネットワークにおける転移学習とは、転移元のデータセットでの学習結果を、転移先のデータセットの分類や回帰などの特徴抽出に利用するための適応である。
【０００３】
例えば、非特許文献１では、転移元のデータセットを用いて深層学習させた多層ニューラルネットワークを、転移先のデータセットに適応するようにさらに学習させる、転移学習の方法が提案されている。
【０００４】
非特許文献１に開示される転移学習では、前記深層学習後の前記多層ニューラルネットワークの入力層からある隠れ層までの下位層を、汎用の特徴抽出器としてそのまま利用する。また、前記多層ニューラルネットワークの前記隠れ層の出力を受ける隠れ層から出力層までの上位層を、新たに構成した適応層（つまり、新たな隠れ層及び出力層）で置き換え、転移先のデータセットを用いて当該適応層の学習を行う。
【０００５】
非特許文献１では、画像プロセッサで動作するソフトウェアによってエミュレートされる多層ニューラルネットワークを、約１２０万枚の転移元画像を用いて深層学習させた後、異種の転移先画像を用いて上述の転移学習を行う実験について報告されている。当該報告では、前記転移先画像が前記転移元画像とは異種の画像であるにもかかわらず、前記転移学習によって、転移先画像に表される物体及び動作の認識精度が向上することが示されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｍａｘｉｍｅ  Ｏｑｕａｂ，  Ｌｅｏｎ  Ｂｏｔｔｏｕ，  Ｉｖａｎ  Ｌａｐｔｅｖ，  Ｊｏｓｅｆ  Ｓｉｖｉｃ  “Ｌｅａｒｎｉｎｇ  ａｎｄ  Ｔｒａｎｓｆｅｒｒｉｎｇ  Ｍｉｄ−Ｌｅｖｅｌ  Ｉｍａｇｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｕｓｉｎｇ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，”  ＣＶＰＲ，  Ｊｕｎｅ  ２０１４  ＜ｈａｌ−００９１１１７９ｖ１＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、本発明者らは、非特許文献１に開示される転移学習に関し、学習効果を損ない得るいくつかの問題に気づいた。
【０００８】
そこで、本開示では、ニューラルネットワーク装置での転移学習に適した新規な転移学習装置、転移学習システム、転移学習方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
開示される一態様に係るデータ学習装置は、各々に１以上の評価項目ごとのラベルが付された複数のラベル付き転移先データを、前記評価項目と同数以上の出力ユニットを出力層に有しかつ複数のラベル付き転移元データで学習済みのニューラルネットワーク装置に入力することにより、前記出力ユニットから出力された評価値を取得する転移先データ評価部と、前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる出力層調整部と、を備える。
【００１０】
これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
開示される一態様に係る転移学習装置によれば、前記転移元データでの学習によって設定された前記ニューラルネットワーク装置の構成や荷重値をそのまま使用しつつ、前記転移先データの評価項目の各々の評価値を出力するための出力ユニットの割り当てによって、転移先データに適応するための転移学習が行われる。
【００１２】
そのため、転移学習の際に、転移先データを利用して前記ニューラルネットワーク装置の構成や荷重値を変更する手間や、前記構成や前記荷重値の変更によって生じ得る過学習や認識精度の低下といった悪影響がない転移学習装置が得られる。
【図面の簡単な説明】
【００１３】
【図１】ニューラルネットワーク装置が行う演算の計算モデルを説明する概念図
【図２】分類問題を解くためのニューラルネットワーク装置の学習の一例を説明する図
【図３】回帰問題を解くためのニューラルネットワーク装置の学習の一例を説明する図
【図４】実施の形態１に係る転移学習装置の機能的な構成の一例を示すブロック図
【図５】実施の形態１に係る転移学習の一例を示すフローチャート
【図６】分類問題でのラベル付き転移先データの一例を示す図
【図７Ａ】「病変」カテゴリに関する近似評価値出現頻度の分布の一例を示す図
【図７Ｂ】「非病変」カテゴリに関する近似評価値出現頻度の分布の一例を示す図
【図８】「病変」及び「非病変」カテゴリの出力ユニットの割り当ての一例を示す図
【図９】回帰問題でのラベル付き転移先データの一例を示す図
【図１０Ａ】「筋力レベル」属性に関する近似評価値出現頻度の分布の一例を示す図
【図１０Ｂ】「バランス力」属性に関する近似評価値出現頻度の分布の一例を示す図
【図１０Ｃ】「持久力」属性に関する近似評価値出現頻度の分布の一例を示す図
【図１１】「筋力レベル」、「バランス力」及び「持久力」属性の出力ユニットの割り当ての一例を示す図
【図１２】実施の形態２に係る転移学習装置の機能的な構成の一例を示すブロック図
【図１３】実施の形態２に係る転移学習の一例を示すフローチャート
【図１４】実施の形態３に係る転移学習装置の機能的な構成の一例を示すブロック図
【図１５】実施の形態３に係る転移学習の一例を示すフローチャート
【図１６】分類問題での転移元データの関連ラベルの一例を示す図
【図１７】回帰問題での転移元データの関連ラベルの一例を示す図
【図１８】実施の形態４に係る転移学習装置の機能的な構成の一例を示すブロック図
【図１９】実施の形態４に係る転移学習の一例を示すフローチャート
【図２０】ユーザーに提示される選択画面の一例を示す図
【図２１】Ｗｏｒｋｆｌｏｗ  ｄａｔａの一例を示す図
【図２２】ユーザーに提示される選択画面の一例を示す図
【図２３】ユーザーに提示される選択画面の一例を示す図
【図２４】ユーザーに提示される選択画面の一例を示す図
【図２５】転移学習システムを実現するためのハードウェア構成の一例を示すブロック図
【図２６】データサーバを利用したデータ転移学習システムの一例を示す模式図
【発明を実施するための形態】
【００１４】
（本発明の基礎となった知見）
本発明者らは、背景技術の欄において記載した、非特許文献１に開示される転移学習に関し、学習効果を損ない得るいくつかの問題に気づいた。
【００１５】
背景技術の欄で述べたように、前記転移学習では、深層学習後の多層ニューラルネットワークの下位層がそのまま利用され、上位層が転移先のデータセットに適応するように新たに構成され学習される。しかしながら、利用できる下位層の好適な範囲を定める明確な基準がなく、上位層を新たに構成する手間もかかる。また、転移先のデータセットが比較的小規模なデータセットである場合、新たな上位層を、当該小規模なデータセットを用いて初期状態から学習させることで、過学習に陥る恐れがある。加えて、下位層と上位層とを異なるデータセットを用いて学習させるため、データセットの組み合わせによっては、認識精度が低下する悪影響が生じる懸念もある。
【００１６】
本発明者らは、このような問題を解決すべく鋭意検討の結果、以下に開示される転移学習装置、転移学習システム、及び転移学習方法に到達した。
【００１７】
開示される一態様に係る転移学習装置は、各々に１以上の評価項目ごとのラベルが付された複数のラベル付き転移先データを、前記評価項目と同数以上の出力ユニットを出力層に有しかつ複数のラベル付き転移元データで学習済みのニューラルネットワーク装置に入力することにより、前記出力ユニットから出力された評価値を取得する転移先データ評価部と、前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる出力層調整部と、を備える。
【００１８】
このような構成によれば、前記転移元データでの学習によって設定された前記ニューラルネットワーク装置の構成や荷重値をそのまま使用しつつ、前記転移先データの評価項目の各々の評価値を出力するための出力ユニットの割り当てによって、転移先データに適応するための転移学習が行われる。
【００１９】
そのため、転移学習の際に、転移先データを利用して前記ニューラルネットワーク装置の構成や荷重値を変更する手間や、前記構成や前記荷重値の変更によって生じ得る過学習や認識精度の低下といった悪影響がない転移学習装置が得られる。
【００２０】
また、前記出力層調整部は、前記１以上の評価項目の各々について、前記複数のラベル付き転移先データにわたって当該評価項目のラベルとの差分が最も小さい評価値が取得された前記出力ユニットの頻度分布を算出し、前記１以上の評価項目の各々に異なる１つの前記出力ユニットを対応付ける組み合わせの中から、対応付けられる前記出力ユニットでの前記頻度の総和がより大きい組み合わせを優先的に選択し、選択された前記組み合わせによって前記１以上の評価項目の各々に対応付けられる出力ユニットを、当該評価項目の出力ユニットとして割り当ててもよい。
【００２１】
このような構成によれば、前記転移先データの評価項目の各々の評価値を出力するための出力ユニットを適切に割り当てることができる。
【００２２】
また、前記ニューラルネットワーク装置における荷重値を、前記複数のラベル付き転移元データで学習済みの荷重値を初期値として、前記複数のラベル付き転移先データを用いた教師付き学習によって更新する荷重調整部を、さらに備えてもよい。
【００２３】
このような構成によれば、前記転移先データでの学習により、前記ニューラルネットワーク装置における荷重値を、学習済みの荷重値を初期値として更新する。そのため、学習済みの荷重値を用いずかつ少量の転移先データで学習する場合に起こり得る過学習を抑制できる。
【００２４】
また、前記荷重調整部は、前記ニューラルネットワーク装置が有する全てのユニットの荷重値を更新の対象としてもよい。
【００２５】
このような構成によれば、例えば、多層ニューラルネットワーク装置において上位層に位置するユニットの荷重値のみを更新する場合など、前記ニューラルネットワーク装置における荷重値を一部のユニットについてのみ更新する場合に起こり得る認識精度の低下を抑制することができる。
【００２６】
また、前記ラベル付き転移元データには、前記出力ユニットの各々に対応するラベルが付されており、前記荷重調整部は、さらに、前記ニューラルネットワーク装置における荷重値を、前記複数のラベル付き転移元データに付されたラベルのうち、前記出力層調整部によって割り当てられた出力ユニットに対応するラベルのみを用いた教師付き学習によって更新してもよい。
【００２７】
このような構成によれば、前記複数のラベル付き転移元データで学習済みの荷重値を、転移先データの評価項目との関連性が高い転移元データのラベルのみを用いた再学習によって更新することができる。これにより、転移先データの評価項目との関連性が低い転移元データのラベルがノイズとなることで生じる認識精度の低下を抑制することができる。
【００２８】
また、前記荷重調整部は、前記教師付き学習を行う前に、前記ニューラルネットワーク装置が有する１以上の隠れ層の各々で教師なし学習を行ってもよい。
【００２９】
このような構成によれば、事前に層ごとの教師なし学習を行うことによって、認識精度の向上が期待できる。
【００３０】
また、前記ニューラルネットワーク装置は、前記評価項目の数よりも多くの出力ユニットを前記出力層に有しており、前記転移学習装置は、１以上のラベルなし転移先データを前記ニューラルネットワーク装置に入力することにより、前記出力層調整部によって割り当てられなかった出力ユニットから出力された評価値を取得し、当該評価値が基準範囲から逸脱することにより学習不足を検出する学習不足検出部を、さらに備えてもよい。
【００３１】
前記基準範囲には、前記出力層調整部によって割り当てられなかった前記出力ユニットの出力値と矛盾する値の範囲が用いられ得る。例えば、前記学習不足を検出する前に、前記出力層調整部によって割り当てられなかった前記出力ユニットの出力値が０などの特定の値になるように、前記ニューラルネットワーク装置を学習しておいてもよい。その場合、前記評価値が当該特定の値を含む基準範囲から逸脱することにより、学習不足が検出される。
【００３２】
このような構成によれば、前記ニューラルネットワーク装置において、前記ラベルなし転移先データに適応するための転移学習が不足していることが検出できるので、追加的な学習など、適応のための対策がさらに必要であることが分かる。
【００３３】
また、前記転移学習装置は、前記ラベルなし転移先データについて前記学習不足が検出された場合、前記ラベルなし転移先データに対応するラベルをユーザーから受け付ける正解取得部を、さらに備え、前記荷重調整部は、前記ユーザーから受け付けた前記ラベルと前記ラベルなし転移先データとを用いた教師付き学習によって前記ニューラルネットワーク装置の荷重値を更新してもよい。
【００３４】
このような構成によれば、転移学習の不足が検出された前記ラベルなし転移先データのラベルを前記ユーザーから受け付けることによって、当該ラベルと前記ラベルなし転移先データとを用いて追加的な学習を行うことができる。
【００３５】
また、前記正解取得部は、前記出力層調整部によって割り当てられなかった同じ１つの出力ユニットから出力された評価値が前記基準範囲から逸脱する複数のラベルなし転移先データに共通するラベルを前記ユーザーから受け付け、前記荷重調整部は、前記ユーザーから受け付けた前記ラベルと前記複数のラベルなし転移先データとを用いた教師付き学習によって前記ニューラルネットワーク装置の荷重値を更新してもよい。
【００３６】
このような構成によれば、前記ユーザーから受け付けたラベルと前記複数のラベルなし転移先データとを用いて追加的な学習を行うことができる。
【００３７】
また、前記複数のラベル付き転移先データの各々には、さらに連想データが付されており、前記正解取得部は、前記ラベルなし転移先データに関する連想データを前記ユーザーから受け付け、前記荷重調整部は、前記ユーザーから受け付けた前記連想データが付されたラベル付き転移先データのラベルと前記ラベルなし転移先データとを用いて前記教師付き学習を行ってもよい。
【００３８】
このような構成によれば、前記ユーザーは、前記ラベルなし転移先データのラベルを直接的に指定することが困難な場合に、前記連想データに基づいて転移先データのラベルを指定することによって、当該ラベルと前記ラベルなし転移先データとを用いて追加的な学習を行うことができる。
【００３９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００４０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００４１】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４２】
（ニューラルネットワーク装置）
実施の形態を説明するための準備として、ニューラルネットワーク装置に関する一般的な事項について説明する。
【００４３】
図１は、ニューラルネットワーク装置が行う演算の計算モデルを説明する概念図である。ニューラルネットワーク装置は、周知のように、生物のニューラルネットワークを模した計算モデルに従って演算を行う演算装置である。
【００４４】
図１に示されるように、ニューラルネットワーク装置１００は、ニューロンに相当する複数のユニット１０５（白丸で示されている）を、入力層１０１、隠れ層１０２、及び出力層１０３に配置して構成される。隠れ層１０２は、一例として、２つの隠れ層１０２ａ、１０２ｂで構成されているが、単一の隠れ層若しくは３以上の隠れ層で構成されてもよい。複数の隠れ層を有するニューラルネットワーク装置は、特に、多層ニューラルネットワーク装置と呼ばれることがある。
【００４５】
入力層１０１に近い層を下位層とし、出力層１０３に近い層を上位層とするとき、ユニット１０５は、下位層に配置されたユニットから受信した計算結果を荷重値に応じて結合（例えば、荷重和演算）し、当該結合の結果を上位層に配置されたユニットに送信する計算要素である。
【００４６】
ニューラルネットワーク装置１００の機能は、ニューラルネットワーク装置１００が有する層の数や各層に配置されるユニット１０５の数を表す構成情報と、各ユニット１０５での荷重和計算に用いられる荷重値を表す荷重Ｗ＝［ｗ１，ｗ２，・・・］とで定義される。
【００４７】
ニューラルネットワーク装置１００によれば、入力層１０１の各ユニット１０５に入力データＸ＝［ｘ１，ｘ２，・・・］の要素値が入力されることにより、隠れ層１０２及び出力層１０３のユニット１０５において荷重Ｗ＝［ｗ１，ｗ２，・・・］を用いた荷重和演算がなされ、出力層１０３の各ユニット１０５から出力データＹ＝［ｙ１，ｙ２，・・・］の要素値が出力される。
【００４８】
以下では、入力層１０１、隠れ層１０２、及び出力層１０３に配置されるユニット１０５を、それぞれ、入力ユニット、隠れユニット、及び出力ユニットとも言う。
【００４９】
本開示では、ニューラルネットワーク装置１００の具体的な実装について限定しない。ニューラルネットワーク装置１００は、例えば、再構成可能なハードウェアで実現されてもよく、また、ソフトウェアによるエミュレーションによって実現されてもよい。
【００５０】
本開示に係る転移学習は、複数のラベル付き転移元データで学習済のニューラルネットワーク装置１００を用いて行われる。すなわち、転移学習に用いられるニューラルネットワーク装置１００の構成及び荷重値は、前記複数のラベル付き転移元データでの学習によって、あらかじめ設定されている。
【００５１】
本開示では、ニューラルネットワーク装置１００の学習は、周知の方法に従って行われるものとし、具体的な方法を限定しない。当該学習は、例えば、ニューラルネットワーク装置１００に接続された図示しない学習装置によって、以下で述べる周知の方法に従ってなされてもよい。
【００５２】
図２は、分類問題を解くためのニューラルネットワーク装置１００の学習の一例を説明する図である。
【００５３】
図２の例において、ラベル付き転移元データは、ＴＶの画像、時計の画像、椅子の画像、机の画像、及び車の画像であり、各画像には、「ＴＶ」、「時計」、「椅子」、「机」及び「車」カテゴリの５つのラベルが付されている。当該５つのラベルのうち、当該画像の正しいカテゴリのラベルのみが１であり、他のカテゴリのラベルは０である。
【００５４】
分類問題を解くためのニューラルネットワーク装置１００では、各出力ユニットは入力データＸを分類するための異なるカテゴリに対応付けられ、荷重Ｗは、複数の入力データＸの各々が入力されたときに、当該入力データＸの正しいカテゴリに対応する出力ユニットの出力値が１に近づき、他の出力ユニットの出力値が０に近づくように調整される。
【００５５】
図２の例では、ニューラルネットワーク装置１００において、各出力ユニットは、「ＴＶ」、「時計」、「椅子」、「机」及び「車」の５つのカテゴリのうちの異なる１つのカテゴリに対応付けられる。また、荷重Ｗは、ラベル付き転移元データである画像を入力したときに出力される出力データＹと当該画像に付されたラベルとの差分が小さくなるように、教師付き学習によって調整される。
【００５６】
教師付き学習では、例えば、入力データＸ、荷重Ｗ及びラベルを用いて、ラベルと出力データＹとの誤差を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
【００５７】
ニューラルネットワーク装置１００が多層ニューラルネットワーク装置である場合は特に、前記教師付き学習を行う前に、ｌａｙｅｒ−ｗｉｓｅ  ｐｒｅ−ｔｒａｉｎｉｎｇと呼ばれる教師なし学習によって、荷重値を隠れ層ごとに個別に調整してもよい。これにより、その後の教師付き学習によって、より正確な分類ができる荷重Ｗが得られる。
【００５８】
教師なし学習では、例えば、入力データＸ及び荷重Ｗを用いて、ラベルに依存しない所定の評価値を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
【００５９】
図３は、回帰問題を解くためのニューラルネットワーク装置１００の学習の一例を説明する図である。
【００６０】
図３の例において、ラベル付き転移元データは、複数の人のライフログデータである。ライフログデータとは、例えば、加速度計や角速度計で計測されたその人の動作の時系列値であってもよい。各ライフログデータには、その人の「身長」、「体重」、「体脂肪」、「体水分量」及び「年齢」属性の５つのラベルが付されている。当該５つのラベルは、その人の各属性の正しい値を示す。
【００６１】
回帰問題を解くためのニューラルネットワーク装置１００では、各出力ユニットは入力データＸの回帰を行うための異なる属性に対応付けられ、荷重Ｗは、複数の入力データＸの各々が入力されたときに、各出力ユニットの出力値が当該入力データＸの対応する属性の正しい値に近づくように調整される。
【００６２】
図３の例では、ニューラルネットワーク装置１００において、各出力ユニットは、「身長」、「体重」、「体脂肪」、「体水分量」及び「年齢」の５つの属性のうちの異なる１つの属性に対応付けられる。また、荷重Ｗは、ラベル付き転移元データであるライフログデータを入力したときに出力される出力データＹと当該ライフログデータに付されたラベルとの差分が小さくなるように、教師付き学習によって調整される。
【００６３】
回帰問題においても、分類問題と同様、層ごとの教師なし学習を事前に行うことにより、その後の教師付き学習によって、より正確な回帰ができる荷重Ｗが得られる。また、教師付き学習及び教師なし学習のために、勾配降下法を用いることができることも、分類問題と同様である。
【００６４】
このように、分類問題と回帰問題とでは、出力データＹの要素値の定義が異なることを除いて、ニューラルネットワーク装置１００の動作及びその学習方法は基本的に共通している。そのため、本明細書では、分類問題と回帰問題とを特に区別することなく、分類と回帰とを包括して評価と言い、分類におけるカテゴリと回帰における属性とを包括して評価項目と言い、出力ユニットの出力値を評価値と言うことがある。
【００６５】
なお、ニューラルネットワーク装置１００の荷重値の調整には、上述した勾配降下法の他にも、例えば、バックプロパゲーションなどの周知のアルゴリズムが用いられ得る。また、ニューラルネットワーク装置１００の学習では、荷重値を調整せずに、ニューラルネットワーク装置１００の構成の変更（例えば、ユニットの追加、削除）のみを行ってもよく、荷重値の調整と構成の変更の両方を行ってもよい。特に、多層ニューラルネットワーク装置では、各層で個別に学習を行ってもよい。
【００６６】
以下では、ラベル付き転移元データで学習済みのニューラルネットワーク装置１００における転移学習について、複数の態様に基づいて説明する。
【００６７】
（実施の形態１）
実施の形態１に係る転移学習装置は、複数の転移元データで学習済のニューラルネットワーク装置の構成や荷重値をそのまま使用しつつ、転移先データの評価項目の各々の評価値を出力するための出力ユニットの割り当てによって、転移先データに適応するための転移学習を行う転移学習装置である。
【００６８】
図４は、実施の形態１に係る転移学習装置２０１の機能的な構成の一例を示すブロック図である。図４には、転移学習装置２０１と共に、転移学習装置２０１を用いて構成される転移学習システム３０１、及び複数のラベル付き転移先データを、転移学習装置２０１から取得可能に保持しているラベル付き転移先データ保持部４１０が示されている。
【００６９】
図４に示されるように、転移学習システム３０１は、前述したニューラルネットワーク装置１００と転移学習装置２０１とを備える。転移学習システム３０１の各部は、例えば、画像プロセッサやマイクロプロセッサが所定のプログラムを実行することにより発揮されるソフトウェア機能として実現されてもよい。
【００７０】
ニューラルネットワーク装置１００は、構成情報保持部１１０、荷重保持部１２０、データ入力部１３０、データ演算部１４０、及びデータ出力部１５０を有する。
【００７１】
構成情報保持部１１０は、ニューラルネットワーク装置１００が有する層の数及び層ごとに配置されるユニット１０５の数を表す構成情報を保持している。
【００７２】
荷重保持部１２０は、各ユニット１０５での荷重和計算に用いられる荷重値を表す荷重Ｗを保持している。
【００７３】
データ入力部１３０は、評価されるべき入力データＸを受信する。
【００７４】
データ演算部１４０は、前記構成情報によって表されるユニットの配置に従って、荷重Ｗによって表される荷重値を用いた荷重和演算を行うことにより、入力データＸが入力ユニットに与えられたときの各ユニットでの荷重和を算出する。
【００７５】
データ出力部１５０は、データ演算部１４０で出力ユニットでの荷重和として算出された評価値を出力データＹとして送信する。
【００７６】
転移学習の前提として、ニューラルネットワーク装置１００の構成情報及び荷重Ｗは、図４には示されていない複数のラベル付き転移元データでの学習によってあらかじめ設定され、構成情報保持部１１０及び荷重保持部１２０にそれぞれ保持されているとする。また、前記構成情報に従い、ニューラルネットワーク装置１００は、転移先データの評価項目と同数以上の出力ユニットを有しているとする。
【００７７】
転移学習装置２０１は、転移先データ評価部２１０及び出力層調整部２２０を有する。
【００７８】
転移先データ評価部２１０は、複数の転移先データを、ラベル付き転移先データ保持部４１０から取得し、ニューラルネットワーク装置１００に入力することにより、ニューラルネットワーク装置１００の各出力ユニットから出力された評価値を取得する。複数の転移先データの各々には、転移元データの評価項目とは異なる１以上の評価項目ごとのラベルが付されている。
【００７９】
出力層調整部２２０は、転移先データの前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる。割り当ての結果は、評価項目と出力ユニットとの対応を示す情報として、構成情報保持部１１０に記録されてもよい。
【００８０】
次に、上述のように構成された転移学習装置２０１の動作の一例について説明する。
【００８１】
図５は、転移学習装置２０１において実行される転移学習の一例を示すフローチャートである。
【００８２】
転移学習装置２０１において、転移先データ評価部２１０は、複数の転移先データを、転移元データで学習済みのニューラルネットワーク装置１００で評価する（Ｓ１０１）。
【００８３】
図６は、分類問題でのラベル付き転移先データの一例を示す図である。
【００８４】
図６の例において、ラベル付き転移先データは、複数の病変画像及び複数の非病変画像であり、各画像には、「病変」及び「非病変」カテゴリの２つのラベルが付されている。当該２つのラベルのうち、当該画像が分類されるべきカテゴリのラベルのみが１であり、他のラベルは０である。
【００８５】
ニューラルネットワーク装置１００は、転移先データが入力されるたびに、転移元データでの学習によってあらかじめ設定されている構成情報及び荷重Ｗに従って、出力ユニットごとの評価値からなる出力データＹ＝［ｙ１，ｙ２，ｙ３，ｙ４，ｙ５］を出力する。
【００８６】
転移先データ評価部２１０は、複数の転移先データのそれぞれについて出力データＹ＝［ｙ１，ｙ２，ｙ３，ｙ４，ｙ５］を取得する。
【００８７】
出力層調整部２２０は、評価項目ごとに、当該評価項目のラベル値との差分が最も小さい評価値が取得された出力ユニットの頻度である近似評価値出現頻度の分布を算出する（Ｓ１０２）。
【００８８】
図７Ａは、「病変」カテゴリに関する近似評価値出現頻度の分布の一例を示す図である。
【００８９】
図７Ａの例では、複数枚の病変画像を評価したときに、５つの出力ユニットのそれぞれの出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、「病変」ラベルの値である１に最も近かった回数が、評価した病変画像の枚数に対する比率で表されている。例えば、１０００枚の病変画像を評価したとき、出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、それぞれ、８００枚、２０枚、４０枚、４０枚、及び１００枚の病変画像で１に最も近かった場合、図７Ａに示される近似評価値出現頻度の分布が算出される。
【００９０】
図７Ｂは、「非病変」カテゴリに関する近似評価値出現頻度の分布の一例を示す図である。
【００９１】
図７Ｂの例では、複数枚の非病変画像を評価したときに、５つの出力ユニットのそれぞれの出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、「非病変」ラベルの値である１に最も近かった回数が、評価した非病変画像の枚数に対する比率で表されている。例えば、１０００枚の非病変画像を評価したとき、出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、それぞれ、５５０枚、２０枚、３０枚、１００枚、及び３００枚の非病変画像で１に最も近かった場合、図７Ｂに示される近似評価値出現頻度の分布が算出される。
【００９２】
出力層調整部２２０は、評価項目の各々に異なる１つの出力ユニットを対応付ける組み合わせの中から、対応付けられる出力ユニットでの近似評価値出現頻度の総和がより大きい組み合わせを優先的に選択する（Ｓ１０３）。
【００９３】
図７Ａ及び図７Ｂの例では、「病変」及び「非病変」カテゴリの各々に５つの出力ユニットのうちの異なる１つの出力ユニットを対応付けるための５Ｐ２＝２０個の組み合わせが存在する。例えば、「病変」及び「非病変」カテゴリに、それぞれ出力値ｙ１及びｙ５を出力する出力ユニットを対応付けるとき、対応付けられる出力ユニットでの近似評価値出現頻度の総和は０．８＋０．３＝１．１となる。この値は、他のどの組み合わせによる近似評価値出現頻度の総和よりも大きいので、出力層調整部２２０は、「病変」及び「非病変」カテゴリに、それぞれ出力値ｙ１及びｙ５を出力する出力ユニットを対応付ける組み合わせを選択する。
【００９４】
出力層調整部２２０は、必ずしも、全ての組み合わせの中から近似評価値出現頻度の総和が最大になる組み合わせを選択しなくても構わない。例えば、評価項目の数と出力ユニットの数によっては、組み合わせの総数が非常に大きくなり、近似評価値出現頻度の総和が最大になる組み合わせを見つけることが事実上できない場合があり得る。そのような場合、出力層調整部２２０は、限られた組み合わせの中から近似評価値出現頻度の総和がより大きくなる組み合わせを優先的に選択してもよい。
【００９５】
出力層調整部２２０は、選択された組み合わせによって前記１以上の評価項目の各々に対応付けられる出力ユニットを、当該評価項目の出力ユニットとして割り当てる（Ｓ１０４）。割り当ての結果は、評価項目と出力ユニットとの対応を示す情報として、例えば、ニューラルネットワーク装置１００の構成情報保持部１１０に記憶されてもよい。
【００９６】
図８は、「病変」及び「非病変」カテゴリに対する出力ユニットの割り当ての一例を示す図である。選択された組み合わせに従って、出力値ｙ１及びｙ５を出力する出力ユニットが、それぞれ「病変」及び「非病変」カテゴリの出力ユニットとして割り当てられる。
【００９７】
このような割り当てによって、ラベルなし転移先データである新たな画像をニューラルネットワーク装置１００に入力したときに得られる出力値ｙ１及びｙ５が、当該画像の「病変」及び「非病変」カテゴリの評価値としてそれぞれ利用可能になることで、転移先データに適応するための転移学習が行われる。
【００９８】
上記では、分類問題に関する具体例を用いて説明したが、回帰問題においても同様の手順に従って転移学習が行われる。
【００９９】
図９は、回帰問題でのラベル付き転移先データの一例を示す図である。
【０１００】
図９の例において、ラベル付き転移先データは、複数のライフログデータであり、各ライフログデータには、「筋力レベル」、「バランス力」、及び「持久力」属性の３つのラベルが付されている。
【０１０１】
図１０Ａは、「筋力レベル」属性に関する近似評価値出現頻度の分布の一例を示す図である。
【０１０２】
図１０Ｂは、「バランス力」属性に関する近似評価値出現頻度の分布の一例を示す図である。
【０１０３】
図１０Ｃは、「持久力」属性に関する近似評価値出現頻度の分布の一例を示す図である。
【０１０４】
図１０Ａの例では、複数件のライフログデータを評価したときに、５つの出力ユニットのそれぞれの出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、当該ライフログデータに付された「筋力レベル」ラベルの値に最も近かった回数が、評価したライフログデータの件数に対する比率で表されている。
【０１０５】
例えば、１０００件のライフログデータを評価したとき、出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、それぞれ、２５０件、５５０件、１００件、５０件、及び５０件のライフログデータに付された「筋力レベル」ラベルの値に最も近かった場合、図１０Ａに示される近似評価値出現頻度の分布が算出される。
【０１０６】
図１０Ｂ及び図１０Ｃの例では、それぞれ「バランス力」ラベル及び「持久力」ラベルについて、同様にして算出された近似評価値出現頻度の分布が示されている。
【０１０７】
図１０Ａ、図１０Ｂ及び図１０Ｃの例では、「筋力レベル」、「バランス力」及び「持久力」属性の各々に５つの出力ユニットのうちの異なる１つの出力ユニットを対応付けるための５Ｐ３＝６０個の組み合わせが存在する。例えば、「筋力レベル」、「バランス力」及び「持久力」属性に、それぞれ出力値ｙ２、ｙ５及びｙ３を出力する出力ユニットを対応付けるとき、対応付けられる出力ユニットでの近似評価値出現頻度の総和は０．５５＋０．６＋０．４＝１．５５となる。この値は、他のどの組み合わせによる近似評価値出現頻度の総和よりも大きいので、出力層調整部２２０は、「筋力レベル」、「バランス力」及び「持久力」属性に、それぞれ出力値ｙ２、ｙ５及びｙ３を出力する出力ユニットを対応付ける組み合わせを選択する。
【０１０８】
図１１は、「筋力レベル」、「バランス力」及び「持久力」属性に対する出力ユニットの割り当ての一例を示す図である。選択された組み合わせに従って、出力値ｙ２、ｙ５及びｙ３を出力する出力ユニットが、それぞれ「筋力レベル」、「バランス力」及び「持久力」属性の出力ユニットとして割り当てられる。
【０１０９】
このような割り当てによって、ラベルなし転移先データである新たなライフログデータをニューラルネットワーク装置１００に入力したときに得られる出力値ｙ５、ｙ２及びｙ３が、当該ライフログデータの「筋力レベル」、「バランス力」及び「持久力」属性の評価値としてそれぞれ利用可能になることで、転移先データに適応するための転移学習が行われる。
【０１１０】
以上説明したように、実施の形態１に係る転移学習装置によれば、転移元データでの学習によって設定されたニューラルネットワーク装置１００の構成や荷重値をそのまま使用しつつ、転移先データの評価項目の各々の評価値を出力するための出力ユニットの割り当てによって、転移先データに適応するための転移学習が行われる。
【０１１１】
そのため、転移学習の際に、転移先データを利用して前記ニューラルネットワーク装置の構成や荷重値を変更する手間や、前記構成や前記荷重値の変更によって生じ得る過学習や認識精度の低下といった悪影響がない転移学習装置が得られる。
【０１１２】
なお、実施の形態では説明しなかったが、ニューラルネットワーク装置１００に入力される入力データに、正規化、しきい値処理、ノイズ除去、及びデータサイズの統一などを含むデータ整形処理を行ってもよい。正規化は、入力データに限らず、ラベルに対して行ってもよい。データ整形処理は、ニューラルネットワーク装置１００及び転移学習装置２０１の何れが行ってもよい。データ整形処理を行うことによって、転移元データから転移先データへの整合性の高い転移学習が可能になる。
【０１１３】
（実施の形態２）
実施の形態２に係る転移学習装置は、実施の形態１で説明した出力ユニットの割り当てに加えて、前記ニューラルネットワーク装置における荷重値を、複数の転移元データで学習済みの荷重値を初期値として、複数のラベル付き転移先データを用いた教師付き学習によって更新する転移学習装置である。
【０１１４】
図１２は、実施の形態２に係る転移学習装置２０２の機能的な構成の一例を示すブロック図である。図１２には、転移学習装置２０２と共に、転移学習装置２０２を用いて構成される転移学習システム３０２が示されている。
【０１１５】
図１２に示されるように、転移学習装置２０２では、実施の形態１の転移学習装置２０１に荷重調整部２３２が追加される。以下では、実施の形態１と同一の構成要素には同一の符号を付して適宜説明を省略し、主として実施の形態１から追加された事項について説明する。
【０１１６】
荷重調整部２３２は、ニューラルネットワーク装置１００の荷重保持部１２０に保持されている荷重値を、複数の転移元データで学習済みの荷重値を初期値として、転移先データのラベルを用いた教師付き学習によって更新する。
【０１１７】
次に、上述のように構成された転移学習装置２０２の動作の一例について説明する。
【０１１８】
図１３は、転移学習装置２０２において実行される転移学習の一例を示すフローチャートである。
【０１１９】
図１３に示されるように、ステップＳ１０１〜Ｓ１０４で、転移先データの評価項目ごとに出力ユニットが割り当てられる。評価項目ごとに転移先データの評価値を出力するための出力ユニットが割り当てられることで、転移先データのラベルを用いた教師付き学習が可能になる。
【０１２０】
荷重調整部２３２は、複数のラベル付き転移先データを、ラベル付き転移先データ保持部４１０から取得する。そして、ニューラルネットワーク装置１００における荷重値を、複数の転移元データで学習済みの荷重値を初期値として、取得された複数のラベル付き転移先データを用いた教師付き学習によって更新する（Ｓ２０５）。
【０１２１】
前述したように、教師付き学習では、例えば、入力データＸ、荷重Ｗ及びラベルを用いて、ラベルと出力データＹとの誤差を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
【０１２２】
ニューラルネットワーク装置１００が多層ニューラルネットワーク装置である場合は特に、前記教師付き学習を行う前に、ｌａｙｅｒ−ｗｉｓｅ  ｐｒｅ−ｔｒａｉｎｉｎｇと呼ばれる教師なし学習によって、荷重値を層ごとに調整してもよい。これにより、その後の教師付き学習によって、より正確な評価ができる荷重Ｗが得られる。
【０１２３】
教師なし学習では、例えば、入力データＸ及び荷重Ｗを用いて、ラベルに依存しない所定の評価値を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
【０１２４】
また、実施の形態１で説明したように、ニューラルネットワーク装置１００に入力される入力データに、正規化、しきい値処理、ノイズ除去、及びデータサイズの統一などを含むデータ整形処理を行ってもよい。正規化は、入力データに限らず、ラベルに対して行ってもよい。データ整形処理は、ニューラルネットワーク装置１００及び転移学習装置２０２の何れが行ってもよい。
【０１２５】
以上説明したように、実施の形態２に係る転移学習装置２０２によれば、前記転移先データでの学習により、ニューラルネットワーク装置１００における荷重値を、学習済みの荷重値を初期値として更新する。そのため、学習済みの荷重値を用いず、かつ少量の転移先データで学習する場合に起こり得る過学習を抑制できる。
【０１２６】
また、荷重調整部２３０は、前記転移先データでの学習を、ニューラルネットワーク装置１００が有する全てのユニットの荷重値を更新の対象として行ってもよい。
【０１２７】
このような構成によれば、例えば、多層ニューラルネットワーク装置において上位層に位置するユニットの荷重値のみを更新する場合など、ニューラルネットワーク装置１００における荷重値を一部のユニットについてのみ更新する場合に起こり得る認識精度の低下を抑制することができる。
【０１２８】
（実施の形態３）
実施の形態３に係る転移学習装置は、実施の形態１で説明した出力ユニットの割り当てに加えて、前記ニューラルネットワーク装置における荷重値を、複数の転移元データで学習済みの荷重値を初期値として、転移先データの評価項目との関連性が高い転移元データのラベルのみを用いた再学習によって更新する転移学習装置である。
【０１２９】
図１４は、実施の形態３に係る転移学習装置２０３の機能的な構成の一例を示すブロック図である。図１４には、転移学習装置２０３と共に、転移学習装置２０３を用いて構成される転移学習システム３０３、及び複数のラベル付き転移元データを、転移学習装置２０３から取得可能に保持しているラベル付き転移元データ保持部４２０が示されている。
【０１３０】
図１４に示されるように、転移学習装置２０３では、実施の形態１の転移学習装置２０１に荷重調整部２３３が追加される。以下では、実施の形態１と同一の構成要素には同一の符号を付して適宜説明を省略し、主として実施の形態１から追加された事項について説明する。
【０１３１】
転移学習の前提として、転移元データ保持部４２０に保持されている複数の転移元データのそれぞれには、ニューラルネットワーク装置１００の出力ユニットの各々に対応するラベルが付されているとする。前記複数のラベル付き転移元データは、ニューラルネットワーク装置１００の構成情報及び荷重Ｗをあらかじめ設定するための学習に用いられた転移元データであってもよい。また、転移元データ４２０の評価項目とニューラルネットワーク装置１００の出力ユニットとの対応を示す情報が、前記複数のラベル付き転移元データでの学習の際に、例えば、ニューラルネットワーク装置１００の構成情報保持部１１０に記憶されているとする。
【０１３２】
荷重調整部２３３は、ニューラルネットワーク装置１００の荷重保持部１２０に保持されている荷重値を、複数の転移元データで学習済みの荷重値を初期値として、転移元データに付されたラベルのうち、出力層調整部２２０によって割り当てられた出力ユニットに対応するラベルである、関連ラベルのみを用いた教師付き学習をさらに行うことによって更新する。
【０１３３】
次に、上述のように構成された転移学習装置２０３の動作の一例について説明する。
【０１３４】
図１５は、転移学習装置２０３において実行される転移学習の一例を示すフローチャートである。
【０１３５】
図１５に示されるように、ステップＳ１０１〜Ｓ１０４で、転移先データの評価項目ごとに出力ユニットが割り当てられる。
【０１３６】
荷重調整部２３３は、複数のラベル付き転移元データを、ラベル付き転移元データ保持部４２０から取得する。そして、ニューラルネットワーク装置１００における荷重値を、複数の転移元データで学習済みの荷重値を初期値として、取得された複数の転移元データの前記関連ラベルのみを用いた教師付き学習によって更新する（Ｓ３０５）。
【０１３７】
図１６は、分類問題での転移元データの関連ラベルの一例を示す図である。
【０１３８】
図１６の例において、転移元データの関連ラベルは、図８に示される出力ユニットの割り当てに基づいて、出力値ｙ１及びｙ５を出力する出力ユニットにそれぞれ対応する「ＴＶ」及び「車」ラベルである。
【０１３９】
荷重調整部２３３は、「ＴＶ」、「時計」、「椅子」、「机」及び「車」ラベルのうち、「ＴＶ」及び「車」ラベルのみを用いる教師付き学習によって、ニューラルネットワーク装置１００における荷重Ｗを調整する。
【０１４０】
分類問題での前記教師付き学習では、「ＴＶ」及び「車」ラベルのみを用いることから、「時計」、「椅子」又は「机」ラベルが１である「時計」、「椅子」及び「机」カテゴリの転移前データは用いられず、「ＴＶ」及び「車」カテゴリの転移前データのみが用いられる。
【０１４１】
前記教師付き学習では、例えば、入力データＸ、荷重Ｗ、並びに「ＴＶ」及び「車」ラベルを用いて、「ＴＶ」及び「車」ラベルと出力データＹの要素値［ｙ１，ｙ５］との誤差を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
【０１４２】
前記教師付き学習は、ニューラルネットワーク装置１００から「時計」、「椅子」及び「机」カテゴリの出力ユニットが削除された、図１６のニューラルネットワーク装置１００で学習を行うことと、実質的に等しい。すなわち、「時計」、「椅子」及び「机」ラベルによる拘束なしに荷重Ｗが更新されるので、「時計」、「椅子」及び「机」ラベルがノイズとなることで生じる認識精度の低下を抑制する効果が得られる。当該効果は、出力層調整部２２０によって割り当てられなかった出力ユニットの数が多いほど、つまり、ノイズになり得るラベルの数が多いほど、より顕著に発揮される。
【０１４３】
上記では、分類問題に関する具体例を用いて説明したが、回帰問題においても同様の手順に従って関連ラベルのみを用いる教師付き学習が行われる。
【０１４４】
図１７は、回帰問題での転移元データの関連ラベルの一例を示す図である。
【０１４５】
図１７の例において、転移元データの関連ラベルは、図１１に示される出力ユニットの割り当てに基づいて、出力値ｙ２、ｙ３及びｙ５を出力する出力ユニットにそれぞれ対応する「体重」、「体脂肪」及び「年齢」ラベルである。
【０１４６】
荷重調整部２３３は、「身長」、「体重」、「体脂肪」、「体水分量」及び「年齢」ラベルのうち、「体重」、「体脂肪」及び「年齢」ラベルのみを用いる教師付き学習によって、ニューラルネットワーク装置１００における荷重Ｗを調整する。
【０１４７】
回帰問題での前記教師付き学習では、全ての転移前データが用いられる。
【０１４８】
また、前記教師付き学習では、例えば、入力データＸ、荷重Ｗ、並びに「体重」、「体脂肪」及び「年齢」ラベルを用いて、「体重」、「体脂肪」及び「年齢」ラベルと出力データＹの要素値［ｙ２，ｙ３，ｙ５］との誤差を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
【０１４９】
前記教師付き学習は、ニューラルネットワーク装置１００から「身長」及び「体水分量」カテゴリの出力ユニットが削除された、図１７のニューラルネットワーク装置１００で学習を行うことと、実質的に等しい。すなわち、「身長」及び「体水分量」ラベルによる拘束なしに荷重Ｗが更新されるので、「身長」及び「体水分量」ラベルがノイズとなることで生じる認識精度の低下を抑制する効果が得られる。当該効果は、出力層調整部２２０によって割り当てられなかった出力ユニットの数が多いほど、つまり、ノイズになり得るラベルの数が多いほど、より顕著に発揮される。
【０１５０】
なお、分類問題及び回帰問題の何れの場合も、実施の形態１で説明したように、ニューラルネットワーク装置１００に入力される入力データに、正規化、しきい値処理、ノイズ除去及びデータサイズの統一などを含むデータ整形処理を行ってもよい。正規化は、入力データに限らず、ラベルに対して行ってもよい。データ整形処理は、ニューラルネットワーク装置１００及び転移学習装置２０３の何れが行ってもよい。
【０１５１】
また、上述の関連ラベルのみを用いる教師付き学習を行う際に、ニューラルネットワーク装置１００の構成情報を変更することにより、出力層調整部２２０によって割り当てられなかった出力ユニットを削除しても構わない。
【０１５２】
以上説明したように、実施の形態３に係る転移学習装置２０３によれば、複数の転移元データで学習済みの荷重値を、転移先データの評価項目との関連性が高い転移元データのラベルのみを用いた再学習によって更新することができる。これにより、転移元データの評価項目との関連性が低い転移元データのラベルがノイズとなることで生じる認識精度の低下を抑制することができる。
【０１５３】
なお、上述した転移元データの関連ラベルのみを用いた再学習に、実施の形態１で説明した出力ユニットの割り当てと、実施の形態２で説明した転移先データでの学習とを組み合わせてもよい。例えば、転移元データで学習済みのニューラルネットワークで転移先データを評価することによって出力ユニットの割り当てを行った上で、転移元データの関連ラベルのみを用いた再学習を行い、その後、転移先データでの学習を行ってもよい。
【０１５４】
（実施の形態４）
実施の形態４に係る転移学習装置は、実施の形態１で説明した出力ユニットの割り当て、及び実施の形態２で説明した転移先データでの学習に加えて、前記ニューラルネットワーク装置において、少なくとも転移先データに適応するための転移学習が不足していることを検出する転移学習装置である。実施の形態４では、学習不足が検出されたときに行われる追加学習についても説明する。
【０１５５】
前記学習不足の検出及び前記追加学習は、一例として、前記出力ユニットの割り当て及び前記転移先データでの学習の後、カテゴリや属性値を評価するために与えられる新たなラベルなし転移先データに対して行われてもよい。
【０１５６】
図１８は、実施の形態４に係る転移学習装置の機能的な構成の一例を示すブロック図である。図１８には、転移学習装置２０４と共に、転移学習装置２０４を用いて構成される転移学習システム３０４、複数のラベルなし転移先データを転移学習装置２０４から取得可能に保持しているラベルなし転移先データ保持部４３０、及びユーザーにデータを提示しユーザーからデータを受け付けるためのユーザーインターフェース部４４０が示されている。
【０１５７】
図１８に示されるように、転移学習装置２０４では、実施の形態２の転移学習装置２０２と比べて、荷重調整部２３４が変更され、学習不足検出部２４０及び正解取得部２５０が追加される。以下では、実施の形態１及び実施の形態２と同一の構成要素には同一の符号を付して適宜説明を省略し、主として実施の形態１及び実施の形態２から追加された事項について説明する。
【０１５８】
学習不足検出部２４０は、１以上のラベルなし転移先データをニューラルネットワーク装置１００に入力することにより、出力層調整部２２０によって割り当てられなかった出力ユニットである、非関連ユニットから出力された評価値を取得する。そして、当該評価値が基準範囲から逸脱することにより学習不足を検出する。
【０１５９】
前記基準範囲には、前記非関連ユニットの出力値と矛盾する値の範囲が用いられ得る。前記学習不足を検出する前に、例えば、前記転移先データでの学習の際に、前記非関連ユニットの出力値が０などの特定の値になるように、ニューラルネットワーク装置１００を学習しておいてもよい。その場合、前記評価値が当該特定の値を含む基準範囲から逸脱する（例えば、所定のしきい値を上回る）ことにより、学習不足が検出される。
【０１６０】
正解取得部２５０は、学習不足検出部２４０によって、ラベルなし転移先データについて学習不足が検出された場合、ユーザーインターフェース４４０を介して、前記ラベルなし転移先データ、又は後述する前記ラベルなし転移先データの連想データをユーザーに提示し、前記ラベルなし転移先データに対応するラベルをユーザーから受け付ける。正解取得部２５０は、前記ラベルなし転移先データにユーザーから受け付けた前記ラベルを付してラベル付き転移先データとし、ラベル付き転移先データ保持部４１０に記録してもよい。
【０１６１】
荷重調整部２３４は、ユーザーから受け付けたラベルとラベルなし転移先データとを用いた教師付き学習によってニューラルネットワーク装置１００の荷重値を更新する。
【０１６２】
ユーザーインターフェース部４４０は、例えば、ディスプレイ、タッチパネル、キーボード、マウスなどを用いて構成されてもよい。
【０１６３】
次に、上述のように構成された転移学習装置２０３の動作の一例について説明する。
【０１６４】
図１９は、転移学習装置２０４において実行される転移学習の一例を示すフローチャートである。
【０１６５】
図１９に示されるように、ステップＳ１０１〜Ｓ１０４で、転移先データの評価項目ごとに出力ユニットが割り当てられ、ステップＳ２０５で、転移先データでの学習が行われる。
【０１６６】
学習不足検出部２４０は、ラベルなし転移先データ保持部４３０から１以上の転移先データを取得してニューラルネットワーク装置１００に入力することにより、非関連ユニットから出力された評価値を取得する（Ｓ４０６）。そして、当該評価値が基準範囲から逸脱することによりニューラルネットワーク装置１００の学習不足を検出する（Ｓ４０７）。
【０１６７】
正解取得部２５０は、前記評価値の前記基準範囲からの逸脱（つまり学習不足）が検出された場合（Ｓ４０７でＹＥＳ）、ユーザーインターフェース部４４０を介して、前記評価値が逸脱した前記転移先データ又は前記転移先データの連想情報をユーザーに提示することにより、ユーザーから転移先データに対応するラベルを受け付ける（Ｓ４０８）。
【０１６８】
荷重調整部２３４は、ユーザーから受け付けた前記ラベルと、前記ラベルなし転移先データとを用いた教師付き学習によってニューラルネットワーク装置１００の荷重値を更新する（Ｓ４０９）。
【０１６９】
図２０は、ユーザーインターフェース部４４０を介してユーザーに提示される選択画面の一例を示す図である。画像群５０３、５０５には、それぞれラベル付き転移先データ保持部４１０に保持されている病変画像、非病変画像が含まれる。また、画像５０４、５０６は、画像群５０３、５０５の中からそれぞれ１つずつ、ユーザーによって選択された画像の拡大画像である。画像５０２は、非関連ユニットでの評価値が基準範囲から逸脱したラベルなし転移先データ（以下、入力画像５０２と言う）である。
【０１７０】
ユーザーは、入力画像５０２と同じカテゴリに分類されると考えられる画像を画像群５０３、５０５の中から選択し、決定ボタン５０７を押下する。決定ボタン５０７が押下されると、入力画像５０２に、選択された画像に付されているラベルを付したラベル付き転移先データが、ラベル付き転移先データ保持部４１０に保持される。
【０１７１】
また、再学習ボタン５０８が押下されると、ラベル付き転移先データ保持部４１０に保持されたラベル付き転移先データを利用して、ニューラルネットワーク装置１００における荷重の再調整が実施される。
【０１７２】
決定ボタン５０７を押下することによって、新たなラベル付き転移先データがラベル付き転移先データ保持部４１０に保持されるため、再学習ボタン５０８を押下して荷重の再調整を実施することにより、これまで分類に失敗していたラベルなし転移先データについても、より正確な分類ができるようになる。
【０１７３】
次に、ラベルなし転移先データが、前述したライフログデータのような加速度や角速度などの時系列値である場合について説明する。ライフログデータは、上述の画像情報とは異なり、ユーザーに提示しても、ユーザーが「筋力レベル」、「バランス力」、及び「持久力」などのラベル値を直接指定することは困難である。
【０１７４】
そこで、ラベル付き転移先データ保持部４１０に、ラベル以外にもユーザーが転移先データのラベルを推測するために参照する連想データを付したライフログデータを保持しておき、当該連想データをユーザーに提示することで、ユーザーによるラベルの指定を支援する。
【０１７５】
連想データとしては、一例として、ワークフローデータが利用される。ワークフローデータとは、例えば、医療機関のリハビリテーション業務において計測される、バランススケールなどの評価値のことを指す。
【０１７６】
図２１は、ワークフローデータの一例を示す図である。図２１のワークフローデータは、患者の運動機能に関する複数のテスト項目で構成され、これらのテスト項目の結果に応じて患者の転倒リスクなどが評価される。
【０１７７】
ライフログデータのような、ユーザーがラベルを直接指定することが困難な転移先データには、ワークフローデータの各テスト項目の結果値（例えば「はい」又は「いいえ」）のような連想データを付して、ラベル付き転移先データ保持部４１０に保持しておく。
【０１７８】
図２２は、ユーザーインターフェース部４４０を介してユーザーに提示される選択画面の一例を示す図である。図２２の例では、学習不足が検出された１つのラベルなし転移先データに関する情報が表示されている。前記ラベルなし転移先データは、例えばライフログデータであってもよいが、当該ライフログデータ自体は画面には表示されていない。
【０１７９】
テスト項目６０１は、前記ワークフローデータのテスト項目の中からユーザーによって選択された１以上のテスト項目である。ユーザーは、前記ラベルなし転移先データが測定された患者に、例えば、テスト項目６０１の各々を実施してもらうか、又は問診を行うことにより、各テスト項目の結果値６０４を連想データとして入力する。
【０１８０】
例えば「第１項目：はい」、「第２項目：はい」、「第３項目：いいえ」が入力されたとする。
【０１８１】
当該入力に応じて、正解取得部２５０は、ラベル付き転移先データ保持部４１０に保持されているラベル付き転送先データの中から、入力されたテスト項目の結果値６０４と同一の連想データが付されている１以上のラベル付き転移先データを取得する。正解取得部２５０は、入力されたテスト項目の結果値６０４と近似の（つまり、差分が所定のしきい値よりも小さい）連想データが付されている１以上のラベル付き転移先データを取得してもよい。
【０１８２】
正解取得部２５０は、取得された転移先データに付されたラベルを含むラベル群６０５を、ユーザーインターフェース部４４０を介して、ユーザーに提示する。ラベルチャート６０６には、ラベル群６０５の中からユーザーによって選択されたラベルがチャートの形式で表示される。
【０１８３】
項目追加ボタン６０２を押下するとテスト項目６０１が追加され、項目削除ボタン６０３ボタンを押下するとテスト項目６０１が削除される。これらは、表示されているテスト項目６０１に従って表示されるラベル群６０５に過不足がある場合に利用する。
【０１８４】
ユーザーは、学習不足が検出されたラベルなし転移先データの正しい属性値に最も近いと考えられるラベルを、ラベル群６０５の中から選択し、決定ボタン６０７を押下する。決定ボタン６０７が押下されると、前記ラベルなし転移先データに、選択されたラベルを付したラベル付き転移先データが、転移先データ保持部４１０に保持される。
【０１８５】
また、再学習ボタン６０８が押下されると、ラベル付き転移先データ保持部４１０に保持されたラベル付き転移先データを利用して、ニューラルネットワーク装置１００における荷重の再調整が実施される。
【０１８６】
決定ボタン６０７を押下することによって、新たなラベル付き転移先データがラベル付き転移先データ保持部４１０に保持されるため、再学習ボタン６０８を押下して荷重の再調整を実施することにより、これまで回帰に失敗していたラベルなし転移先データについても、より正確な回帰ができるようになる。
【０１８７】
以上説明したように、学習不足が検出された１つのラベルなし転移先データ、又は当該１つのラベルなし転移先データの連想データをユーザーに提示して、ユーザーから当該１つのラベルなし転移先データのラベルを受け付けることにより、学習不足に対処するための追加的な学習を行うことが可能になる。
【０１８８】
特に、ラベルなし転移先データのラベルを直接的に指定することが困難な場合に、ユーザーは、前記連想データに基づいて転移先データのラベルを指定することによって、当該ラベルと前記ラベルなし転移先データとを用いて追加的な学習を行うことができる。
【０１８９】
次に、学習不足が検出された複数のラベルなし転移先データに一括して、共通のラベルを指定する場合について説明する。以下では、同じ１つの非関連ユニットから出力された評価値が前記基準範囲から逸脱した複数のラベルなし転移先データ、又は当該複数のラベルなし転移先データの連想データをユーザーに提示して、ユーザーから当該複数のラベルなし転移先データに共通するラベルを受け付ける例について説明する。
【０１９０】
図２３は、ユーザーインターフェース部４４０を介してユーザーに提示される選択画面の一例を示す図である。画像群５０１には、同じ１つの非関連ユニットから出力された評価値が前記基準範囲から逸脱した画像が含まれる。画像群５０３、５０５には、それぞれラベル付き転移先データ保持部４１０に保持されている病変画像、非病変画像が含まれる。また、画像５０２、５０４、５０６は、画像群５０１、５０３、５０５の中からそれぞれ１つずつ、ユーザーによって選択された画像の拡大画像である。
【０１９１】
これらの画像をユーザーが観察し、画像群５０１に含まれるすべての画像が、単一のカテゴリに分類されると判断できる場合、当該カテゴリの画像を画像群５０３、５０５の中から選択し、決定ボタン５０７を押下する。決定ボタン５０７が押下されると、画像群５０１に含まれる画像の各々に、選択された画像のラベルを付したラベル付き転移先データが、転移先データ保持部４１０に保持される。
【０１９２】
また、再学習ボタン５０８が押下されると、ラベル付き転移先データ保持部４１０に保持されたラベル付き転移先データを利用して、ニューラルネットワーク装置１００における荷重の再調整が実施される。このとき、出力層調整部２２０にて、画像群５０１に含まれる画像に対して前記基準範囲から逸脱した評価値を出力した非関連ユニットを削除し、その後、荷重の再調整を行ってもよい。
【０１９３】
上記の内容は分類問題の場合である。次に、回帰問題の場合について説明する。
【０１９４】
図２４は、ユーザーインターフェース部４４０を介してユーザーに提示される選択画面の一例を示す図である。図２４の例では、同じ１つの非関連ユニットから出力された評価値が前記基準範囲から逸脱した２つのラベルなし転移先データに関する情報が、画面の左右に並べて表示されている。前記ラベルなし転移先データは、例えばライフログデータであってもよいが、当該ライフログデータ自体は画面には表示されていない。
【０１９５】
テスト項目６１１、６２１は、前記ワークフローデータのテスト項目の中からユーザーによって選択された１以上のテスト項目であり、連想データの一例である。ユーザーは、各々のラベルなし転移先データが測定された患者に、例えば、テスト項目６１１、６２１の各々を実施してもらうか、又は問診を行うことにより、各テスト項目の結果値６１４、６２４を入力する。
【０１９６】
当該入力に応じて、入力されたテスト項目の結果値６１４と同一又は近似の連想データが付されている１以上のラベル付き転移先データが取得され、当該１以上の転移先データに付されたラベルを含むラベル群６１５が表示される。また、入力されたテスト項目の結果値６２４と同一又は近似の連想データが付されている１以上のラベル付き転移先データが取得され、当該１以上の転移先データに付されたラベルを含むラベル群６２５が表示される。
【０１９７】
ラベルチャート６１３、６２３には、それぞれ、ラベル群６１５、６２５の中からユーザーによって選択されたラベルがチャートの形式で表示される。
【０１９８】
ユーザーは、前記２つのラベルなし転移先データに共通する正しい属性値に最も近いと考えられる１つのラベルを、ラベル群６１５、６２５の中から選択し、決定ボタン６０７を押下する。決定ボタン６０７が押下されると、前記２つのラベルなし転移先データの各々に、選択されたラベルを付したラベル付き転移先データが、転移先データ保持部４１０に保持される。
【０１９９】
また、再学習ボタン６０８が押下されると、ラベル付き転移先データ保持部４１０に保持されたラベル付き転移先データを利用して、ニューラルネットワーク装置１００における荷重の再調整が実施される。このとき、出力層調整部２２０にて、前記２つのラベルなし転移先データに対して前記基準範囲から逸脱した評価値を出力した非関連ユニットを削除し、その後、荷重の再調整を行ってもよい。
【０２００】
このような構成によれば、ユーザーは、学習不足が検出された際に提示される、ラベルなし転移先データ、又は当該転移先データの連想データを見ながら、インタラクティブに正しいラベルを指定することができる。そして、当該ラベルを用いた追加学習による荷重値の再調整を行い、また、誤った特徴抽出が行われている可能性がある非関連項目を逐次的に削除することもできる。
【０２０１】
以上、本発明の実施の形態に係る転移学習装置について説明したが、本発明はこれら実施の形態に限定されるものではない。
【０２０２】
例えば、転移学習システム３０１は、コンピュータを利用して実現することも可能である。図２５は、転移学習システム３０１を実現するためのハードウェア構成を示すブロック図である。
【０２０３】
転移学習システム３０１は、コンピュータ７００とコンピュータ７００に指示を与えるためのキーボード７１１およびマウス７１２と、コンピュータ７００の演算結果等の情報を提示するためのディスプレイ７１０と、コンピュータ７００で実行されるプログラムを読み取るためのＯＤＤ（Ｏｐｔｉｃａｌ  Ｄｉｓｋ  Ｄｒｉｖｅ）７０８とを含む。
【０２０４】
転移学習システム３０１が実行するプログラムは、コンピュータで読み取り可能な光記憶媒体７０９に記憶され、ＯＤＤ７０８で読み取られる。または、コンピュータネットワークを通じてＮＩＣ７０６で読み取られる。
【０２０５】
コンピュータ７００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）７０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０３と、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）７０５と、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃｏｎｔｒｏｌｌｅｒ）７０６と、バス７０７とを含む。
【０２０６】
さらに、コンピュータ７００は、高速演算を行うためにＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０２を含んでもよい。
【０２０７】
ＣＰＵ７０１とＧＰＵ７０２は、ＯＤＤ７０８またはＮＩＣ７０６を介して読み取られたプログラムを実行する。ＲＯＭ７０４は、コンピュータ７００の動作に必要なプログラムやデータを記憶する。ＲＡＭ７０３は、プログラム実行時のパラメータなどのデータを記憶する。ＨＤＤ７０５は、プログラムやデータなどを記憶する。ＮＩＣ７０６は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス７０７は、ＣＰＵ７０１、ＲＯＭ７０４、ＲＡＭ７０３、ＨＤＤ７０５、ＮＩＣ７０６、ディスプレイ７１０、キーボード７１１、マウス７１２およびＯＤＤ７０８を相互に接続する。なお、コンピュータ７００に接続されているキーボード７１１、マウス７１２およびＯＤＤ７０８は、例えばディスプレイ７１０がタッチパネルになっている場合やＮＩＣ７０６を利用する場合には、取り外してもよい。
【０２０８】
さらに、上記の各装置を構成する転移学習システム３０１の構成要素の一部または全ては、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に蓄積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０２０９】
さらにまた、上記の各装置を構成する構成要素の一部または全ては、各装置に着脱可能なＩＣカードまたは単体モジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０２１０】
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムを含んでもよいし、前記コンピュータプログラムからなるデジタル信号を含んでもよい。
【０２１１】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記憶媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記憶したものを含んでもよい。また、これら非一時的な記憶媒体に記録されている上記デジタル信号を含んでもよい。
【０２１２】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回路、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２１３】
また、上記プログラムまたは上記デジタル信号を上記非一時的な記憶媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号は上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２１４】
また、本発明は、図２６のように、コンピュータ７００以外にも別途データサーバ８００を構築し、そのサーバ上にメモリ等の保存すべきデータを置き、上記ネットワーク等を経由してその情報をコンピュータ７００が読み出してもよい。また、データサーバ８００から情報を読み出す、コンピュータ７００は１台である必要はなく、複数であってもよい。その際、各コンピュータ７００が転移学習システム３０１の構成要素の一部をそれぞれ実施してもよい。
【０２１５】
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０２１６】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
【産業上の利用可能性】
【０２１７】
本発明によると、過学習とデータセットの組み合わせによる負の転移に左右されないデータ学習を実施することができる。このため、本発明は、画像やセンサ値を認識・分類するデータ学習装置に利用可能である。
【符号の説明】
【０２１８】
１００    ニューラルネットワーク装置
１０１    入力層
１０２、１０２ａ、１０２ｂ    隠れ層
１０３    出力層
１０５    ユニット
１１０    構成情報保持部
１２０    荷重保持部
１３０    データ入力部
１４０    データ演算部
１５０    データ出力部
２０１、２０２、２０３、２０４    転移学習装置
２１０    転移先データ評価部
２２０    出力層調整部
２３０、２３２、２３３、２３４    荷重調整部
２４０    学習不足検出部
２５０    正解取得部
３０１、３０２、３０３、３０４    転移学習システム
４１０    ラベル付き転移先データ保持部
４２０    ラベル付き転移元データ保持部
４３０    ラベルなし転移先データ保持部
４４０    ユーザーインターフェース部
【図１】
0006435581.tif 000002
【図２】
0006435581.tif 000003
【図３】
0006435581.tif 000004
【図４】
0006435581.tif 000005
【図５】
0006435581.tif 000006
【図６】
0006435581.tif 000007
【図７Ａ】
0006435581.tif 000008
【図７Ｂ】
0006435581.tif 000009
【図８】
0006435581.tif 000010
【図９】
0006435581.tif 000011
【図１０Ａ】
0006435581.tif 000012
【図１０Ｂ】
0006435581.tif 000013
【図１０Ｃ】
0006435581.tif 000014
【図１１】
0006435581.tif 000015
【図１２】
0006435581.tif 000016
【図１３】
0006435581.tif 000017
【図１４】
0006435581.tif 000018
【図１５】
0006435581.tif 000019
【図１６】
0006435581.tif 000020
【図１７】
0006435581.tif 000021
【図１８】
0006435581.tif 000022
【図１９】
0006435581.tif 000023
【図２０】
0006435581.tif 000024
【図２１】
0006435581.tif 000025
【図２２】
0006435581.tif 000026
【図２３】
0006435581.tif 000027
【図２４】
0006435581.tif 000028
【図２５】
0006435581.tif 000029
【図２６】
0006435581.tif 000030