(57)【特許請求の範囲】
【請求項１】
データと、当該データに関連する情報であって識別対象を識別するために付された情報であるラベルの組からなる教師データを格納する教師データ格納部と、
学習対象のニューラルネットワークモデルに対して、予め設定されたドロップアウトパラメータを適用してドロップアウト処理を行った後、前記教師データを用いて前記ラベルを分類するための学習を反復して行い、反復学習を学習が収束するまで行う学習部と、
前記学習部による前記反復学習が収束したニューラルネットワークモデルである学習済みモデルを、前記ドロップアウトパラメータに従って再構成し、複数の異なる再構成モデルを作成するモデル再構成部と、
前記モデル再構成部が作成した前記再構成モデルを用いて前記教師データを識別し、前記再構成モデル毎のラベルを推定する識別部と、
前記識別部が推定した推定ラベルに基づいて、前記教師データのラベルを評価し、前記教師データのラベルを分類する分類判定部とを備えた信頼性評価装置。
【請求項２】
前記識別部は、前記再構成モデルで前記教師データを識別し、当該識別を行った際の前記再構成モデルのラベル毎の指標値を取得し、取得した前記指標値のうち最大の前記指標値を与えるラベルを前記推定ラベルとし、
前記分類判定部は、前記再構成モデル毎の前記推定ラベルと前記教師データのラベルとの一致、前記再構成モデル間の前記指標値の系列の分布、および前記教師データのラベルに対応した前記指標値と前記推定ラベルの前記指標値との比率の差の有無の３つの評価に基づいて、前記教師データのラベルを分類することを特徴とする請求項１記載の信頼性評価装置。
【請求項３】
前記分類判定部が分類した結果に基づいて、前記教師データに対する対処を促す表示制御を行う可視化部を備えることを特徴とする請求項１または請求項２記載の信頼性評価装置。
【請求項４】
前記可視化部は、前記分類判定部が分類した結果に基づいて、前記教師データが、前記ラベルに誤りがある可能性の高い教師データであるか、識別難易度の高い教師データであるか、前記ラベルの再確認を推奨する教師データであるかを示す表示制御を行うことを特徴とする請求項３記載の信頼性評価装置。
【請求項５】
学習部と、モデル再構成部と、識別部と、分類判定部と、を含む信頼性評価装置の信頼性評価方法であって、
前記学習部が、学習対象のニューラルネットワークモデルに対して、予め設定されたドロップアウトパラメータを適用してドロップアウト処理を行った後、データと、当該データに関連する情報であって識別対象を識別するために付された情報であるラベルの組からなる教師データを用いて前記ラベルを分類するための学習を反復して行い、反復学習を学習が収束するまで行うステップと、
前記モデル再構成部が、前記反復学習が収束したニューラルネットワークモデルである学習済みモデルを、前記ドロップアウトパラメータに従って再構成し、複数の異なる再構成モデルを作成するステップと、
前記識別部が、作成された前記再構成モデルを用いて前記教師データを識別し、前記再構成モデル毎のラベルを推定するステップと、
前記分類判定部が、推定された推定ラベルに基づいて、前記教師データのラベルを評価し、前記教師データのラベルを分類するステップとを備えた信頼性評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、機械学習に用いる教師データの信頼性を評価する技術に関するものである。
【背景技術】
【０００２】
機械学習では、識別したい対象について正しい情報(以下、ラベルと記載する)が付与された教師データ用いて、途中過程のモデルが出した推定結果と教師データのラベルとが一致するように学習を行う。例えば、機械学習により動物の種類を識別する場合、動物の写真からなる教師データには、写真の動物の種類（例えば、犬または猫）に関するラベルが付与される。そのため、正しい機械学習モデルを作成するためには、教師データのラベルが正確であるかが重要となる。しかし、膨大な教師データにラベルを付与する作業には大きな労力を要する。また、付与したラベルが正確であるか確認する作業にも多大な労力を要する。そのため、教師データのラベルの信頼性の評価を効率的に行うことが求められている。【０００３】
例えば、特許文献１に記載された情報推定装置は、ニューラルネットワークにおいて、一体化層へ多変量分布からなるデータが入力されると、入力データの各ベクトル要素と重みとの積からなる項の数値分布に基づいて、一体化層からの出力データの各ベクトル要素のデータタイプを判断する。情報推定装置は、判断したデータタイプに対応付けられている近似計算方法を適用して、一体化層への入力データに基づいて、一体化層からの出力データの各ベクトル要素の分散値を解析的に計算する。
特許文献１に記載された技術では、機械学習の過程で、暫定的な推定結果を順次算出することを利用し、暫定的な推定結果を異なる複数時点で比較した場合に、ばらつきが大きい推定値は信頼できないと判断する。【０００４】
また、特許文献２に記載された識別情報付与システムは、機械学習により分類能力を獲得した二以上の学習結果に関する情報と、二以上の学習結果から出力される分類結果が同等であると判定できる判定条件とを用いて、二以上の学習結果から出力される分類結果のうち、少なくとも二つの分類結果同士が同等であるかを判定し、同等であると判定された分類結果同士に、同一のラベルを付与する識別情報付与システムが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−１０６４６３号公報
【特許文献２】特開２０１８−０４５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された技術は、学習過程の暫定的な推定結果のばらつきが大きい教師データを抽出することを可能とする。しかし、推定結果のばらつきは、教師データの識別の難しさを示すものであり、必ずしもラベルの信頼性を示すものではないという課題があった。
また、特許文献２に開示された技術は、複数種類のモデルを用意する必要がある。機械学習におけるモデルの学習には多くの計算リソースと処理時間を要するため、複数種類のモデルを用意するのは効率が悪いという課題があった。【０００７】
この発明は、複数種類のモデルを効率的に作成し、教師データの識別の難しさに加え、教師データのラベルの信頼性を評価することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る信頼性評価装置は、データと、当該データに関連する情報であって識別対象を識別するために付された情報であるラベルの組からなる教師データを格納する教師データ格納部と、学習対象のニューラルネットワークモデルに対して、予め設定されたドロップアウトパラメータを適用してドロップアウト処理を行った後、教師データを用いてラベルを分類するための学習を反復して行い、反復学習を学習が収束するまで行う学習部と、学習部による反復学習が収束したニューラルネットワークモデルである学習済みモデルを、ドロップアウトパラメータに従って再構成し、複数の異なる再構成モデルを作成するモデル再構成部と、モデル再構成部が作成した再構成モデルを用いて教師データを識別し、再構成モデル毎のラベルを推定する識別部と、識別部が推定した推定ラベルに基づいて、教師データのラベルを評価し、教師データのラベルを分類する分類判定部とを備えるものである。
【発明の効果】
【０００９】
この発明によれば、複数種類のモデルを効率的に作成し、教師データの識別の難しさに加え、教師データのラベルの信頼性を評価することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る信頼性評価装置の構成を示すブロック図である。
【図２】実施の形態１に係る信頼性評価装置の教師データデータベースに格納された教師データの一例を示す図である。
【図３】実施の形態１に係る信頼性評価装置の学習済みモデル格納部に格納された学習済みモデルの一例を示す図である。
【図４】実施の形態１に係る信頼性評価装置のニューラルネットワークの構成例を示す図である。
【図５】実施の形態１に係る信頼性評価装置の再構成モデル格納部に格納された再構成モデルの一例を示す図である。
【図６】実施の形態１に係る信頼性評価装置の推定ラベル情報格納部に格納された推定ラベル情報の一例を示す図である。
【図７】実施の形態１に係る信頼性評価装置の判定結果格納部に格納された妥当性判定結果の一例を示す図である。
【図８】実施の形態１に係る信頼性評価装置の可視化部の表示制御に基づいた表示例を示す図である。
【図９】図９Ａおよび図９Ｂは、実施の形態１に係る信頼性評価装置のハードウェア構成例を示す図である。
【図１０】実施の形態１に係る信頼性評価装置の動作を示すフローチャートである。
【図１１】実施の形態１に係る信頼性評価装置の学習部の動作を示すフローチャートである。
【図１２】実施の形態１に係る信頼性評価装置のモデル再構成部の動作を示すフローチャートである。
【図１３】実施の形態１に係る信頼性評価装置の識別部の動作を示すフローチャートである。
【図１４】実施の形態１に係る信頼性評価装置の分類判定部の動作を示すフローチャートである。
【図１５】実施の形態１に係る信頼性評価装置の可視化部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る信頼性評価装置１００の構成を示すブロック図である。
実施の形態１に係る信頼性評価装置１００は、ニューラルネットを用いた機械学習における教師データに付与されたラベルの信頼性を評価する装置である。ここで、ニューラルネットワークとは、複数の層毎に配置されたノード、ノード間を結ぶリンク、およびリンクに割り当てられたパラメータから構成された機械学習のモデルである。ニューラルネットワークは、例えば、以下で示す非特許文献１において定義されている。
・非特許文献１
C.M. ビショップ, 元田浩(監訳), “パターン認識と機械学習 上”, 丸善出版, pp. 225-247. 
【００１２】
図１に示したように、信頼性評価装置１００は、ドロップアウトパラメータ取得部１０１、教師データ格納部１０２、学習部１０３、学習済みモデル格納部１０４、モデル再構成部１０５、再構成モデル格納部１０６、識別部１０７、推定ラベル情報格納部１０８、分類判定部１０９、判定結果格納部１１０および可視化部１１１を備える。
【００１３】
ドロップアウトパラメータ取得部１０１は、ドロップアウトパラメータを取得し、後述する学習部１０３およびモデル再構成部１０５に出力する。ドロップアウトパラメータは、ニューラルネットワークを用いた学習の過程でドロップアウト（ｄｒｏｐｏｕｔ）の割合を指定するものであり、例えば「０．２」の数値が与えられる。ドロップアウトとは、学習の過程で、ニューラルネットワークのノードを一定割合でランダムに選択して一時的に無効化して学習する処理である。ドロップアウトを行うことにより、教師データに過剰に適応して他のデータでの推定精度を低下させる過学習を抑制する。例えば、以下で示す非特許文献２において提唱されている。
・非特許文献２
G. Hinton and G. Dahl, “Dropout: A simple and effective way to improve neural networks,” in Advances in Neural Information Processing Systems, 2012. 
【００１４】
教師データ格納部１０２は、教師データを格納する領域である。教師データは、画像等の個々のデータの識別ＩＤ、ラベル、および画素値等の多次元データの組からなるデータである。ラベルは、画像等のデータに関連する情報であって、識別対象を識別するために付された情報である。
図２は、実施の形態１に係る信頼性評価装置１００の教師データ格納部１０２に格納された教師データの一例を示す図である。
教師データ１０２ａは、項目１０２ｂの「データＩＤ」、項目１０２ｃの「ラベル」、および項目１０２ｄの「データ値系列」で構成される。
【００１５】
学習部１０３は、学習対象のニューラルネットワークモデルに対して学習を行う。学習部１０３は、格納された教師データを構成する全てのデータＩＤに対して、ドロップアウトパラメータ取得部１０１から入力されたドロップアウトパラメータに基づいて、ニューラルネットワークのノードを一定割合でランダムに選択して一時的に無効化して学習する処理（以下、ドロップアウト処理という、非特許文献２参照）を行う。また、学習部１０３は、教師データ格納部１０２に格納された教師データを用いて、ラベルを分類するためのニューラルネットワークの学習を行う。
【００１６】
学習部１０３は、上述したニューラルネットワークの学習を、学習が収束するまで反復する。ニューラルネットワークの定義と学習内容は、上述した非特許文献１に記載の通りである。学習部１０３は、学習が収束した後のニューラルネットワークモデルを、学習済みモデルＭとして学習済みモデル格納部１０４に格納する。
【００１７】
学習済みモデル格納部１０４は、学習部１０３が学習したニューラルネットワークである学習済みモデルＭを格納する領域である。
図３は、実施の形態１に係る信頼性評価装置１００の学習済みモデル格納部１０４に格納された学習済みモデルＭの一例を示す図である。
学習済みモデル１０４ａは、項目１０４ｂの「上層ノードＩＤ」、項目１０４ｃの「下層ノードＩＤ」、および項目１０４ｄの「リンクパラメータ」で構成される。項目１０４ｂおよび項目１０４ｃの記載において、「ｘｉ」 は入力層のｉ番目のノード、「ｚｉｊ」はｊ番目の中間層のｉ番目のノード、「ｙｉ」が出力層のｉ番目のノードを示す。具体的に説明すると、図３において、「ｘ１」は、入力層の１番目のノードを示す。また、図３において、「ｚ１１」は、１番目の中間層の１番目のノードを示す。また、図３において、「ｙ１」は、出力層の１番目のノードを示す。
【００１８】
図４は、実施の形態１に係る信頼性評価装置１００のニューラルネットワークの構成例を示す図である。
ニューラルネットワークは、入力層ｘと、複数の隠れ層である中間層ｚと、出力層ｙとで構成される。図４において、ｉはノード数、ｊは中間層の層数を示す。入力層の１番目のノード２０１は「ｘ１」で表され、入力層のｉ番目のノード２０２は「ｘｉ」で表される。中間層の１番目の中間層の１番目のノード２０３は「ｚ１１」で表され、中間層の２番目の中間層の２番目のノード２０４は「ｚ２２」で表され、中間層のｉ番目の中間層のｊ番目のノード２０５は「ｚｉｊ」で表される。出力層の２番目のノード２０６は「ｙ１」で表され、出力層のｉ番目のノード２０７は「ｙｉ」で表される。
【００１９】
モデル再構成部１０５は、学習済みモデル格納部１０４に格納された学習済みモデルＭに基づいて、ドロップアウトパラメータ取得部１０１から入力されたドロップアウトパラメータで指定されるドロップアウト処理をランダムに実行し、再構成モデルＭｉ（ｉ＝１，２，・・・，ＮＭ）を作成する。
詳細には、モデル再構成部１０５は、学習済みモデルＭのノードをドロップアウトパラメータで指定された割合でランダムに選択して無効化する。モデル再構成部１０５は、無効化したモデルを再構成モデルＭ１とする。モデル再構成部１０５は、無効化するノードを変えながら当該処理を繰り返し、複数の再構成モデルＭｉを作成する。モデル再構成部１０５は、作成した複数の再構成モデルＭｉを、再構成モデル格納部１０６に格納する。
【００２０】
再構成モデル格納部１０６は、モデル再構成部１０５が作成した複数の再構成モデルＭｉを格納する領域である。再構成モデル格納部１０６は、再構成モデルＭｉに新たなモデルＩＤを付与して格納し、管理する。
図５は、実施の形態１に係る信頼性評価装置１００の再構成モデル格納部１０６に格納された再構成モデルＭｉの一例を示す図である。
再構成モデル１０６ａは、項目１０６ｂの「モデルＩＤ」、項目１０６ｃの「上層ノードＩＤ」、項目１０６ｄの「下層ノードＩＤ」、および項目１０６ｅの「リンクパラメータ」で構成される。図５の例は、モデルＩＤ「Ｍ１」、モデルＩＤ「Ｍ２」およびモデルＩＤ「Ｍ３」の再構成モデルＭｉが作成されたことを示している。
【００２１】
識別部１０７は、再構成モデル格納部１０６に格納された再構成モデルＭｉに基づいて、教師データ格納部１０２に格納された教師データを識別する。識別部１０７は、教師データを識別した際の、再構成モデルＭｉのラベル毎の指標値Ｐｉｊ (ｊ＝１,２,・・・，ラベル数)を取得する。識別部１０７は、取得したラベル毎の指標値Ｐｉｊを参照し、最大の指標値Ｐｉｊを与えるラベルを取得する。識別部１０７は、取得した最大の指標値Ｐｉｊを与えるラベルを推定ラベルＬｉとする。識別部１０７は、モデルＩＤと、データＩＤと、推定ラベルＬｉと、ラベル毎の指標値Ｐｉｊとを対応つけた推定ラベル情報を作成する。識別部１０７は、作成した推定ラベル情報を推定ラベル情報格納部１０８に格納する。
【００２２】
推定ラベル情報格納部１０８は、識別部１０７が作成した推定ラベル情報を格納する領域である。
図６は、実施の形態１に係る信頼性評価装置１００の推定ラベル情報格納部１０８に格納された推定ラベル情報の一例を示す図である。
推定ラベル情報１０８ａは、項目１０８ｂの「モデルＩＤ」、項目１０８ｃの「データＩＤ」、項目１０８ｄの「推定ラベル」、項目１０８ｅの「ラベル００１指標」、項目１０８ｆの「ラベル００２指標」、・・・、および項目１０８ｇの「ラベル０１５指標」で構成される。図６の例は、ラベルが００１から０１５の場合の推定ラベル情報を示している。また、図６の推定ラベル情報１０８ｈは、再構成モデルのモデルＩＤ「Ｍ１」に基づいて、教師データのデータＩＤ「Ｄ００１」を識別した場合に、推定ラベル「００１」が取得されたことを示している。また、識別部１０７が当該識別を行った際に、取得した再構成モデルＭｉのラベル００１からラベル０１５の指標を示している。
【００２３】
分類判定部１０９は、推定ラベル情報格納部１０８に格納された推定ラベル情報と、教師データ格納部１０２に格納された教師データで指定されたラベルとから、各データＩＤのラベルの信頼性を評価する。分類判定部１０９は、ラベルの信頼性を評価する際に、複数の再構成モデルＭｉ間の、ラベル別の指標値Ｐｉｊの違いについて、比率の差の検定、および分布同一性検定を行う。分類判定部１０９は、教師データで設定されたラベルと他のラベルとの差が有意に大きいことを確認することを目的として、比率の差の検定を行う。分類判定部１０９は、再構成モデルＭｉ間のラベル毎の指標値Ｐｉｊの分布の差の有無を確認することを目的として、分布同一性検定を行う。ここで、比率の差の検定および分布同一性検定（コルゴモロフ・スミルノフ検定）は、以下で示す非特許文献３に記載された方式を適用する。
・非特許文献３
武藤眞介著, “統計解析ハンドブック”, 朝倉書店, pp. 174-175, 450-451. 
【００２４】
分類判定部１０９は、比率の差の検定、および分布同一性検定の結果に応じて、教師データで指定されているラベルの妥当性を分類する。分類判定部１０９は、分類した結果を妥当性判定結果として判定結果格納部１１０に格納する。
【００２５】
判定結果格納部１１０は、分類判定部１０９が教師データで指定されているラベルの妥当性を分類した妥当性判定結果を格納する領域である。
図７は、実施の形態１に係る信頼性評価装置１００の判定結果格納部１１０に格納された妥当性判定結果の一例を示す図である。
妥当性判定結果１１０ａは、項目１１０ｂの「データＩＤ」および項目１１０ｃの「判定結果」で構成される。例えば、図７の例では、項目１１０ｃの「判定結果」を「Ｃａｓｅ１」、「Ｃａｓｅ２」、「Ｃａｓｅ３」および「Ｃａｓｅ４」等で分類した場合を示している。
【００２６】
可視化部１１１は、判定結果格納部１１０に格納された妥当性判定結果に基づいて、教師データに対する対処を促す表示制御を行う。可視化部１１１は、妥当性判定結果に応じて、教師データが、ラベル誤りの可能性の高い教師データである、識別難易度の高い教師データである、またはラベルの再確認を推奨する教師データであるとして表示する表示制御を行う。
図８は、実施の形態１に係る信頼性評価装置１００の可視化部１１１の表示制御に基づいた表示例を示す図である。
図８では、可視化部１１１の表示制御により、教師データを、ラベル誤りの可能性の高い教師データ、識別難易度の高い教師データ、およびラベルの再確認を推奨する教師データの３種類を分類して表示する場合を示している。表示装置３００には、ラベル誤りの可能性の高い教師データの表示領域３００ａ、識別難易度の高い教師データの表示領域３００ｂ、およびラベルの再確認を推奨する教師データの表示領域３００ｃが表示される。表示領域３００ａ，３００ｂ，３００ｃ内に対応する教師データのデータＩＤが表示される。
【００２７】
次に、信頼性評価装置１００のハードウェア構成例を説明する。
図９Ａおよび図９Ｂは、実施の形態１に係る信頼性評価装置１００のハードウェア構成例を示す図である。
信頼性評価装置１００におけるドロップアウトパラメータ取得部１０１、学習部１０３、モデル再構成部１０５、識別部１０７、分類判定部１０９および可視化部１１１の各機能は、処理回路により実現される。即ち、信頼性評価装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図９Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図９Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
【００２８】
図９Ａに示すように、ドロップアウトパラメータ取得部１０１、学習部１０３、モデル再構成部１０５、識別部１０７、分類判定部１０９および可視化部１１１が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。ドロップアウトパラメータ取得部１０１、学習部１０３、モデル再構成部１０５、識別部１０７、分類判定部１０９および可視化部１１１の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２９】
図９Ｂに示すように、ドロップアウトパラメータ取得部１０１、学習部１０３、モデル再構成部１０５、識別部１０７、分類判定部１０９および可視化部１１１がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、ドロップアウトパラメータ取得部１０１、学習部１０３、モデル再構成部１０５、識別部１０７、分類判定部１０９および可視化部１１１の各機能を実現する。即ち、ドロップアウトパラメータ取得部１０１、学習部１０３、モデル再構成部１０５、識別部１０７、分類判定部１０９および可視化部１１１は、プロセッサ１００ｂにより実行されるときに、後述する図１１から図１５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、ドロップアウトパラメータ取得部１０１、学習部１０３、モデル再構成部１０５、識別部１０７、分類判定部１０９および可視化部１１１の手順または方法をコンピュータに実行させるものであるともいえる。
【００３０】
ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
【００３１】
なお、ドロップアウトパラメータ取得部１０１、学習部１０３、モデル再構成部１０５、識別部１０７、分類判定部１０９および可視化部１１１の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、信頼性評価装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００３２】
次に、信頼性評価装置１００の動作について説明する。
図１０は、実施の形態１に係る信頼性評価装置１００の動作を示すフローチャートである。
ドロップアウトパラメータ取得部１０１は、あらかじめ設定されたドロップアウトパラメータを取得する（ステップＳＴ１）。ドロップアウトパラメータ取得部１０１は、取得したドロップアウトパラメータを学習部１０３およびモデル再構成部１０５に出力する。学習部１０３は、教師データ格納部１０２から教師データを取得する（ステップＳＴ２）。学習部１０３は、学習対象のニューラルネットワークモデルに対してドロップアウト処理を行い、ステップＳＴ２で取得した教師データを用いてニューラルネットワークの学習を行う（ステップＳＴ３）。学習部１０３は、ステップＳＴ３の処理を学習が収束するまで反復する、反復学習を行う。学習部１０３は、学習済みモデルＭを学習済みモデル格納部１０４に格納する。
【００３３】
モデル再構成部１０５は、学習済みモデル格納部１０４に格納された学習済みモデルＭを取得する（ステップＳＴ４）。モデル再構成部１０５は、取得した学習済みモデルＭに対してドロップアウト処理をランダムに実行し、再構成モデルＭｉを複数作成する（ステップＳＴ５）。モデル再構成部１０５は、作成した再構成モデルＭｉを、再構成モデル格納部１０６に格納する。
【００３４】
識別部１０７は、再構成モデル格納部１０６に格納された再構成モデルＭｉおよび教師データ格納部１０２に格納された教師データを取得する（ステップＳＴ６）。識別部１０７は、取得した教師データの各データＩＤに対応するデータに対して、取得した再構成モデルＭｉ毎にラベル推定を行う（ステップＳＴ７）。識別部１０７は、ステップＳＴ７でラベル推定した結果を推定ラベル情報として推定ラベル情報格納部１０８に格納する。
【００３５】
分類判定部１０９は、推定ラベル情報格納部１０８に格納された推定ラベル情報、および教師データ格納部１０２に格納された教師データを取得する（ステップＳＴ８）。分類判定部１０９は、ステップＳＴ８で取得した推定ラベル情報と、教師データで指定されたラベルとから、各データＩＤのラベルの信頼性を評価する（ステップＳＴ９）。分類判定部１０９は、ステップＳＴ９で得られた信頼性の評価結果に応じて、教師データで指定されているラベルの妥当性を分類する（ステップＳＴ１０）。分類判定部１０９は、分類した結果を妥当性判定結果として判定結果格納部１１０に格納する。
【００３６】
可視化部１１１は、判定結果格納部１１０から妥当性判定結果を取得する（ステップＳＴ１１）。可視化部１１１は、ステップＳＴ１１で取得した妥当性判定結果に基づいた表示制御を行い（ステップＳＴ１２）、処理を終了する。
【００３７】
次に、図１０のフローチャートのステップＳＴ３の処理の詳細について説明する。
図１１は、実施の形態１に係る信頼性評価装置１００の学習部１０３の動作を示すフローチャートである。
学習部１０３は、学習対象のニューラルネットワークモデルに対して、まずドロップアウトパラメータに従って、ニューラルネットワークのノードを無効化するドロップアウト処理を行う（ステップＳＴ２１）。次に、学習部１０３は、教師データを用いて、ラベル分類のためのニューラルネットワーク学習を行う（ステップＳＴ２２）。学習部１０３は、学習が収束したか否か判定を行う（ステップＳＴ２３）。学習が収束していない場合（ステップＳＴ２３；ＮＯ）、学習部１０３はステップＳＴ２１の処理に戻り、上述した処理を繰り返す。
【００３８】
一方、学習が収束している場合（ステップＳＴ２３；ＹＥＳ）、学習部１０３は学習済みニューラルネットワークモデルを、学習済みモデルＭとして学習済みモデル格納部１０４に格納する（ステップＳＴ２４）。その後、フローチャートは、図１０のフローチャートのステップＳＴ４の処理に進む。
【００３９】
次に、図１０のフローチャートのステップＳＴ５の処理の詳細について説明する。
図１２は、実施の形態１に係る信頼性評価装置１００のモデル再構成部１０５の動作を示すフローチャートである。
モデル再構成部１０５は、作成する再構成モデルＭｉ（i＝１，２，・・・，ＮＭ）について、i＝１を設定する（ステップＳＴ３１）。モデル再構成部１０５は、取得した学習済みモデルＭに対して、ドロップアウトパラメータ取得部１０１から入力されたドロップアウトパラメータに従って、ランダムにドロップアウト処理を適用して再構成モデルＭｉを作成する（ステップＳＴ３２）。モデル再構成部１０５は、ステップＳＴ３２で作成した再構成モデルＭｉを再構成モデル格納部１０６に格納する（ステップＳＴ３３）。
【００４０】
モデル再構成部１０５は、ｉがあらかじめ設定された再構成モデルＭｉの出力回数ＮＭと一致しているか否か判定を行う（ステップＳＴ３４）。ｉが出力回数ＮＭと一致していない場合（ステップＳＴ３４；ＮＯ）、モデル再構成部１０５はｉに「１」加算し（ステップＳＴ３５）、ステップＳＴ３２の処理に戻る。一方、ｉが出力回数ＮＭと一致している場合（ステップＳＴ３４；ＹＥＳ）、フローチャートは図１０のステップＳＴ６の処理に進む。
なお、比率の差の検定、および分布同一性検定において、例えば有意水準９９．９％、および検出力９９．９％にて検定を行うためには７９種類以上のモデルが必要となる。モデル再構成部１０５が上述した反復処理を行うことにより、実用的な時間で７９種類以上のモデルを作成することが可能となる。
【００４１】
次に、図１０のフローチャートのステップＳＴ７の処理の詳細について説明する。
図１３は、実施の形態１に係る信頼性評価装置１００の識別部１０７の動作を示すフローチャートである。
識別部１０７は、再構成モデルＭｉ（i＝１，２，・・・，ＮＭ）についてｉ＝１を設定する（ステップＳＴ４１）。識別部１０７は、教師データを構成するあるデータＩＤに対応したデータに対して、ステップＳＴ４１で設定した再構成モデルＭｉによるラベル推定を行う（ステップＳＴ４２）。識別部１０７は、ステップＳＴ４２で推定したラベルが、ＮＬ種類のラベルのいずれに該当する度合いが高いかを示す指標値Ｐｉｊ (ｊ＝１，２，・・・，ＮＬ) を取得する（ステップＳＴ４３）。識別部１０７は、ステップＳＴ４３で取得した指標値Ｐｉｊ を参照し、最大の値を与える推定ラベルＬｉを取得する（ステップＳＴ４４）。
【００４２】
識別部１０７は、再構成モデルＭｉ、教師データのデータＩＤ、推定ラベルＬｉおよび指標値Ｐｉｊを対応付けた推定ラベル情報を作成する（ステップＳＴ４５）。識別部１０７は、ステップＳＴ４５で作成した推定ラベル情報を推定ラベル情報格納部１０８に格納する（ステップＴＳ４６）。識別部１０７は、全ての教師データを構成するデータについて処理を行ったか否か判定を行う（ステップＳＴ４７）。全ての教師データを構成するデータについて処理を行っていない場合（ステップＳＴ４７；ＮＯ）、フローチャートはステップＳＴ４２に処理に戻り、上述した処理を繰り返す。
【００４３】
一方、全ての教師データを構成するデータについて処理を行った場合（ステップＳＴ４７；ＹＥＳ）、識別部１０７は、ｉがあらかじめ設定された出力回数ＮＭでと一致しているか否か判定を行う（ステップＳＴ４８）。ｉが出力回数ＮＭと一致していない場合（ステップＳＴ４８；ＮＯ）、識別部１０７は、ｉに「１」を加算し（ステップＳＴ４９）、ステップＳＴ４２の処理に戻り、上述した処理を繰り返す。一方、ｉが出力回数ＮＭと一致している場合（ステップＳＴ４８；ＹＥＳ）、識別部１０７は図１０のフローチャートのステップＳＴ８の処理に進む。
【００４４】
次に、図１０のフローチャートのステップＳＴ９およびステップＳＴ１０の処理の詳細について説明する。
図１４は、実施の形態１に係る信頼性評価装置１００の分類判定部１０９の動作を示すフローチャートである。
分類判定部１０９は、推定ラベル情報を参照し、同一モデルＩＤを有する全ての再構成モデルＭｉに各推定ラベルを参照し、最も多い推定ラベルを取得する（ステップＳＴ５１）。分類判定部１０９は、ステップＳＴ５１で取得した最も多い推定ラベルが、対応する教師データの同一のデータＩＤのラベルと等しいか否か判定を行う（ステップＳＴ５２）。
【００４５】
最も多い推定ラベルが対応する教師データのラベルと等しい場合（ステップＳＴ５２；ＹＥＳ）、分類判定部１０９は第１の検定結果を「１」に設定する（ステップＳＴ５３）。一方、最も多い推定ラベルが対応する教師データのラベルと等しくない場合（ステップＳＴ５２；ＮＯ）、分類判定部１０９は第１の検定結果を「０」に設定する（ステップＳＴ５４）。
【００４６】
次に、分類判定部１０９は、異なる再構成モデルＭｉ間（例えば、Ｍｉ１，Ｍｉ２（ｉ１≠ｉ２））で、指標値Ｐｉｊ（例えば、 {Ｐｉ１ｊ}， {Ｐｉ２ｊ}） の系列が同一の分布か否か判定を行う（ステップＳＴ５５）。なお、ステップＳＴ５５の判定は、分布同一性検定 （例えば、コルゴモロフ・スミルノフ検定）を用いた検定である。異なる再構成モデルＭｉの間で、指標値Ｐｉｊの系列が同一分布である場合（ステップＳＴ５５；ＹＥＳ）、分類判定部１０９は第２の検定結果を「１」に設定する（ステップＳＴ５６）。異なる再構成モデルＭｉの間で、指標値Ｐｉｊの系列が同一分布でない場合（ステップＳＴ５５；ＮＯ）、分類判定部１０９は第２の検定結果を「０」に設定する（ステップＳＴ５７）。
【００４７】
さらに、分類判定部１０９は、教師データに設定されたラベルの指標値Ｐｉｊと、その他のラベルの指標値Ｐｉｊとの比率の差があるか否か判定を行う（ステップＳＴ５８）。比率の差がある場合（ステップＳＴ５８；ＹＥＳ）、分類判定部１０９は第３の検定結果を「１」と設定する（ステップＳＴ５９）。比率の差がない場合（ステップＳＴ５８；ＮＯ）、分類判定部１０９は第３の検定結果を「０」と設定する（ステップＳＴ６０）。
【００４８】
ステップＳＴ５５の分布同一性の判定、およびステップＳＴ５８の比率の差の判定では、いずれも有意水準を例えば９９．９％に指定して判定を行う。また、ステップＳＴ５５の分布同一性の判定、およびステップＳＴ５８の比率の差の判定には、比率の分母と分子に相当する値が必要となる。比率の分母と分子に相当する値として、教師データ格納部１０２に格納された教師データのレコード数をサンプル総数と教師データの指標とを、比率として換算した値を用いる。
【００４９】
分類判定部１０９は、第１の検定結果、第２の検定結果および第３の検定結果を参照し、全ての検定結果が「０」であるか否か判定を行う（ステップＳＴ６１）。全ての検定結果が「０」である場合（ステップＳＴ６１；ＹＥＳ）、分類判定部１０９は、判定結果をＣａｓｅ１に分類する（ステップＳＴ６２）。一方、全ての検定結果が「０」でない場合（ステップＳＴ６１；ＮＯ）、分類判定部１０９は第１の検定結果が「１」であって、第２の検定結果および第３の検定結果のいずれかが「０」であるか否か判定を行う（ステップＳＴ６３）。第１の検定結果が「１」であって、第２の検定結果および第３の検定結果のいずれかが「０」である場合（ステップＳＴ６３；ＹＥＳ）、分類判定部１０９は、判定結果をＣａｓｅ２に分類する（ステップＳＴ６４）。
【００５０】
一方、第１の検定結果が「１」であって、第２の検定結果および第３の検定結果のいずれかが「０」でない場合（ステップＳＴ６３；ＮＯ）、分類判定部１０９は、第１の検定結果が「０」であって、第２の検定結果および第３の検定結果のいずれかが「０」であるか否か判定を行う（ステップＳＴ６５）。第１の検定結果が「０」であって、第２の検定結果および第３の検定結果のいずれかが「０」である場合（ステップＳＴ６５；ＹＥＳ）、分類判定部１０９は、判定結果をＣａｓｅ３に分類する（ステップＳＴ６６）。
【００５１】
一方、第１の検定結果が「０」であって、第２の検定結果および第３の検定結果のいずれかが「０」でない場合（ステップＳＴ６５；ＮＯ）、分類判定部１０９は、判定結果をＣａｓｅ４に分類する（ステップＳＴ６７）。分類判定部１０９は、ステップＳＴ６２、ステップＳＴ６４、ステップＳＴ６６またはステップＳＴ６７で分類した判定結果を妥当性判定結果として判定結果格納部１１０に格納する（ステップＳＴ６８）。その後、フローチャートは、図１０のフローチャートのステップＳＴ１１の処理に進む。
【００５２】
次に、図１０のフローチャートのステップＳＴ１２の処理の詳細について説明する。
図１５は、実施の形態１に係る信頼性評価装置１００の可視化部１１１の動作を示すフローチャートである。
可視化部１１１は、妥当性判定結果を参照し、Ｃａｓｅ３に該当するデータＩＤの情報を抽出し、ラベル誤りの可能性の高い教師データであることを示す表示情報を生成する（ステップＳＴ７１）。次に、可視化部１１１は、妥当性判定結果を参照し、Ｃａｓｅ４に該当するデータＩＤの情報を抽出し、識別難易度の高い教師データであることを示す表示情報を生成する（ステップＳＴ７２）。
【００５３】
次に、可視化部１１１は、妥当性判定結果を参照し、Ｃａｓｅ２に該当するデータＩＤの情報を抽出し、ラベルの再確認を推奨する教師データであることを示す表示情報を生成する（ステップＳＴ７３）。可視化部１１１は、ステップＳＴ７１からステップＳＴ７３で生成した表示情報を、例えば表示装置（図示せず）に表示するための制御を行い（ステップＳＴ７４）、処理を終了する。
【００５４】
以上のように、この実施の形態１によれば、データと、当該データに関連する情報であって識別対象を識別するために付された情報であるラベルの組からなる教師データを格納する教師データ格納部１０２と、学習対象のニューラルネットワークモデルに対して、予め設定されたドロップアウトパラメータを適用してドロップアウト処理を行った後、教師データを用いてラベルを分類するための学習を反復して行い、反復学習を学習が収束するまで行う学習部１０３と、反復学習が収束したニューラルネットワークモデルである学習済みモデルを、ドロップアウトパラメータに従って再構成し、複数の異なる再構成モデルを作成するモデル再構成部１０５と、作成された再構成モデルを用いて教師データを識別し、再構成モデル毎のラベルを推定する識別部１０７と、推定された推定ラベルに基づいて、教師データのラベルを評価し、教師データのラベルを分類する分類判定部１０９とを備えるように構成した。
これにより、与えられた教師データのラベルの信頼性を評価する場合に、複数種類のモデルを効率的に作成し、教師データの識別の難しさに加えて、教師データのラベルの信頼性を評価することができる。
【００５５】
また、この実施の形態１によれば、識別部１０７が、再構成モデルで教師データを識別し、当該識別を行った際の再構成モデルのラベル毎の指標値を取得し、取得した指標値のうち最大の指標値を与えるラベルを推定ラベルとし、分類判定部１０９が、再構成モデル毎の推定ラベルと教師データのラベルとの一致、再構成モデル間の指標値の系列の分布、および教師データのラベルに対応した指標値と推定ラベルの指標値との比率の差の有無の３つの評価に基づいて、教師データのラベルを分類するように構成した。
これにより、複数の再構成モデルの推定ラベルを用いて効率的に、教師データラベルの妥当性を分類することができる。
【００５６】
また、この実施の形態１によれば、分類判定部１０９が分類した結果に基づいて、教師データに対する対処を促す表示制御を行う可視化部を備えるように構成した。
これにより、ユーザに対して、教師データについての対処を提案することができる。
【００５７】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００５８】
この発明に係る技術は、識別対象についてのラベルが付与された教師データを用いた機械学習を行うシステム等に適用するのが好ましい。
【符号の説明】
【００５９】
１００  信頼性評価装置、１０１  ドロップアウトパラメータ取得部、１０２  教師データ格納部、１０３  学習部、１０４  学習済みモデル格納部、１０５  モデル再構成部、１０６  再構成モデル格納部、１０７  識別部、１０８  推定ラベル情報格納部、１０９  分類判定部、１１０  判定結果格納部、１１１  可視化部。
【図１】
0006964822.tif 000002
【図２】
0006964822.tif 000003
【図３】
0006964822.tif 000004
【図４】
0006964822.tif 000005
【図５】
0006964822.tif 000006
【図６】
0006964822.tif 000007
【図７】
0006964822.tif 000008
【図８】
0006964822.tif 000009
【図９】
0006964822.tif 000010
【図１０】
0006964822.tif 000011
【図１１】
0006964822.tif 000012
【図１２】
0006964822.tif 000013
【図１３】
0006964822.tif 000014
【図１４】
0006964822.tif 000015
【図１５】
0006964822.tif 000016