(57)【要約】  ラベル収集装置は、機械学習に用いられる教師データの教師ラベルを取得する取得部と、取得された教師ラベルを含む教師データに基づいてモデルの機械学習を実行する学習処理部と、モデルの精度を検出する精度検出部と、精度を提示する提示処理部とを備え、取得部は、更新された教師データを取得する。
2019167556.tif 000002
【特許請求の範囲】
【請求項１】
機械学習に用いられる教師データの教師ラベルを取得する取得部と、
取得された前記教師ラベルを含む前記教師データに基づいてモデルの機械学習を実行する学習処理部と、
前記モデルの精度を検出する精度検出部と、
前記精度を提示する提示処理部と
を備え、
前記取得部は、更新された前記教師データを取得する、
ラベル収集装置。
【請求項２】
機械学習に用いられる第１の教師データの第１の教師ラベルを取得する取得部と、
取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する学習処理部と、
前記第１のモデルの精度を検出する精度検出部と、
前記精度を提示する提示処理部と、
前記サンプルに対する行動ラベルとして正しい第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する警告処理部と
を備え、
前記取得部は、更新された第１の教師データを取得する、
ラベル収集装置。
【請求項３】
前記学習処理部は、前記サンプルに対する行動ラベルとして正しくない第３の教師ラベルを含む第３の教師データと、前記第２の教師ラベルを含む第２の教師データとに基づいて、第２のモデルの機械学習を実行し、
前記警告処理部は、第１の教師データに対する前記第２のモデルの精度が所定の精度閾値以下である場合に警告を出力する、
請求項２に記載のラベル収集装置。
【請求項４】
前記サンプルは、センサデータであり、
前記第１の教師ラベルは、人の行動を表すラベルである、
請求項２又は請求項３に記載のラベル収集装置。
【請求項５】
機械学習に用いられる第１の教師データの第１の教師ラベルを取得するステップと、
取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行するステップと、
前記第１のモデルの精度を検出するステップと、
前記精度を提示するステップと、
前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力するステップと
更新された第１の教師データを取得するステップと
を含むラベル収集方法。
【請求項６】
コンピュータに、
機械学習に用いられる第１の教師データの第１の教師ラベルを取得する手順と、
取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する手順と、
前記第１のモデルの精度を検出する手順と、
前記精度を提示する手順と、
前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する手順と
更新された第１の教師データを取得する手順と
を実行させるためのラベル収集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ラベル収集装置、ラベル収集方法及びラベル収集プログラムに関する。
本願は、２０１８年２月２７日に、日本に出願された特願２０１８−０３３６５５号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
機械学習の一分野である教師あり機械学習は、センサデータ等に基づいて人の行動を認識するために実行されることがある（非特許文献１参照）。教師あり機械学習のフェーズには、学習（訓練）フェーズと、判定（評価）フェーズとがある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Nattaya Mairittha (Fah), Sozo Inoue, "Exploring the Challenges of Gamification in Mobile Activity Recognition", SOFT九州支部学術講演会, pp.47-50, 2017-12-02, Kagoshima.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
学習フェーズでは、センサデータ等であるサンプルに教師ラベルが付与されること（Annotations）によって、教師データが作成される。教師データを作成する作業は、手間と時間が必要であるため、作成者への負担が大きい。このため、作成者は、ヒューマンエラー、集中力又はインセンティブ等の理由で、サンプルとは関連が低い教師ラベルをサンプルに付与してしまう場合がある。この場合、サンプルに基づいて人の行動を認識する機械学習の精度は、低下してしまう。【０００５】
機械学習の精度を低下させないためには、機械学習の精度を向上させる教師データの教師ラベルを収集する必要がある。しかしながら、従来のラベル収集装置は、機械学習の精度を向上させる教師データの教師ラベルを収集することができない場合があった。【０００６】
上記事情に鑑み、本発明は、機械学習の精度を向上させる教師データの教師ラベルを収集することを可能とするラベル収集装置、ラベル収集方法及びラベル収集プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、機械学習に用いられる教師データの教師ラベルを取得する取得部と、取得された前記教師ラベルを含む前記教師データに基づいてモデルの機械学習を実行する学習処理部と、前記モデルの精度を検出する精度検出部と、前記精度を提示する提示処理部とを備え、前記取得部は、更新された前記教師データを取得する、ラベル収集装置である。【０００８】
本発明の一態様は、機械学習に用いられる第１の教師データの第１の教師ラベルを取得する取得部と、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する学習処理部と、前記第１のモデルの精度を検出する精度検出部と、前記精度を提示する提示処理部と、前記サンプルに対する行動ラベルとして正しい第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する警告処理部とを備え、前記取得部は、更新された第１の教師データを取得する、ラベル収集装置である。【０００９】
本発明の一態様は、上記のラベル収集装置であって、前記学習処理部は、前記サンプルに対する行動ラベルとして正しくない第３の教師ラベルを含む第３の教師データと、前記第２の教師ラベルを含む第２の教師データとに基づいて、第２のモデルの機械学習を実行し、前記警告処理部は、第１の教師データに対する前記第２のモデルの精度が所定の精度閾値以下である場合に警告を出力する。【００１０】
本発明の一態様は、上記のラベル収集装置であって、前記サンプルは、センサデータであり、前記第１の教師ラベルは、人の行動を表すラベルである。【００１１】
本発明の一態様は、機械学習に用いられる第１の教師データの第１の教師ラベルを取得するステップと、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行するステップと、前記第１のモデルの精度を検出するステップと、前記精度を提示するステップと、前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力するステップと更新された第１の教師データを取得するステップとを含むラベル収集方法である。【００１２】
本発明の一態様は、コンピュータに、機械学習に用いられる第１の教師データの第１の教師ラベルを取得する手順と、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する手順と、前記第１のモデルの精度を検出する手順と、前記精度を提示する手順と、前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する手順と更新された第１の教師データを取得する手順とを実行させるためのラベル収集プログラムである。
【発明の効果】
【００１３】
本発明により、機械学習の精度を向上させる教師データの教師ラベルを収集することが可能である。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態における、ラベル収集装置の構成の例を示す図である。
【図２】第１実施形態における、作成者による教師データの作成処理とラベル収集装置の動作との例を示すフローチャートである。
【図３】第２実施形態における、ラベル収集装置の構成の例を示す図である。
【図４】第２実施形態における、ラベル収集装置の動作の例を示すフローチャートである。
【図５】第３実施形態における、ラベル収集装置の構成の例を示す図である。
【図６】第３実施形態における、判定モデルの学習例を示すフローチャートである。
【図７】第３実施形態における、判定モデルの精度の判定例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
本発明の実施形態について、図面を参照して詳細に説明する。
【００１６】
（第１実施形態）
図１は、ラベル収集装置１ａの構成の例を示す図である。ラベル収集装置１ａは、機械学習に用いられる教師データの教師ラベルを収集する情報処理装置であり、例えば、パーソナルコンピュータ、スマートフォン端末、タブレット端末等である。教師ラベルは、サンプルに対する行動ラベルであり、例えば人の行動を表すラベルである。
【００１７】
ラベル収集装置１ａは、サンプルｘの集合Ｘを入力データとして記憶している。以下では、集合のサンプルの数（要素数）は１以上である。サンプルｘは、センサデータであり、例えば、画像データ、音声データ、加速度データ、温度データ、照度データである。画像データは、例えば、病室に取り付けられたカメラによって看護師が撮影されている動画像又は静止画像のデータである。画像のデータは、画像に含まれている文字の認識結果を含んでもよい。音声データは、例えば、勤務中の看護師が身につけているマイクによって収音された音声のデータである。加速度データは、例えば、勤務中の看護師が身につけている加速度センサによって検出された加速度のデータである。
【００１８】
１人以上の作成者は、サンプルの集合Ｘを構成するサンプルｘｉに教師ラベル（分類クラス）を付与することによって、機械学習に用いられる教師データｄｉ（＝（サンプルｘｉ，教師ラベルｙｉ））を作成する。ｄｉの添字ｉは、教師データに含まれているサンプルのインデックスを表す。
【００１９】
作成者は、ラベル収集装置１ａから提示されたサンプルｘを確認し、サンプルｘに付与する教師ラベルｙを決定する。例えば、作成者は、非系列データである静止画像データに、「犬」「猫」のような教師ラベルを付与することができる。例えば、作成者は、患者に投薬している看護師の姿が撮影されている静止画像データであるサンプルｘに、教師ラベル「投薬」を付与することができる。作成者は、系列データである音声データに、［開始時刻，終了時刻，分類クラス］等の組形式の教師ラベルを付与することができる。作成者は、ラベル収集装置１ａを操作することによって、サンプルｘに付与される教師ラベルをラベル収集装置１ａに記録する。
【００２０】
以下では、サンプルｘは、一例として非系列データである。教師ラベルの集合Ｙは、一例として｛ｙ１，…，ｙｎ｝の形式で表記される。
【００２１】
ラベル収集装置１ａは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ａとを備える。
【００２２】
バス２は、ラベル収集装置１ａの各機能部の間におけるデータを転送する。
入力装置３は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力装置３は、教師データの作成者によって操作される。
【００２３】
入力装置３は、無線通信装置でもよい。入力装置３は、例えば、センサによって生成された画像データ及び音声データ等のサンプルｘを、無線通信によってインタフェース４に入力してもよい。
【００２４】
インタフェース４は、例えば、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現される。インタフェース４は、入力装置３から入力されたサンプルｘを、記憶装置６に記録する。インタフェース４は、サンプルｘを演算処理部８ａに出力してもよい。インタフェース４は、入力装置３から入力された教師ラベルｙを、演算処理部８ａに出力する。
【００２５】
表示装置５は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示装置５は、インタフェース４から取得された画像データを表示する。インタフェース４から取得される画像データは、例えば、サンプルｘの画像データ、教師ラベルを表す文字列の画像データ、機械学習の推定モデルの精度を表す数値データである。
【００２６】
記憶装置６は、フラッシュメモリ、ハードディスクドライブ等の不揮発性の記録媒体（非一時的な記録媒体）である。記憶装置６は、プログラムを記憶する。プログラムは、例えば、クラウドサービスとしてラベル収集装置１ａに提供される。プログラムは、サーバ装置から配信されるアプリケーションとして、ラベル収集装置１ａに提供されてもよい。
【００２７】
記憶装置６は、入力装置３によってインタフェース４に入力された１以上のサンプルｘを記憶する。記憶装置６は、入力装置３によってインタフェース４に入力された１以上の教師ラベルｙを、サンプルｘに対応付けて記憶する。記憶装置６は、サンプルｘと教師ラベルｙとが対応付けられたデータである１以上の教師データｄを記憶する。
【００２８】
メモリ７は、ＲＡＭ（Random Access Memory）等の揮発性の記録媒体である。メモリ７は、記憶装置６から展開されたプログラムを記憶する。メモリ７は、演算処理部８ａによって生成された各種データを一時的に記憶する。
【００２９】
演算処理部８ａは、ＣＰＵ（Central Processing Unit）等のプロセッサを用いて構成される。演算処理部８ａは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３として機能する。
【００３０】
取得部８０は、入力装置３によってインタフェース４に入力された教師ラベルｙｉを取得する。取得部８０は、表示装置５に表示されているサンプルｘｉに教師ラベルｙｉを対応付けることによって、教師データｄｉ（＝（ｘｉ，ｙｉ））を生成する。取得部８０は、生成された教師データｄｉを記憶装置６に記録する。
【００３１】
取得部８０は、教師データｄｉの集合Ｄ（＝（サンプルｘｉの集合Ｘ，教師ラベルｙｉの集合Ｙ））を、教師データのデータセットとして記憶装置６から取得する。なお、取得部８０は、他の作成者によって作成された教師データｄｊの集合Ｄを、過去の教師データのデータセットとして更に取得してもよい。ｄｊの添字ｊは、教師データのサンプルのインデックスを表す。
【００３２】
学習処理部８１は、取得部８０によって取得された教師データｄｉの集合Ｄに基づいて、推定モデルＭの機械学習を実行する。学習処理部８１は、過去の教師データに基づいて推定モデルＭの機械学習を実行してもよい。
【００３３】
精度検出部８２は、推定モデルＭの精度を検出する。推定モデルＭの精度は、確率で表現可能な値であり、例えば、推定モデルＭの正解率、適合率又は再現率である。精度検出部８２は、推定モデルＭの精度を検出する代わりに、推定モデルＭの出力変数の誤差を検出してもよい。
【００３４】
提示処理部８３は、推定モデルＭの精度を表す数値の画像を生成する。提示処理部８３は、教師データに含まれている各サンプルを表す画像を生成してもよい。提示処理部８３は、教師データに含まれている各教師ラベルを表す文字列等の画像を生成してもよい。提示処理部８３は、生成された画像を表示装置５に出力する。
【００３５】
次に、動作例を説明する。
図２は、作成者による教師データの作成処理とラベル収集装置１ａの動作との例を示すフローチャートである。
【００３６】
作成者は、サンプルｘｉに教師ラベルｙｉを付与することによって、教師データｄｉの集合Ｄをラベル収集装置１ａに入力する（ステップＳ１０１）。
【００３７】
取得部８０は、教師データｄｉの集合Ｄを取得する（ステップＳ２０１）。学習処理部８１は、教師データｄｉの集合Ｄに基づいて、推定モデルＭの機械学習を実行する（ステップＳ２０２）。精度検出部８２は、推定モデルＭの精度を検出する（ステップＳ２０３）。提示処理部８３は、推定モデルＭの精度を表すを数値の画像等を、表示装置５に表示させる（ステップＳ２０４）。
【００３８】
提示処理部８３は、ステップＳ２０４の処理を、例えばセンサが画像データ等を生成中にリアルタイムで実行する。提示処理部８３は、ステップＳ２０４の処理を、センサが画像データ等を生成した日の後日における所定時刻に実行してもよい。
【００３９】
作成者は、追加の教師データの集合を作成する（ステップＳ１０２）。作成者は、推定モデルＭの精度が第１の精度閾値を超えるように新規に取得された教師データＤ＋を学習処理部に入力するため、ステップＳ１０１の処理を再び行う。
【００４０】
以上のように、第１実施形態のラベル収集装置１ａは、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３とを備える。取得部８０は、機械学習に用いられる教師データｄの教師ラベルｙを取得する。学習処理部８１は、取得された教師ラベルｙとサンプルｘｉとを含む教師データｄｉに基づいて推定モデルＭの機械学習を実行する。精度検出部８２は、推定モデルＭの精度を検出する。提示処理部８３は、推定モデルＭの精度を表示装置５に表示させることによって、推定モデルＭの精度を作業者に提示する。取得部８０は、更新された教師データｄi＋を取得する。
【００４１】
これによって、ラベル収集装置１ａは、機械学習の精度を向上させる教師データの教師ラベルを収集することが可能である。更新された教師データの質は向上しているので、センサデータに基づいて行動を認識する教師あり機械学習の精度は向上する。ラベル収集装置１ａは、推定モデルＭの精度を表示装置５に表示させ，作成者が教師データの質を向上させる動機づけをするというゲーミフィケーション（Gamification）を実行することが可能である。
【００４２】
行動認識結果を業務履歴として記録する装置は、推定モデルＭの出力変数をリアルタイムで記録することができる。行動認識結果を可視化する装置は、推定モデルＭの出力変数をリアルタイムで可視化することができる。ユーザは、記録された行動認識結果に基づいて業務履歴を確認することができる。ユーザは、業務履歴に基づいて業務改善を行うことができる。
【００４３】
（第２実施形態）
第２実施形態では、サンプルに対する行動ラベルとして正しくない（サンプルとの関連が低い）教師ラベルを作成者がサンプルに付与するという不正行為（cheating）の有無をラベル収集装置が判定する点が、第１実施形態と相違する。第２実施形態では第１実施形態との相違点について説明する。
【００４４】
作成者は、教師データを作成する際に、サンプルとの関連が低い教師ラベルを作成者がサンプルに付与するという不正行為を行う可能性がある。例えば、作成者は、座って書類を作成している看護師の姿が撮影されている静止画像データであるサンプルに、教師ラベル「書類作成」ではなく、教師ラベル「投薬」を付与することができる。
【００４５】
第２実施形態のラベル収集装置は、第１の作成者によって作成された第１教師データと、不正行為を行っていない１人以上の第２の作成者によって作成された第２教師データとの類似度に基づいて、第１の作成者が第１教師データを作成した際の不正行為の有無を判定する。
【００４６】
図３は、ラベル収集装置１ｂの構成の例を示す図である。ラベル収集装置１ｂは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ｂとを備える。演算処理部８ｂは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、特徴量処理部８４と、集合データ生成部８５と、警告処理部８６として機能する。
【００４７】
取得部８０は、第１サンプルｘｉの集合Ｘを、記憶装置６から取得する。取得部８０は、第１の作成者によって第１サンプルｘｉに付与された第１教師ラベルｙｉの集合Ｙを、記憶装置６から取得する。
【００４８】
取得部８０は、第２サンプルの集合Ｘ’を、記憶装置６から取得する。取得部８０は、不正行為を行っていない１人以上の第２の作成者によって第２サンプルｘｊ’に付与された第２教師ラベルｙｊ’の集合Ｙ’を、記憶装置６から取得する。第２教師ラベルｙｊ’は、サンプルに対する行動ラベルとして正しい教師ラベル（以下「正当ラベル」という。）である。サンプルとの関連が低い教師ラベルであるか否かは、例えば、所定の基準に基づいて予め定められる。
【００４９】
特徴量処理部８４は、第１サンプルｘｉの集合Ｘの統計量に基づく特徴量（以下「第１特徴量」という。）を算出する。第１特徴量は、例えば、第１サンプルｘｉが画像データである場合、第１サンプルｘｉの画像特徴量である。
【００５０】
特徴量処理部８４は、第２サンプルｘｊ’の集合Ｘ’の統計量に基づく特徴量（以下「第２特徴量」という。）を算出する。第２特徴量は、例えば、第２サンプルｘｊ’が画像データである場合、第２サンプルｘｊ’の画像特徴量である。
【００５１】
集合データ生成部８５は、第１サンプルｘｉの集合Ｘと第１教師ラベルｙｉの集合Ｙとを結合することによって、第１教師データｄｉの集合Ｄ（＝｛（ｘ１，ｙ１），…｝）を生成する。集合データ生成部８５は、第２サンプルｘｊの集合Ｘ’と第２教師ラベルｙｊの集合Ｙ’とを結合することによって、第２教師データｄｊの集合Ｄ’（＝｛（ｘ１’，ｙ１’），…｝）を生成する。
【００５２】
警告処理部８６は、第１教師データの集合Ｄと第２教師データの集合Ｄ’との類似度Ｇｉ（ｉ＝１，２，…）を、例えば第１特徴量Ｖ及び第２特徴量Ｖ’に基づいて、閾値法又は異常検出法によって算出する。なお、これらの方法は一例である。
【００５３】
（閾値法）
警告処理部８６は、例えば第１教師データｄｉから第２教師データｄｊ（ｊ＝１，２，…）までの各距離の平均値ｈを、類似度Ｇｉとして算出する。距離とは、第１特徴量Ｖ及び第１教師データを組にしたベクトルと、第２特徴量Ｖ’及び第２教師データを組にしたベクトルとの間の距離である。各距離の平均値ｈが閾値以上である場合、類似度Ｇｉは１である。各距離の平均値ｈが閾値未満である場合、類似度Ｇｉは０である。
【００５４】
（異常検出法）
警告処理部８６は、第２教師データｄｊ（ｊ＝１，２，…）に対する第１教師データｄｉの異常度の逆数（正常度）を、類似度Ｇｉとして算出してもよい。異常度は、第１教師データｄｉ及び第２教師データｄｊの間の距離、すなわち、第１教師データから得られる第１特徴量Ｖと第２教師データから得られる第２特徴量Ｖ’との差分の絶対値でもよい。又は、異常度は、第１データから得られる第１特徴量Ｖと第２教師データから得られる第２特徴量Ｖ’とのユークリッド距離でもよい。異常度には、上限が設けられてもよい。
【００５５】
警告処理部８６は、類似度Ｇｉ（ｉ＝１，２，…）の平均値Ｈを算出する。警告処理部８６は、類似度Ｇｉの平均値Ｈが類似度閾値を超えているか否かを判定する。類似度閾値は、類似度Ｇｉが１又は０である場合、例えば０．５である。
【００５６】
提示処理部８３は、類似度Ｇｉの平均値Ｈを表示装置５に出力する。提示処理部８３は、類似度Ｇｉの平均値Ｈが類似度閾値以下であると判定された場合、第１教師データｄｉの作成に関して不正行為が行われた可能性が高い旨の警告を、表示装置５に出力する。
【００５７】
次に、ラベル収集装置１ｂの動作の例を説明する。
図４は、ラベル収集装置１ｂの動作の例を示すフローチャートである。取得部８０は、第１サンプルｘｉの集合Ｘと、第１教師ラベルｙｉの集合Ｙとを取得する（ステップＳ３０１）。取得部８０は、第２サンプルの集合Ｘ’と、第２教師ラベルｙｊ’の集合Ｙ’とを取得する（ステップＳ３０２）。
【００５８】
特徴量処理部８４は、第１サンプルｘｉの集合Ｘに基づいて、第１特徴量Ｖを算出する（ステップＳ３０３）。特徴量処理部８４は、第２サンプルｘｊ’の集合Ｘ’に基づいて、第２特徴量Ｖ’を算出する（ステップＳ３０４）。
【００５９】
集合データ生成部８５は、第１教師データｄｉの集合Ｄを生成する（ステップＳ３０５）。集合データ生成部８５は、第２教師データｄｊの集合Ｄ’を生成する（ステップＳ３０６）。
【００６０】
警告処理部８６は、第１特徴量及び第１教師データを組みにしたベクトルの集合と、第２特徴量及び第２教師データを組みにしたベクトルの集合との類似度Ｇｉの平均値Ｈを算出する（ステップＳ３０７）。提示処理部８３は、類似度Ｇｉの平均値Ｈを表示装置５に出力する（ステップＳ３０８）。
【００６１】
警告処理部８６は、類似度Ｇｉの平均値Ｈが類似度閾値を超えているか否かを判定する（ステップＳ３０９）。類似度Ｇｉの平均値Ｈが類似度閾値を超えていると判定された場合（ステップＳ３０９：ＹＥＳ）、ラベル収集装置１ｂは、図４に示されたフローチャートの処理を終了する。類似度Ｇｉの平均値Ｈが類似度閾値以下であると判定された場合（ステップＳ３０９：ＮＯ）、提示処理部８３は、警告を表示装置５に出力する（ステップＳ３１０）。
【００６２】
以上のように、第２実施形態のラベル収集装置１ｂは、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、警告処理部８６とを備える。取得部８０は、機械学習に用いられる第１の教師データｄｉの第１の教師ラベルｙｉを取得する。学習処理部８１は、取得された第１の教師ラベルｙｉとサンプルｘｉとを含む第１の教師データｄｉに基づいて、推定モデルＭの機械学習を実行する。精度検出部８２は、推定モデルＭの精度を検出する。提示処理部８３は、推定モデルＭの精度を表示装置５に表示させることによって、推定モデルＭの精度を作業者に提示する。警告処理部８６は、サンプルとの関連が低くない第２の教師ラベル（正当ラベル）を含む第２の教師データｄｊと第１の教師データｄｉとの類似度が所定の類似度閾値以下である場合に警告を出力する。さらに、取得部８０は、更新された第１の教師データｄｉを取得する。
【００６３】
これによって、第２実施形態のラベル収集装置１ｂは、作成者によって作成された教師データの集合と他の作成者によって作成された教師データの集合との類似度を、ユーザに提示することを可能とする。また、ラベル収集装置１ｂは、第２の教師データｄｊと第１の教師データｄｉとの類似度が所定の類似度閾値以下である場合に、警告を出力することが可能である。
【００６４】
（第３実施形態）
第３実施形態では、機械学習が実行された判定モデルを用いて不正行為の有無をラベル収集装置が判定する点が、第２実施形態と相違する。第３実施形態では第２実施形態との相違点について説明する。
【００６５】
図５は、ラベル収集装置１ｃの構成の例を示す図である。ラベル収集装置１ｃは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ｃとを備える。演算処理部８ｂは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、特徴量処理部８４と、集合データ生成部８５と、警告処理部８６と、ラベル処理部８７と、学習データ生成部８８と、不正判定学習処理部８９として機能する。
【００６６】
取得部８０は、第１サンプルｘｉの集合Ｘと、第１の作成者によって第１サンプルｘｉに付与された第１教師ラベルｙｉの集合Ｙとを取得する。取得部８０は、第２サンプルの集合Ｘ’と、不正行為を行っていない１人以上の第２の作成者によって第２サンプルｘｊ’に付与された第２教師ラベルｙｊ’の集合Ｙ’とを取得する。取得部８０は、第３サンプルの集合Ｘ’’と、意図的に不正行為を行った１人以上の第３の作成者によって第３サンプルｘｋ’’に付与された第３教師ラベルｙｋ’’の集合Ｙ’’とを取得する。ｘｋ’’の添字ｋは、第３サンプルのインデックスを表す。
【００６７】
集合データ生成部８５は、第１サンプルｘｉの集合Ｘと第１教師ラベルｙｉの集合Ｙとを結合することによって、第１教師データｄｉの集合Ｄ（＝｛（ｘ１，ｙ１），…｝）を生成する。集合データ生成部８５は、第２サンプルｘｊの集合Ｘ’と第２教師ラベルｙｊの集合Ｙ’とを結合することによって、第２教師データｄｊの集合Ｄ’（＝｛（ｘ１’，ｙ１’），…｝）を生成する。集合データ生成部８５は、第３サンプルｘｋの集合Ｘ’’と第３教師ラベルｙｋの集合Ｙ’’とを結合することによって、第３教師データｄｋの集合Ｄ’’（＝｛（ｘ１’’，ｙ１’’），…｝）を生成する。
【００６８】
ラベル処理部８７は、正当ラベルを第２教師データの集合Ｄ’に含める。例えば、ラベル処理部８７は、第２教師データｄｊ’の構成（第２サンプルｘｊ’，第２教師ラベルｙｊ’）を、（第２サンプルｘｊ’，第２教師ラベルｙｊ’，正当ラベルｒｊ’）という構成に更新する。
【００６９】
ラベル処理部８７は、サンプルに対する行動ラベルとして正しくない教師ラベル（以下「不正ラベル」という。）を、第３教師データの集合Ｄ’’に含める。例えば、ラベル処理部８７は、第３教師データｄｋ’’の構成（第３サンプルｘｋ’’，第３教師ラベルｙｋ’’）を、（第３サンプルｘｋ’’，第３教師ラベルｙｋ’’，不正ラベルｒｋ’’）という構成に更新する。
【００７０】
学習データ生成部８８は、第２教師データの集合Ｄ’と第３教師データの集合Ｄ’’とに基づいて、判定モデルＦの機械学習に用いられるデータである学習データを生成する。判定モデルＦは、機械学習のモデルであり、不正行為の有無を判定するために用いられるモデルである。
【００７１】
学習フェーズにおいて、不正判定学習処理部８９は、生成された学習データを判定モデルＦの入力変数及び出力変数とすることによって、判定モデルＦの機械学習を実行する。不正判定学習処理部８９は、機械学習が実行された判定モデルＦを、記憶装置６に記録する。
【００７２】
学習フェーズよりも後の判定フェーズにおいて、不正判定学習処理部８９は、第１教師データｄｉを判定モデルＦの入力変数として、判定モデルＦの出力Ｐｉ（＝Ｆ（ｄｉ））を、第１教師データの集合Ｄについて検出する。正当ラベル及び不正ラベルが２値で表現されている場合、正当ラベルであることを表す出力Ｐｉは０であり、不当ラベルであることを表す出力変数Ｐｉは１である。なお、出力Ｐｉは、０から１までの確率で表現されてもよい。
【００７３】
判定フェーズにおいて、警告処理部８６は、出力Ｐｉ（ｉ＝１，２，…）の平均値を、判定モデルＦの精度の平均値Ｈ’として算出する。警告処理部８６は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えているか否かを判定する。第２の精度閾値は、出力Ｐｉが１又は０である場合、例えば０．５である。判定モデルＦの精度は、確率で表現可能な値であり、例えば、判定モデルＦの正解率、適合率又は再現率である。
【００７４】
提示処理部８３は、判定モデルＦの精度の平均値Ｈ’を表示装置５に出力する。提示処理部８３は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値以下であると判定された場合、警告を表示装置５に出力する。
【００７５】
次に、ラベル収集装置１ｃの動作の例を説明する。
図６は、判定モデルＦの学習例（学習フェーズ）を示すフローチャートである。取得部８０は、第１サンプルｘｉの集合Ｘと第１教師ラベルｙｉの集合Ｙとを取得する（ステップＳ４０１）。取得部８０は、第２サンプルの集合Ｘ’と第２教師ラベルｙｊ’の集合Ｙ’とを取得する（ステップＳ４０２）。取得部８０は、第３サンプルの集合Ｘ’’と第３教師ラベルｙｋ’’の集合Ｙ’’とを取得する（ステップＳ４０３）。
【００７６】
集合データ生成部８５は、第１教師データｄｉの集合Ｄを生成する（ステップＳ４０４）。集合データ生成部８５は、第２教師データｄｊの集合Ｄ’を生成する（ステップＳ４０５）。集合データ生成部８５は、第３教師データｄｋの集合Ｄ’’を生成する（ステップＳ４０６）。
【００７７】
ラベル処理部８７は、正当ラベルを第２教師データの集合Ｄ’に含める（ステップＳ４０７）。ラベル処理部８７は、不正ラベルを第３教師データの集合Ｄ’’に含める（ステップＳ４０８）。
【００７８】
学習データ生成部８８は、第２教師データの集合Ｄ’と第３教師データの集合Ｄ’’とに基づいて、学習データを生成する（ステップＳ４０９）。不正判定学習処理部８９は、判定モデルＦの機械学習を実行する（ステップＳ４１０）。不正判定学習処理部８９は、機械学習が実行された判定モデルＦを、記憶装置６に記録する（ステップＳ４１１）。
【００７９】
図７は、判定モデルＦの精度の判定例（判定フェーズ）を示すフローチャートである。不正判定学習処理部８９は、第１サンプルの集合Ｘを、入力変数として判定モデルＦに入力する（ステップＳ５０１）。警告処理部８６は、出力Ｐｉの平均値（判定モデルＦの出力）を、判定モデルＦの精度の平均値Ｈ’として算出する（ステップＳ５０２）。提示処理部８３は、判定モデルＦの精度の平均値Ｈ’を表示装置５に出力する（ステップＳ５０３）。
【００８０】
警告処理部８６は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えているか否かを判定する（ステップＳ５０４）。判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えていると判定された場合（ステップＳ５０４：ＹＥＳ）、ラベル収集装置１ｃは、図７に示されたフローチャートの処理を終了する。判定モデルＦの精度の平均値Ｈ’が第２の精度閾値以下であると判定された場合（ステップＳ５０４：ＮＯ）、提示処理部８３は、警告を表示装置５に出力する（ステップＳ５０５）。
【００８１】
以上のように、第３実施形態のラベル収集装置１ｃは、学習処理部８１と、警告処理部８６とを備える。学習処理部８１は、サンプルとの関連が低い第３の教師ラベル（不正ラベル）を含む第３の教師データｄｋと第２の教師データｄｊとに基づいて、判定モデルＦの機械学習を実行する。警告処理部８６は、第１の教師データｄｉに対する判定モデルＦの精度が所定の第２の精度閾値以下である場合に警告を出力する。
【００８２】
これによって、第３実施形態のラベル収集装置１ｃは、作成者が教師データを作成した際の不正行為の有無を、判定モデルＦを用いて作成者ごとに判定することができる。ラベル収集装置１ｃは、１個の第１サンプルｘｉと１個の教師ラベルｙｉとから第１教師データｄｉが構成されている場合、１個の第１サンプルｘｉが不正行為によって作成されたサンプルであるか否かを判定することができる。
【００８３】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００８４】
本発明は、教師データの教師ラベルを収集する情報処理装置に適用可能である。
【符号の説明】
【００８５】
１ａ，１ｂ，１ｃ…ラベル収集装置、２…バス、３…入力装置、４…インタフェース、５…表示装置、６…記憶装置、７…メモリ、８ａ，８ｂ，８ｃ…演算処理部、８０…取得部、８１…学習処理部、８２…精度検出部、８３…提示処理部、８４…特徴量処理部、８５…集合データ生成部、８６…警告処理部、８７…ラベル処理部、８８…学習データ生成部、８９…不正判定学習処理部
【図１】
2019167556.tif 000003
【図２】
2019167556.tif 000004
【図３】
2019167556.tif 000005
【図４】
2019167556.tif 000006
【図５】
2019167556.tif 000007
【図６】
2019167556.tif 000008
【図７】
2019167556.tif 000009
【国際調査報告】
2019167556.tif 000010
2019167556.tif 000011
2019167556.tif 000012