(57)【要約】【課題】教師あり学習に用いるラベルの質を向上させることが可能な情報処理装置および情報処理方法を提案する。【解決手段】第１のデータセットを教師データとした教師あり学習により学習された分類器により、第２のデータセットを評価データとして分類を行う分類部と、前記分類部による分類結果に応じた前記第２のデータセットのラベルの修正を受け付ける入力部と、前記入力部により受け付けられた修正を反映して前記第２のデータセットを更新する更新部と、を備える情報処理装置。【選択図】図４
2015087903.tif 000002
【特許請求の範囲】
【請求項１】
第１のデータセットを教師データとした教師あり学習により学習された分類器により、第２のデータセットを評価データとして分類を行う分類部と、
前記分類部による分類結果に応じた前記第２のデータセットのラベルの修正を受け付ける入力部と、
前記入力部により受け付けられた修正を反映して前記第２のデータセットを更新する更新部と、
を備える情報処理装置。
【請求項２】
前記第１のデータセットおよび前記第２のデータセットは、ラベルが設定された分類対象の集合であり、
前記分類部は、前記分類対象を分類して対応するラベルを予測し、
前記入力部は、前記分類対象に設定されたラベルと前記分類部により予測されたラベルとが異なる場合に、当該分類対象に設定されたラベルの修正を受け付ける、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記分類対象に設定されたラベルと前記分類部により予測されたラベルとが異なる分類対象を示す情報を出力する出力部をさらに備える、請求項２に記載の情報処理装置。
【請求項４】
前記情報処理装置は、前記分類対象に設定されたラベルと前記分類部により予測されたラベルとを比較する混同行列により前記分類結果を評価する評価部をさらに備える、請求項２に記載の情報処理装置。
【請求項５】
前記情報処理装置は、前記更新部により更新された前記第２のデータセットを教師データとした教師あり学習により学習された分類器による前記第１のデータセットを評価データとした分類、前記入力部による前記第１のデータセットのラベルの修正の受け付け、および前記更新部による前記第１のデータセットの更新を含む、第１の再ラベリング処理を制御する制御部をさらに備える、請求項１に記載の情報処理装置。
【請求項６】
前記制御部は、前記第１の再ラベリング処理により更新された前記第１のデータセットを教師データとした教師あり学習により学習された分類器による前記第２のデータセットを評価データとした分類、前記入力部による前記第２のデータセットのラベルの修正の受け付け、および前記更新部による前記第２のデータセットの更新を含む、第２の再ラベリング処理を制御する、請求項５に記載の情報処理装置。
【請求項７】
前記制御部は、前記第１の再ラベリング処理および前記第２の再ラベリング処理を交互に繰り返す、請求項６に記載の情報処理装置。
【請求項８】
前記制御部は、前記入力部がラベルの修正を受け付けなくなるまで、前記第１の再ラベリング処理および前記第２の再ラベリング処理を交互に繰り返す、請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、前記第１のデータセットおよび前記第２のデータセットの少なくともいずれかに第３のデータセットを追加する、請求項５に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、前記第１のデータセットまたは前記第２のデータセットを教師データとした教師あり学習により分類器の学習を行う学習部をさらに備える、請求項１に記載の情報処理装置。
【請求項１１】
前記分類対象は、動画像、静止画像、または音その他のコンテンツである、請求項２に記載の情報処理装置。
【請求項１２】
第１のデータセットを教師データとした教師あり学習により学習された分類器により、第２のデータセットを評価データとした分類を行うステップと、
分類結果に応じた前記第２のデータセットのラベルの修正を受け付けるステップと、
受け付けられた修正を反映して前記第２のデータセットを更新するステップと、
を備える、情報処理装置のプロセッサにより実行される情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
近年、機械学習によって学習した辞書を用いて様々な判断を行う情報処理装置が開発されている。例えば、機械学習により画像を被写体のカテゴリごとに分類したり、文書を内容のカテゴリごとに分類したり、半導体の製造工程をモニタリングして欠陥を発見したりするシステムが開発されている。そして、このようなシステムの性能向上のために、機械学習技術のさらなる向上が求められている。
【０００３】
例えば、下記特許文献１では、特定された欠陥を作業者に撮像させ、作業者の目視により欠陥の不良モードを判定させて、その判定結果に基づいて弁別条件を更新する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０８５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に、機械学習の一手法である教師あり学習においては、画像や文書、音声などのデータと、そのデータの内容を示すラベルとの組み合わせの集合を教師データおよび評価データとした学習が行われる。しかし、うまく学習できるか否かは教師あり学習に用いるラベルに依存するため、例えばこのラベルに誤りが含まれる場合には、うまく学習することができなかった。
【０００６】
そこで、本開示では、教師あり学習に用いるラベルの質を向上させることが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、第１のデータセットを教師データとした教師あり学習により学習された分類器により、第２のデータセットを評価データとして分類を行う分類部と、前記分類部による分類結果に応じた前記第２のデータセットのラベルの修正を受け付ける入力部と、前記入力部により受け付けられた修正を反映して前記第２のデータセットを更新する更新部と、を備える情報処理装置が提供される。
【０００８】
また、本開示によれば、第１のデータセットを教師データとした教師あり学習により学習された分類器により、第２のデータセットを評価データとした分類を行うステップと、分類結果に応じた前記第２のデータセットのラベルの修正を受け付けるステップと、受け付けられた修正を反映して前記第２のデータセットを更新するステップと、を備える、情報処理装置のプロセッサにより実行される情報処理方法が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、教師あり学習に用いるラベルの質を向上させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る学習装置の概要を説明するための図である。
【図２】同実施形態に係る学習装置の概要を説明するための図である。
【図３】第１の実施形態に係る学習装置の内部構成を示すブロック図である。
【図４】第１の実施形態に係る学習装置の動作を示すフローチャートである。
【図５】第１の実施形態に係る学習装置の動作を説明するための図である。
【図６】第１の実施形態に係る学習装置の動作を示すフローチャートである。
【図７】第１の実施形態に係る学習装置の動作を説明するための図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る学習装置の概要
２．第１の実施形態
２−１．構成
２−２．動作処理
２−２−１．データセットの質の向上
２−２−２．新しいデータセットの追加
３．まとめ
【００１３】
＜１．本開示の一実施形態に係る学習装置の概要＞
本開示の一実施形態に係る学習装置（情報処理装置）は、教師あり学習により学習を行う。そこで、まず、教師あり学習の概要を説明する。
【００１４】
教師あり学習とは、データ（分類対象）とそれに付随するラベルとの組み合わせの集合を教師セット（教師データ）として、教師セットに対するフィッティングを行うことにより学習を行う、機械学習の一手法である。フィッティングは、教師セットが含むデータの特徴量を抽出して、ラベルごとの特徴量を選んだり、そのラベルに属するデータの特徴を捉えたりすることにより行う。
【００１５】
学習装置は、教師セットを用いた教師あり学習により辞書（分類器）を生成する。そして、学習装置は、学習した辞書により、教師セットとは異なるデータとラベルとの組み合わせの集合である評価セット（評価データ）を対象として、各データに対応するラベルを予測する。この予測精度が高いほど、学習装置がうまく学習できたことを示している。なお、予測精度とは、学習装置により予測されたラベルと、そのデータにもともと設定されていたラベルとの一致度である。
【００１６】
本実施形態に係る学習装置は、ユーザにより与えられた大量のデータおよびラベルを含む教師セットにより学習を行った上で、学習には用いなかった未知のデータである評価セットに含まれる、各データのラベルを予測する。以下、図１〜図２を参照して、教師あり学習の具体例を説明する。
【００１７】
図１は、本開示の一実施形態に係る学習装置の概要を説明するための図である。以下では、学習装置が、図１に示す画像を対象として学習を行う例を説明する。
【００１８】
図１に示した画像は、犬のクラス１００Ａと鳥のクラス１００Ｂとに分類される。このため、ユーザは、クラス１００Ａに属するデータに対して「犬」というラベルを設定し、クラス１００Ｂに属するデータに対して「鳥」というラベルを設定したデータセットを、教師セットとして学習装置に入力する。学習装置は、このようなデータセットを教師セットとして学習した場合、「犬」と「鳥」という２クラスの判別問題を解くことができる。
【００１９】
他にも、図１に示したデータは、写真のクラス２００Ａとイラストのクラス２００Ｂとに分類される。このため、ユーザは、クラス２００Ａに属するデータに対して「写真」というラベルを設定し、クラス２００Ｂに属するデータに対して「イラスト」というラベルを設定したデータセットを、教師セットとして学習装置に入力する。学習装置は、このようなデータセットを教師セットとして学習した場合、「写真」と「イラスト」という２クラスの判別問題を解くことができる。
【００２０】
このように、もともとのデータが同じであっても、設定するラベルを変えることにより、学習装置は、それぞれの判別問題を解くことができるように学習を行う。また、図２に示すように、学習装置は、２クラスだけではなく、３クラスの判別問題を解くこともできる。
【００２１】
図２は、同実施形態に係る学習装置の概要を説明するための図である。図２に示した画像は、画像に含まれる犬の犬種ごとのラベルが設定された、クラス３００Ａ、３００Ｂ、３００Ｃに分けられる。学習装置は、このようなデータセットを教師セットとして学習した場合、犬種ごとの判別という３クラスの判別問題を解くことができる。また、学習装置は、３クラス以上の多クラスの判別問題を解くことも可能である。
【００２２】
ここで、画像の中には、見た目が良く似ているクラスについて、どのラベルを設定するかユーザが迷う画像が存在し得る。例えば、図２に示した例では、画像４００に含まれる犬は、クラス３００Ｂに含まれる犬と毛並が似ており、３００Ｃに含まれる犬と模様が似ているので、ユーザはどちらのラベルを設定するか迷ってしまう。このような、複数のクラスの中間に位置する中間画像は、どちらのクラスに分類されるかユーザの判断にブレが生じてしまう。このため、ユーザの判断基準に一貫性が保たれず、判断に不一致が生じてブレのあるラベルが設定される場合がある。即ち、教師セットや評価セットとして用いるデータセットを作成する際に、判断に迷う画像に対してひとつひとつラベリング（データの教師付け）を行うものとすると、本来は同一のクラスにラベリングされるべき画像が、複数のクラスに分散してしまう場合がある。このようなブレのあるラベルが設定される例としては、ユーザが画像４００にクラス３００Ｂのラベルを設定したにも関わらず、画像４００に含まれる犬を別角度から撮像した画像に対してクラス３００Ｃのラベルを設定するような場合である。
【００２３】
このような、判断基準に一貫性が保たれない事態は、画像がクラス間で連続変化する場合に顕著に生じる。例えば、半導体の製造工程における欠陥画像の識別は、埃の大きさに基づいて行われるが、埃の大きさは連続的に変化するため、中間画像がどちらのクラスに分類されるか、人の判断にブレが生じやすい。角度ごとにクラス分けされる手の画像や、年齢層ごとにクラス分けされる人の顔画像などを識別する場合も同様である。このような事態は、画像を対象とした学習のみにとどまらず、音声や文章などの他のデータについても同様に生じ得る。
【００２４】
しかしながら、学習装置は与えられたデータを明確に分類しようとするために、ユーザの判断の不一致が教師セットにあると学習が収束しづらくなる。このため、学習を終えた辞書であっても誤判別が生じることとなり、予測精度が低くなってしまう。さらに、ユーザの判断の不一致が評価セットにもある場合、その予測精度も信頼性できないものとなる。このため、予測精度を高めるためには、ラベルの一貫性があるデータ、即ち質の高いデータを教師セットおよび評価セットとして用いることが求められる。
【００２５】
そこで、上記事情を一着眼点にして本実施形態に係る学習装置を創作するに至った。本実施形態に係る学習装置は、教師あり学習に用いるラベルの質を向上させることが可能である。より具体的には、本実施形態に係る学習装置は、教師セットと評価セットとを交互に入れ替えながら、学習、評価、および再ラベリングを行うことで、教師セットおよび評価セットのラベルに一貫性を与えることを可能にする。以下、本開示の一実施形態に係る学習装置について詳細に説明する。
【００２６】
＜２．第１の実施形態＞
［２−１．構成］
まず、図３を参照して、第１の実施形態に係る学習装置の構成を説明する。
【００２７】
図３は、第１の実施形態に係る学習装置の内部構成を示すブロック図である。図１に示すように、学習装置１は、制御部１１、記憶部１２、学習部１３、分類部１４、評価部１５、表示部１６、入力部１７、および更新部１８を有する。
【００２８】
（記憶部１２）
記憶部１２は、所定の記録媒体に対してデータの記録再生を行う部位である。記憶部１２は、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部１２としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
【００２９】
学習装置１は、２つのデータセット（第１のデータセットおよび第２のデータセット）を用意して、この２つのデータセットを教師セットまたは評価セットのいずれかとして、学習および評価を行う。本実施形態に係る記憶部１２は、この教師セットまたは評価セットとして用いられる２つのデータセットを記憶する。教師セットまたは評価セットとして用いられるデータセットは、ラベルが設定されたデータ（分類対象）の集合である。このデータセットに含まれるデータは、画像（動画像／静止画像）、音、文書その他のコンテンツであるが、本明細書では一例として画像であるものとする。画像を対象とする学習装置１の適用例としては、半導体の製造工程における欠陥画像の識別や、角度ごとにクラス分けされる手の画像の識別、年齢層ごとにクラス分けされる人の顔画像の識別など、様々な画像認識問題が挙げられる。記憶部１２は、ユーザが画像に対応するラベルを予め設定した画像の集合を、評価セットまたは教師セットとして用いるデータセットとして記憶する。また、記憶部１２は、後述の更新部１８により更新されたラベルを上書き保存する。
【００３０】
（学習部１３）
学習部１３は、記憶部１２に記憶されたデータセットを教師セットとした教師あり学習により辞書の学習を行う機能を有する。ここで、辞書とは、データから抽出された特徴量に基づいて、データに対応するラベルを予測する分類器である。辞書は、どの特徴量をどのラベルに対応させるかを規定するパラメータを有しており、学習部１３は、予め設定されたラベルと予測したラベルとの誤差が最小になるように、即ち教師セットにより良くフィッティングするパラメータを、教師あり学習により決定する。
【００３１】
学習部１３は、多様な特徴量に基づいて学習し得る。例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ）特徴量、ＧＩＳＴ特徴量、カラーヒストグラムなどが挙げられる。また、学習装置１は、音の認識問題にも適用可能であるが、音の場合の特徴量としては、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）やケプストラムなどが挙げられる。
【００３２】
なお、学習部１３は、後述の制御部１１による制御に基づき、記憶部１２に記憶された２つのデータセットのうち、いずれを教師セットとするかを決定する。学習部１３は、学習した辞書を分類部１４に出力する。
【００３３】
（分類部１４）
分類部１４は、学習部１３により学習された辞書により、記憶部１２に記憶されたデータセットを評価セットとして分類を行う。詳しくは、分類部１４は、評価セットに含まれるデータを学習部１３により学習された辞書により分類して、対応するラベルを予測する。ここで、分類部１４は、記憶部１２に記憶された２つのデータセットのうち、学習部１３による学習の際に教師セットとして用いられなかった方のデータセットを、評価セットとして用いる。なお、分類部１４は、後述の制御部１１による制御に基づき、記憶部１２に記憶された２つのデータセットのうち、いずれを評価セットとするかを決定する。分類部１４は、予測結果（分類結果）として、評価セットに含まれる各画像に対して予測したラベルを評価部１５に出力する。
【００３４】
（評価部１５）
評価部１５は、評価セットのデータに設定されたラベルと分類部１４により予測されたラベルとを比較して、分類部１４による予測結果を評価する機能を有する。詳しくは、評価部１５は、混同行列（Ｃｏｎｆｕｓｉｏｎ  Ｍａｔｒｉｘ）を作成して、評価セットのデータに設定されたラベルと予測されたラベルとが一致するか否かを評価する。評価部１５は、混同行列を用いることで、多クラスの判別問題も取り扱うことが可能となる。
【００３５】
本実施形態に係る混同行列とは、評価セットとして予め設定されたラベルを縦にとり、分類部１４により予測されたラベルを横にとり、予測精度を評価する表である。１００％の精度で予測された場合、即ち設定されたラベルと予測されたラベルとがすべて一致する場合、対角線上の欄にのみに数字が入り、その他の欄、即ち対角線の外側には０が入る。しかし、ブレのあるラベルが設定された教師セットを用いて学習がされた場合、生成された辞書にもブレが反映され、これに伴いその辞書を用いた予測精度が低くなるので、対角線の外側の部分の数字は０とはならない。混同行列については、表１、表２を参照して後に例を挙げて説明する。
【００３６】
設定されたラベルと予測されたラベルとが一致する画像を、以下では正解画像とも称する。設定されたラベルと予測されたラベルとが異なる画像を、以下では不正解画像とも称する。評価部１５は、評価結果として、評価セットに含まれる画像が正解画像か不正解画像かを示す情報を、表示部１６に出力する。
【００３７】
（表示部１６）
表示部１６は、評価部１５による評価結果を出力する出力部としての機能を有する。また、表示部１６は、データに設定されたラベルと分類部１４により予測されたラベルとが異なる、不正解画像を示す情報を表示してもよい。表示部１６が、不正解画像のみを表示することで、すべての画像の評価結果を表示する場合と比較して、ユーザは、後述するラベルの修正を効率的に行うことができる。さらに、表示部１６は、正解画像を表示しないことにより、正しいラベルが設定された画像について、ユーザが後述するラベルの修正を行うことを回避して、評価セットの質を維持することができる。
【００３８】
（入力部１７）
入力部１７は、分類部１４による予測結果に応じた、評価セットのラベルの修正を受け付ける機能を有する。詳しくは、入力部１７は、評価セットのデータに設定されたラベルと分類部１４により予測されたラベルとが異なる場合に、データに設定されたラベルの修正を受け付ける。具体的には、入力部１７は、表示部１６により表示された不正解画像を見たユーザによる、不正解画像に設定されたラベルの修正を受け付ける。ユーザは、表示部１６に表示された不正解画像について、分類部１４による予測が誤りであるか、または予め設定されたラベルが誤りであるかを判断する。そして、ユーザは、不正解画像に設定されたラベルが誤りであると判断した場合に、不正解画像のラベルの修正を入力部１７に入力する。一方で、ユーザは、分類部１４による予測が誤りであると判定した場合には、不正解画像のラベルを修正しない。
【００３９】
見た目が連続的に変化する画像などの見た目が相互に良く似た画像については、どのラベルを設定するかユーザが迷う場合がある。このため、評価セットに含まれる画像が判断に迷う中間画像である場合、評価セットを作るユーザの判断基準に一貫性が保たれず、誤ったラベルが設定される場合がある。このような場合に、学習装置１は、表示部１６によりユーザに対して修正の機会を与え、入力部１７へのユーザ入力により評価セットのラベルの誤りを修正する。これにより、ラベルの一貫性が得られ、評価セットとして用いられたデータセットの質が向上する。
【００４０】
入力部１７は、ユーザにより受け付けられた、修正されたラベルを示す情報を更新部１８に出力する。
【００４１】
（更新部１８）
更新部１８は、入力部１７により受け付けられた修正を反映して、評価セットとして用いられたデータセットを更新する機能を有する。具体的には、更新部１８は、評価セットに含まれる不正解画像に対して、入力部１７により修正されたラベルを設定して、記憶部１２に上書き保存する。これにより、評価セットとして用いられ、ラベルが修正されたデータセットが、質が向上した状態で記憶部１２に記憶される。
【００４２】
（制御部１１）
制御部１１は、演算処理装置および制御装置として機能し、各種プログラムに従って学習装置１内の動作全般を制御する。制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ等のプロセッサによって実現される。なお、制御部１１は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含んでいてもよい。
【００４３】
本実施形態に係る制御部１１は、教師セットとして用いるデータセットと、評価セットとして用いるデータセットとを交互に入れ替えながら、データセットの更新を行う。以下、記憶部１２に記憶された２つのデータセットのうち一方を第１のデータセット、他方を第２のデータセットとして、制御部１１による制御について説明する。
【００４４】
まず、制御部１１は、上記説明したように、第１のデータセットを教師セットとした学習の後、第２のデータセットを評価セットとした評価を行い、第２のデータセットについてラベルの更新を行う。詳しくは、まず、制御部１１は、学習部１３による第１のデータセットを用いた辞書の学習を制御する。次に、制御部１１は、学習した辞書を用いた分類部１４による、第２のデータセットを対象としたラベルの予測を制御し、続いて評価部１５による評価、および表示部１６による評価結果の表示を制御する。そして、制御部１１は、入力部１７による第２のデータセットに対するラベルの修正の受け付け、修正されたラベルの上書き保存を制御する。このような学習から評価、更新までの一連の処理を、再ラベリング処理とも称する。この再ラベリング処理により、第２のデータセットの質が向上する。
【００４５】
次いで、制御部１１は、再ラベリング処理により更新された第２のデータセットを教師セットとし、第１のデータセットを評価セットとした再ラベリング処理（第１の再ラベリング処理）を制御して、第１のデータセットについてラベルの更新を行う。この再ラベリング処理により、第１のデータセットの質が向上する。
【００４６】
さらに、制御部１１は、再ラベリング処理により更新された第１のデータセットを教師セットとし、前回の再ラベリング処理により更新された第２のデータセットを評価セットとした再ラベリング処理（第２の再ラベリング処理）を制御して、第２のデータセットについてラベルの更新を行う。この再ラベリング処理により、第２のデータセットの質がさらに向上する。
【００４７】
制御部１１は、教師セットとして用いるデータセットと、評価セットとして用いるデータセットとを交互に入れ替えながら、上記説明した再ラベリング処理を繰り返す。これにより、制御部１１は、第１のデータセットおよび第２のデータセットの質を、徐々に向上させることができる。また、データセットの質の向上に伴い予測精度が向上して不正解画像の数が減少するので、表示部１６に表示される不正解画像の数が減少する。ユーザは、再ラベリング処理が繰り返されるにつれて、より少ない数の不正解画像に対して修正を促されるため、ラベルの修正負担が軽減される。さらに、判断基準にブレが生じている中間画像のみに対して何度も修正を促されるため、ユーザは、自身の判断の誤りに容易に気付くことができる。逆に、単に分類部１４による予測が誤りである場合であっても、ユーザは、中間画像に対して自身が付けたラベルが正しいという判断を何度も重ねることで、自身が持つ判断基準の一貫性をより強固にすることができる。また、再ラベリング処理の繰り返しの中で、ユーザの判断基準のブレが正され一貫性が確立してくるに伴い、今まで誤って正解画像とされていた不正解画像が、正しく不正解画像であるとして評価される場合もある。この場合、ユーザは、繰り返しの中で一貫性を確立した判断基準によりラベルを修正することができるので、さらにデータセットの質が向上する。
【００４８】
制御部１１は、入力部１７がラベルの修正を受け付けなくなるまで、再ラベリング処理を交互に繰り返す。ラベルの修正を受け付けなくなるまでとは、再ラベリング処理が収束した場合を示し、例えば、不正解画像のすべてについて、再ラベリング処理を繰り返してもユーザがラベルの修正を行わなくなった場合である。つまり、ユーザの判断基準に一貫性はあるものの、教師セットまたは評価セットとして用いる画像の量が少ないまたは被写体に偏りがあって多様性が欠如する等の事情により十分な学習がなされず、予測精度が向上しなくなった場合である。他にも、再ラベリング処理が収束した場合としては、教師セットまたは評価セットとして用いられるデータセットが含む画像のすべてが正解画像となった場合が挙げられる。
【００４９】
また、制御部１１は、教師セットまたは評価セットとして用いられるデータセットの少なくともいずれかに、新しいデータセット（第３のデータセット）を追加して、学習部１３による学習に用いるデータ量を増加させてもよい。再ラベリング処理が収束しても、例えば画像の量が少ないまたは被写体に偏りがあって多様性が欠如する等の事情により、１００％の精度での予測が実現されず、予測精度に向上の余地がある場合がある。このような場合、制御部１１は、新しいデータセットを追加することで、学習量の増加や多様性の向上を行い、予測精度を向上させることができる。制御部１１は、教師セットまたは評価セットとして用いてきたデータセットの偏りを補完するデータセットを追加することで、予測精度を効率的に向上させることも可能である。
【００５０】
以上、学習装置１の構成を説明した。続いて、図４〜図７を参照して、学習装置１の動作処理を説明する。
【００５１】
［２−２．動作処理］
［２−２−１．データセットの質の向上］
図４は、第１の実施形態に係る学習装置１の動作を示すフローチャートである。図５は、第１の実施形態に係る学習装置１の動作を説明するための図である。なお、図５では、教師セットまたは評価セットとして用いる２つのデータセットとして、セットＡおよびセットＢを用いる例を想定した場合に、図４で示したフローチャートの各処理が、どちらのデータセットを対象として行われるかを示している。
【００５２】
図４に示すように、まず、ステップＳ１０２で、学習装置１は、教師セットに基づく学習を行う。詳しくは、学習部１３は、記憶部１２に記憶されたデータセットを教師セットとした教師あり学習により辞書の学習を行う。例えば、図５に示すように、教師セットまたは評価セットとしてセットＡおよびセットＢを用いた場合、学習部１３は、セットＡを教師セットとして、教師あり学習により辞書の学習を行う。
【００５３】
次いで、ステップＳ１０４で、学習装置１は、評価セットを対象としたラベルの予測および評価を行う。詳しくは、まず、分類部１４は、学習部１３により学習された辞書により、教師セットとして用いられたデータセットとは異なるデータセットを評価セットとして分類を行い、対応するラベルを予測する。その後、評価部１５は、評価セットの画像に設定されたラベルと予測されたラベルとが一致するか否かを評価する。例えば、図５に示した例では、分類部１４は、セットＢを評価セットとしてラベルの予測を行い、評価部１５はセットＢに含まれる各画像に予め設定されていたラベルと、予測されたラベルとを比較して、混同行列を作成する。一例として、評価部１５は、以下の表１に示す混同行例を作成したものとする。
【００５４】
【表１】
2015087903.tif 000003
【００５５】
表１における評価ラベルとは、評価セットの画像に予め設定されたラベルであり、予測ラベルとは、分類部１４により予測されたラベルである。評価ラベルと予測ラベルとが一致する正解画像の数は表１の対角線上の欄に表されており、クラスＡについては５６、クラスＢについては７７、クラスＣについては６４ある。一方で、不正解画像の数は、対角線の外側の欄に表されている通り０ではなく、予測精度は１００％でない。
【００５６】
次に、ステップＳ１０６で、学習装置１は、評価セットのうち不正解画像を再ラベリングする。詳しくは、まず、表示部１６は、不正解画像のみを表示して、ユーザに対してラベルの修正を促す。表示部１６による不正解画像の表示を見たユーザは、不正解画像に設定されたラベルが誤りであると判断した場合に、評価セットのラベルの修正を入力部１７に入力する。一方で、ユーザは、分類部１４による予測が誤りであると判定した場合には、評価セットのラベルを修正しない。例えば、図５に示した例では、表示部１６は、セットＢに含まれる画像のうち不正解画像を表示し、ユーザは、セットＢに含まれる不正解画像についてラベルの修正を入力部１７に入力する。例として、ユーザによるラベルの修正が入力された後の混同行例を、表２に示す。
【００５７】
【表２】
2015087903.tif 000004
【００５８】
表２に示すように、修正後の評価ラベルと予測ラベルとが一致する正解画像の数は、クラスＡについては６１、クラスＢについては８１、クラスＣについては６６であり、いずれも表１に示した数と比較して増加している。この増加分は、評価ラベルが誤りで予測ラベルが正しいとユーザに判断され、ラベルが修正された不正解画像の数を示している。一方で、対角線の外側の欄の数値は、評価ラベルが正しく予測ラベルが誤りであるとユーザに判断されラベルが修正されなかった、不正解画像の数を示している。
【００５９】
そして、ステップＳ１０８で、学習装置１は、評価セットのラベルを更新する。詳しくは、更新部１８は、評価セットに含まれる不正解画像に対して入力部１７により修正されたラベルを設定して、記憶部１２に上書き保存する。例えば、図５に示した例では、更新部１８は、セットＢに含まれる不正外画像に対して修正されたラベルを設定して上書き保存する。これにより、セットＢの質が向上する。
【００６０】
次いで、ステップＳ１１０で、学習装置１は、再ラベリング処理が収束したか否かを判定する。詳しくは、制御部１１は、入力部１７がラベルの修正を受け付けなくなった場合に再ラベリング処理が収束したと判定する。例えば、再ラベリング処理を繰り返してもユーザがラベルの修正を行わなくなった場合や、教師セットまたは評価セットとして用いられるデータセットのすべてが正解画像となった場合に、制御部１１は、再ラベリング処理が収束したと判定する。一方で、制御部１１は、入力部１７がラベルの修正を受け付けた場合は、再ラベリング処理が収束していないと判定する。
【００６１】
再ラベリング処理が収束していないと判定された場合（Ｓ１１０／ＮＯ）、ステップＳ１１２で、学習装置１は、教師セットと評価セットとを入れ替える。詳しくは、制御部１１は、上記ステップＳ１０２〜Ｓ１０８の処理において教師セットとして用いられてきたデータセットを評価セットとし、評価セットとして用いられてきたデータセットを教師セットとする。この後、処理は再度ステップＳ１０２に戻り、収束するまでの間上記ステップＳ１０２〜Ｓ１０８の処理（再ラベリング処理）を繰り返す。このような再ラベリング処理の繰り返しにより、ユーザの判断基準のブレが正されて一貫性が確立され、一貫性のある判断基準に基づくラベルの修正により、データセットの質が向上する。
【００６２】
再ラベリング処理が収束したと判定された場合（Ｓ１１０／ＹＥＳ）、学習装置１は、処理を終了する。再ラベリング処理が収束しているため、教師セットまたは評価セットとして用いられたデータセットの質は、いずれも向上している。
【００６３】
以上、学習装置１による、データセットの質の向上に係る動作について説明した。
【００６４】
［２−２−２．新しいデータセットの追加］
学習装置１は、上記説明した処理により、質の高いデータセットを生成することが可能である。しかし、例えば画像の量が少ないまたは被写体に偏りがあって多様性が欠如する等の事情により、１００％の精度での予測が実現されず、予測精度に向上の余地がある場合がある。このような場合、学習装置１は、新しいデータセットを追加することで、学習量の増加や多様性の向上を行い、予測精度を向上させることができる。以下、図６〜図７を参照して、学習装置１による、新しいデータセットの追加に係る動作を説明する。
【００６５】
図６は、第１の実施形態に係る学習装置１の動作を示すフローチャートである。図７は、第１の実施形態に係る学習装置１の動作を説明するための図である。なお、図７では、新しいデータセットとしてセットＣを用いる例を想定した場合に、図６で示したフローチャートの各処理が、どのデータセットを対象として行われるかを示している。図７に示したセットＡ、セットＢは、図４、図５を参照して上記説明した処理により質が向上したデータセットであるものとする。
【００６６】
図６に示すように、まず、ステップＳ２０２で、学習装置１は、新しいデータセットを対象としたラベルの予測および評価を行う。例えば、図７に示すように、分類部１４は、まず、セットＡを教師セットして学習した辞書によって、セットＣを評価セットとしたラベルの予測を行う。その後、評価部１５はセットＣに予め設定されていたラベルと予測されたラベルとが一致するか否かを評価する。
【００６７】
次いで、ステップＳ２０４で、学習装置１は、新しいデータセットのうち不正解画像を再ラベリングする。例えば、図７に示した例では、表示部１６は、セットＣに含まれる画像のうち不正解画像を表示し、ユーザは、セットＣに含まれる不正解画像についてラベルの修正を入力部１７に入力する。
【００６８】
次に、ステップＳ２０６で、学習装置１は、新しいデータセットのラベルを更新する。例えば、図７に示した例では、更新部１８は、セットＣに含まれる不正外画像に対して入力部１７により修正されたラベルを設定して、記憶部１２に上書き保存する。これにより、セットＣの質が向上する。
【００６９】
次いで、ステップＳ２０８で、学習装置１は、新しいデータセットを教師セットに追加して学習を行う。詳しくは、学習部１３は、教師セットとして用いるデータセットに、新しいデータセットを追加して学習を行う。図７に示した例では、学習部１３は、セットＡに新しいセットＣを追加して、即ちセットＡおよびセットＣを教師セットとして、教師あり学習により辞書の学習を行う。
【００７０】
そして、ステップＳ２１０で、学習装置１は、評価セットを対象としたラベルの予測および評価を行う。例えば、図７に示した例では、分類部１４は、セットＢを評価セットとしてラベルの予測を行い、評価部１５はセットＢに含まれる各画像に予め設定されていたラベルと、予測したラベルとを比較して、混同行列を作成する。図４、図５を参照して上記説明した処理によりセットＢの質はすでに向上しているが、セットＣの分だけ学習に用いるデータ量が増加し、多様性が向上する。このため、セットＡおよびセットＣを教師セットとして学習された辞書によりセットＢの予測を行った場合、セットＡのみを教師セットとして学習された辞書によりセットＢの予測を行った場合と比較して、不正解画像の数は減少する。即ち、新しいデータセットの追加により予測精度が向上する。
【００７１】
以上、学習装置１の動作処理を説明した。
【００７２】
＜３．まとめ＞
以上説明したように、本開示の一実施形態に係る学習装置１は、教師あり学習に用いるラベルの質を向上させることが可能である。具体的には、学習装置は、教師セットと評価セットとを交互に入れ替えながら再ラベリング処理を繰り返すことで、ユーザの判断基準を一貫させ、教師セットおよび評価セットのラベルに一貫性を与えることができる。
【００７３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７４】
例えば、上記実施形態では、学習装置１はひとつの装置であるものとして説明したが、本技術はかかる例に限定されない。例えば、学習装置１が有する各構成要素は、それぞれ異なる装置に含まれていてもよい。学習装置１は、内部に学習部１３を有さず、学習部１３を有する外部装置に教師セットを送信して学習結果を受信しながら再ラベリング処理を繰り返してもよい。他にも、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）が表示部１６および入力部１７として機能し、Ｗｅｂサーバが制御部１１、記憶部１２、分類部１４、評価部１５、および更新部１８として機能してもよい。この場合、例えばユーザは自宅でＰＣを操作して、Ｗｅｂ上で再ラベリング処理を繰り返し、写真のラベルを修正する。
【００７５】
また、ユーザが、企業等において作成された辞書を購入して使用する場合、手元でのさらなる学習は行われない場合が多い。しかし、本開示によれば、ユーザは、手元で学習装置１による追加的な学習を行うことで、自分専用の辞書を作成することができる。
【００７６】
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記学習装置１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記録した記録媒体も提供される。
【００７７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００７８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１のデータセットを教師データとした教師あり学習により学習された分類器により、第２のデータセットを評価データとして分類を行う分類部と、
前記分類部による分類結果に応じた前記第２のデータセットのラベルの修正を受け付ける入力部と、
前記入力部により受け付けられた修正を反映して前記第２のデータセットを更新する更新部と、
を備える情報処理装置。
（２）
前記第１のデータセットおよび前記第２のデータセットは、ラベルが設定された分類対象の集合であり、
前記分類部は、前記分類対象を分類して対応するラベルを予測し、
前記入力部は、前記分類対象に設定されたラベルと前記分類部により予測されたラベルとが異なる場合に、当該分類対象に設定されたラベルの修正を受け付ける、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記分類対象に設定されたラベルと前記分類部により予測されたラベルとが異なる分類対象を示す情報を出力する出力部をさらに備える、前記（２）に記載の情報処理装置。
（４）
前記情報処理装置は、前記分類対象に設定されたラベルと前記分類部により予測されたラベルとを比較する混同行列により前記分類結果を評価する評価部をさらに備える、前記（２）または（３）に記載の情報処理装置。
（５）
前記情報処理装置は、前記更新部により更新された前記第２のデータセットを教師データとした教師あり学習により学習された分類器による前記第１のデータセットを評価データとした分類、前記入力部による前記第１のデータセットのラベルの修正の受け付け、および前記更新部による前記第１のデータセットの更新を含む、第１の再ラベリング処理を制御する制御部をさらに備える、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記制御部は、前記第１の再ラベリング処理により更新された前記第１のデータセットを教師データとした教師あり学習により学習された分類器による前記第２のデータセットを評価データとした分類、前記入力部による前記第２のデータセットのラベルの修正の受け付け、および前記更新部による前記第２のデータセットの更新を含む、第２の再ラベリング処理を制御する、前記（５）に記載の情報処理装置。
（７）
前記制御部は、前記第１の再ラベリング処理および前記第２の再ラベリング処理を交互に繰り返す、前記（６）に記載の情報処理装置。
（８）
前記制御部は、前記入力部がラベルの修正を受け付けなくなるまで、前記第１の再ラベリング処理および前記第２の再ラベリング処理を交互に繰り返す、前記（７）に記載の情報処理装置。
（９）
前記制御部は、前記第１のデータセットおよび前記第２のデータセットの少なくともいずれかに第３のデータセットを追加する、前記（５）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記情報処理装置は、前記第１のデータセットまたは前記第２のデータセットを教師データとした教師あり学習により分類器の学習を行う学習部をさらに備える、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記分類対象は、動画像、静止画像、または音その他のコンテンツである、前記（２）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
第１のデータセットを教師データとした教師あり学習により学習された分類器により、第２のデータセットを評価データとした分類を行うステップと、
分類結果に応じた前記第２のデータセットのラベルの修正を受け付けるステップと、
受け付けられた修正を反映して前記第２のデータセットを更新するステップと、
を備える、情報処理装置のプロセッサにより実行される情報処理方法。
【符号の説明】
【００７９】
１    学習装置
１１    制御部
１２    記憶部
１３    学習部
１４    分類部
１５    評価部
１６    表示部
１７    入力部
１８    更新部
【図１】
2015087903.tif 000005
【図２】
2015087903.tif 000006
【図３】
2015087903.tif 000007
【図４】
2015087903.tif 000008
【図５】
2015087903.tif 000009
【図６】
2015087903.tif 000010
【図７】
2015087903.tif 000011