(57)【要約】【課題】機械学習を終了すべきか否かを容易に判断することのできる画像データを作成する画像データ作成プログラムを提供する。【解決手段】画像データ作成プログラムは、コンピュータを、評価用データと、当該評価用データが属する正解クラスとを取得する評価用データ取得部と、入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、評価用データを分類モデルの入力データとした場合の複数のクラスの各々の確度を算出する確度算出部と、評価用データおよび評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、確度算出部が算出した複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する画像データ作成部として機能させる。【選択図】図１
2018109906.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを、
評価用データと、当該評価用データが属する正解クラスとを取得する評価用データ取得部と、
入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出する確度算出部と、
前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、前記確度算出部が算出した前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する画像データ作成部と
して機能させるための画像データ作成プログラム。
【請求項２】
前記コンピュータを、さらに、
予め定められた複数セットの学習用データを順次用いて、前記分類モデルを機械学習させる機械学習部として機能させ、
前記確度算出部は、１セットの前記学習用データを用いた前記分類モデルの機械学習が終了する度に、機械学習された前記分類モデルに基づいて、前記評価用データの各前記クラスの確度を算出し、
前記画像データ作成部は、１セットの前記学習用データを用いた前記分類モデルの機械学習が終了する度に、前記画像データを作成する
請求項１に記載の画像データ作成プログラム。
【請求項３】
前記画像データ作成部は、さらに、前記結果アイコンを、前記画像データ上の、１セット前のセットの前記学習用データを用いて機械学習された前記分類モデルに基づいて算出された前記判定用データの各クラスの確度に応じた位置に配置する
請求項２に記載の画像データ作成プログラム。
【請求項４】
前記１セット前のセットの前記学習用データを用いて機械学習された前記分類モデルに基づく前記結果アイコンと、現セットの前記学習用データを用いて機械学習された前記分類モデルに基づく前記結果アイコンとは表示態様が異なる
請求項３に記載の画像データ作成プログラム。
【請求項５】
前記画像データ作成部は、さらに、前記複数のクラスの各々を示すクラスアイコンを、前記画像データ上の、クラスごとに異なる当該クラスの所定の正解位置に応じた位置に配置する
請求項１〜請求項４のいずれか１項に記載の画像データ作成プログラム。
【請求項６】
前記クラスの正解位置は、当該クラスに分類される確度が最大となり、かつ前記複数のクラスのうち当該クラス以外の他のクラスに分類される確度が最小となる場合の確度の組み合わせに応じた位置である
請求項５に記載の画像データ作成プログラム。
【請求項７】
前記複数のクラスの各々の正解位置と、前記複数のクラスの確度が等しい場合の確度の組み合わせに応じた位置とが等距離である
請求項６に記載の画像データ作成プログラム。
【請求項８】
前記複数のクラスは、３以上のクラスである
請求項１〜請求項７のいずれか１項に記載の画像データ作成プログラム。
【請求項９】
評価用データと、当該評価用データが属する正解クラスとを取得する評価用データ取得部と、
入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出する確度算出部と、
前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、前記確度算出部が算出した前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する画像データ作成部と
を備える画像データ作成装置。
【請求項１０】
評価用データと、当該評価用データが属する正解クラスとを取得し、
入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出し、
前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、算出された前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する
画像データ作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ作成プログラム、画像データ作成装置および画像データ作成方法に関し、特に、機械学習された分類モデルによるデータの分類結果を示した表示用の画像データを作成する画像データ作成プログラム、画像データ作成装置および画像データ作成方法に関する。
【背景技術】
【０００２】
近年、機械学習の手法であるディープラーニング（Deep Learning）を用いて学習されたディープニューラルネットワーク（Deep Neural Network）による画像認識が盛んに研究されている（例えば、特許文献１、非特許文献１参照）。画像認識に用いられる分類モデルはディープニューラルネットワークには限られず、一般的なニューラルネットワークの他、ナイーブベイズ（Naive Bayes）分類器、ＳＶＭ（Support Vector Machine）などがある。これらの分類モデルは、いずれも入力データを複数のクラスのいずれかに分類するものである。また、これらの分類モデルは、複数の学習用データを用いて機械学習を行うことにより、未知の入力データに対しても正しいクラスへの分類を行う汎化能力を高めることができる。
【０００３】
従来は、機械学習された分類モデルに評価用データを入力データとして与えた場合の分類結果に基づいて、分類が正確に行われたと判断された時点で機械学習を終了させていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１４８１９号公報
【特許文献２】特許第５８８５８７５号公報
【非特許文献】
【０００５】
【非特許文献１】Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ただし、評価用データに対して正確に分類が行われたとしても、正解クラスへの分類確率と他のクラスへの分類確率との差が小さい場合のように分類の確信度が低い場合がある。つまり、分類の確信度が低い分類モデルに評価用データ以外の入力データが入力された場合には、入力データが正しく分類される可能性が低い。このため、さらなる学習用データを用いた分類モデルの機械学習が必要である。
【０００７】
しかしながら、従来の機械学習法では、ユーザは、分類モデルによる分類がどの程度の確信を持って行われたのかが直感的に分からなかった。このため、機械学習を終了すべきか否かのユーザによる判断が困難であった。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、機械学習を終了すべきか否かを容易に判断することのできる画像データ作成プログラム、画像データ作成装置および画像データ作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
（１）上記目的を達成するために、本発明の一実施態様に係る画像データ作成プログラムは、コンピュータを、評価用データと、当該評価用データが属する正解クラスとを取得する評価用データ取得部と、入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出する確度算出部と、前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、前記確度算出部が算出した前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する画像データ作成部として機能させる。
【００１０】
（９）本発明の他の一実施態様に係る画像データ作成装置は、評価用データと、当該評価用データが属する正解クラスとを取得する評価用データ取得部と、入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出する確度算出部と、前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、前記確度算出部が算出した前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する画像データ作成部とを備える。
【００１１】
（１０）本発明の他の一実施態様に係る画像データ作成方法は、評価用データと、当該評価用データが属する正解クラスとを取得し、入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出し、前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、算出された前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する。
【００１２】
なお、画像データ作成プログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本発明は、画像データ作成装置の一部又は全部を実現する半導体集積回路として実現したり、画像データ作成装置を含むシステムとして実現したりすることもできる。
【発明の効果】
【００１３】
本発明によると、機械学習を終了すべきか否かを容易に判断することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る分類モデル作成装置の機能的な構成を示すブロック図である。
【図２】画像データ作成部による画像データの作成方法について説明するための図である。
【図３】画像データ作成部により作成された画像データの一例を示す図である。
【図４】分類モデル作成装置の処理手順の一例を示すフローチャートである。
【図５】表示装置に表示される画像データの遷移を示す図である。
【図６】変形例１に係る画像データ作成部が作成する画像データの一例を示す図である。
【図７】変形例２に係る画像データ作成部が作成する画像データの一例を示す図である。
【図８】ＳＶＭによる入力データの分類結果を示す図である。
【図９】結果アイコンを１次元配置、２次元配置および３次元配置した画像データを示す図である。
【発明を実施するための形態】
【００１５】
［本発明の基礎となった知見］
本発明者は、「背景技術」の欄において記載した、従来の機械学習法に関し、以下の知見を見出した。
【００１６】
上述したように、機械学習を終了すべきか否か、つまり機械学習の終了時点を判断することは従来困難であった。
【００１７】
その一方、機械学習の過程を可視化する試みも行われている（例えば、特許文献２参照）。しかし、特許文献２の手法では、着目するクラスの分類スコアのみに基づく表示を行っている。このため、ユーザは、着目するクラスの分類スコアと他のクラスの分類スコアとの大小関係および分類スコアの差の大小が分からないため、分類モデルによる分類がどの程度の確信を持って行われたのかを把握するのが困難である。
【００１８】
例えば、入力データを所定の３クラスのうちのいずれかのクラスに分類する分類モデルを考える。正解クラスがクラス１の評価用データを、分類モデルに入力して機械学習させた結果、分類スコア（クラス１の分類スコア，クラス２の分類スコア，クラス３の分類スコア）が（０．４，０．３，０．３）から（０．４，０．６，０．０）に変化したとする。特許文献２に記載の方法では、クラス１に対する機械学習の過程の表示は、クラス１の分類スコアのみに基づいて行われる。この場合、クラス１の分類スコアは０．４から変化していない。このため、ユーザは、特許文献２に記載の方法による機械学習の過程の表示結果を見た場合に、クラス１に対する機械学習は終了させてもよいと判断する場合がある。しかし、実際には、クラス２の分類スコアが０．３から０．６に増加しており、クラス１の分類スコア０．４よりも上回っている。このため、この分類モデルによるとクラス１の入力データをクラス２に誤分類してしまうため、機械学習を終了させるのは誤りである。
【００１９】
また、分類モデルの分類クラス数が２の場合に、正解クラスがクラス１の評価用データを分類モデルに入力して機械学習させた結果、分類スコア（クラス１の分類スコア，クラス２の分類スコア）が（０．６，０，４）に収束したとする。この場合、クラス１とクラス２の分類スコアの差が０．２と小さい。このため、さらに機械学習を行うことで、この差を広げられる可能性がある。それにもかかわらず、特許文献２の方法によると、それぞれのクラスにおいて分類スコアが収束しているため、機械学習を終了すべきとの判断がされてしまう。
【００２０】
正解クラスの分類スコアが最大となり、かつ正解クラスの分類スコアと他クラスの分類スコアとの差が大きいほど、分類モデルは高い確信度でクラス分類を行ったことになるが、引用文献２に記載の方法では、着目するクラスの分類スコアの変化しか観測することができない。このため、分類モデルによる分類がどの程度の確信を持って行われたのかを把握するのは困難である。
【００２１】
よって、特許文献２の方法を用いたとしても、機械学習を終了すべきか否かを容易に判断することは困難である。
【００２２】
本開示では、分類モデルによる分類の確信度をユーザが直感的に把握することができ、これにより、機械学習を終了すべきか否かを容易に判断することのできる画像データ作成プログラム、画像データ作成装置および画像データ作成方法について説明する。
【００２３】
［本願発明の実施形態の概要］
最初に本発明の実施形態の概要を列記して説明する。
（１）本発明の一実施形態に係る画像データ作成プログラムは、コンピュータを、評価用データと、当該評価用データが属する正解クラスとを取得する評価用データ取得部と、入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出する確度算出部と、前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、前記確度算出部が算出した前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する画像データ作成部として機能させる。
【００２４】
この構成によると、機械学習された分類モデルによって、評価用データに対する各クラスの確度が算出される。また、評価用データに対応した結果アイコンが評価用データの複数のクラスの確度の組み合わせに応じた位置に配置された画像データが、作成される。例えば、分類モデルが評価用データを高い確信度で分類した場合には、各クラスの結果アイコンは、当該クラスの正解位置付近に配置される。つまり、評価用データに対する正解クラスの確度と他のクラスの確度との差が大きいため、異なるクラスの結果アイコン同士が画像データ上で離れた位置に配置される。一方、分類モデルが評価用データを低い確信度で分類した場合には、クラス間の確度の差が小さいため、異なるクラスの結果アイコン同士が画像データ上で近い位置に配置される。このため、ユーザは、作成された画像データを見ることにより、分類モデルによる評価用データの分類の確信度を直感的に把握することができる。よって、機械学習を終了すべきか否かを容易に判断することができる。
【００２５】
（２）好ましくは、前記コンピュータを、さらに、予め定められた複数セットの学習用データを順次用いて、前記分類モデルを機械学習させる機械学習部として機能させ、前記確度算出部は、１セットの前記学習用データを用いた前記分類モデルの機械学習が終了する度に、機械学習された前記分類モデルに基づいて、前記評価用データの各前記クラスの確度を算出し、前記画像データ作成部は、１セットの前記学習用データを用いた前記分類モデルの機械学習が終了する度に、前記画像データを作成する。
【００２６】
この構成によると、１セット分の学習用データによる分類モデルの機械学習が終了する度に、画像データを更新することができる。このため、ユーザは、機械学習が終了する度に画像データを見ることで、評価用データに対応する結果アイコンの分布の変化を知ることができる。これにより、ユーザは、評価用データの分類の確信度が高いと直感的に判断し、かつ結果アイコンの分布の変化が少ないと判断した場合に、分類モデルの機械学習を終了させることができる。
【００２７】
（３）さらに好ましくは、前記画像データ作成部は、さらに、前記結果アイコンを、前記画像データ上の、１セット前のセットの前記学習用データを用いて機械学習された前記分類モデルに基づいて算出された前記判定用データの各クラスの確度に応じた位置に配置する。
【００２８】
この構成によると、１セット前のセットの学習用データにより機械学習された分類モデルに基づいた結果アイコンの分布が、現在のセットの学習用データにより機械学習された分類モデルに基づいた結果アイコンの分布とともに画像データ上に表示される。このため、ユーザは、機械学習の進捗に伴う評価用データに対応する結果アイコンの分布の変化を知ることができる。
【００２９】
（４）さらに好ましくは、前記１セット前のセットの前記学習用データを用いて機械学習された前記分類モデルに基づく前記結果アイコンと、現セットの前記学習用データを用いて機械学習された前記分類モデルに基づく前記結果アイコンとは表示態様が異なる。
【００３０】
この構成によると、ユーザは、１セット前のセットの学習用データにより機械学習された分類モデルに基づいた結果アイコンの分布と、現在のセットの学習用データにより機械学習された分類モデルに基づいた結果アイコンの分布とを区別しやすくなる。
【００３１】
（５）好ましくは、前記画像データ作成部は、さらに、前記複数のクラスの各々を示すクラスアイコンを、前記画像データ上の、クラスごとに異なる当該クラスの所定の正解位置に応じた位置に配置する。
【００３２】
この構成によると、ユーザは、各正解位置に対応するクラスを容易に識別することができる。
【００３３】
（６）また、前記クラスの正解位置は、当該クラスに分類される確度が最大となり、かつ前記複数のクラスのうち当該クラス以外の他のクラスに分類される確度が最小となる場合の確度の組み合わせに応じた位置であってもよい。
【００３４】
この構成によると、クラスの正解位置に配置された結果アイコンは、他のクラスとの分類精度が最も高いことが保証される。このため、ユーザは、結果アイコンがクラスの正解位置の近くに配置されるほど、分類モデルによる評価用データの分類の確信度が高いと判断することができる。
【００３５】
（７）好ましくは、前記複数のクラスの各々の正解位置と、前記複数のクラスの確度が等しい場合の確度の組み合わせに応じた位置とが等距離である。
【００３６】
この構成によると、複数のクラスの確度が等しい場合の確度の組み合わせに応じた位置を基準位置とした場合に、基準位置と各クラスの正解位置との距離がクラス間で偏るのを防止することができる。これにより、ユーザは、分類モデルによる評価用データの分類の確信度をより正確に判断することができる。
【００３７】
（８）また、前記複数のクラスは、３以上のクラスであってもよい。
【００３８】
この構成によると、結果アイコンの分布を１次元直線上、２次元平面上または３次元空間中の分布として表現することができる。このため、ユーザは、評価用データの分類の確信度を、より直感的に把握することができる。
【００３９】
（９）本発明の他の一実施形態に係る画像データ作成装置は、評価用データと、当該評価用データが属する正解クラスとを取得する評価用データ取得部と、入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出する確度算出部と、前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、前記確度算出部が算出した前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する画像データ作成部とを備える。
【００４０】
この画像データ作成装置は、上述した画像データ作成プログラムと同様の構成要素を有する。このため、上述した画像データ作成プログラムと同様の作用および効果を奏することができる。
【００４１】
（１０）本発明の他の一実施形態に係る画像データ作成方法は、評価用データと、当該評価用データが属する正解クラスとを取得し、入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、前記評価用データを前記分類モデルの入力データとした場合の前記複数のクラスの各々の確度を算出し、前記評価用データおよび前記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、算出された前記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する。
【００４２】
この画像データ作成方法は、上述した画像データ作成プログラムの各構成要素に対応する処理ステップを含む。このため、上述した画像データ作成プログラムと同様の作用および効果を奏することができる。
【００４３】
［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００４４】
以下、図面を参照して、本発明の実施の形態に係る分類モデル作成装置について説明する。
【００４５】
［分類モデル作成装置の構成］
図１は、本発明の実施の形態に係る分類モデル作成装置の機能的な構成を示すブロック図である。
【００４６】
分類モデル作成装置１０は、機械学習によって入力データを複数のクラスのいずれかのクラスに分類する分類モデルを作成する装置である。なお、分類モデル作成装置１０は、当該分類モデルの機械学習の過程を可視化した画像データを作成する画像データ作成装置として機能する。
【００４７】
分類モデル作成装置１０は、記憶部１１と、機械学習部１２と、評価用データ取得部１３と、確率算出部１４と、画像データ作成部１５と、画像データ出力部１６と、入力受付部１７とを備える。
【００４８】
本実施の形態では、ディープラーニングを用いて、分類モデルとしてのディープニューラルネットワークを作成する例について説明する。ただし、分類モデルはディープニューラルネットワークに限定されるものではなく、一般的なニューラルネットワークの他、ナイーブベイズ分類器、ＳＶＭであってもよい。
【００４９】
また、本実施の形態では、分類モデルを用いた数字画像データの分類の例について説明する。ただし、分類対象は数字画像データに限定されるものではなく、例えば、その他の画像データであってもよいし、音声データまたはテキストデータであってもよい。
【００５０】
記憶部１１は、評価用データと、当該評価用データの正解クラスと、学習用データと、その他の各種データとを記憶する記憶装置である。
【００５１】
評価用データとは、分類モデルの分類精度を評価するために、分類モデルに入力されるデータであり、例えば、手書きの数字画像データである。
【００５２】
評価用データの正解クラスとは、評価用データが本来属するクラスである。例えば、分類モデルが、手書きの数字画像データを、数字「１」、「２」または「３」のいずれかのクラスに分類する場合には、正解クラスは、数字「１」、「２」または「３」のいずれかである。なお、分類モデルが分類するクラスのクラス数は３に限定されるものではなく、２でも良いし、４以上でもよい。
【００５３】
学習用データは、分類モデルの機械学習に用いられ、分類モデルに入力されるデータと正解クラスとの組から構成される。例えば、上述の数字画像データの分類の例では、機械学習に用いられる手書きの数字画像データが、正解クラス「１」、「２」および「３」のいずれかと対応付けられ学習用データとされる。
【００５４】
機械学習部１２は、記憶部１１から学習用データを読み出し、読み出した学習用データを用いて、分類モデルの各種パラメータを機械学習することにより、分類モデルを作成する。例えば、機械学習部１２は、分類モデルとしてのディープニューラルネットワークに、学習用データを構成する手書きの数字画像データと、その正解クラスとを与えることにより、ニューラルネットの重みおよびバイアスを機械学習する。これにより、機械学習部１２は、ディープニューラルネットワークを更新する。
機械学習部１２は、作成した分類モデルを記憶部１１に記憶する。
【００５５】
機械学習部１２は、このような機械学習を、繰り返し実行することで、分類モデルの分類精度を向上させる。また、１回の機械学習に入力される学習用データは１つではない。例えば、機械学習部１２は、１００組〜１万組の学習用データを用いて、分類モデルの機械学習を行う。
【００５６】
なお、機械学習部１２は、分類モデルがディープニューラルネットワークの場合には、機械学習の度に同じ学習用データを繰り返し入力して機械学習を行う。機械学習部１２は、分類モデルがナイーブベイズ分類器またはＳＶＭの場合には、機械学習の度に異なる学習用データを入力して機械学習を行う。ただし、分類モデルがディープニューラルネットワークの場合であっても、異なる学習用データを入力してもよい。
【００５７】
評価用データ取得部１３は、記憶部１１から、評価用データと、評価用データの正解データとの組を読み込むことにより取得する。例えば、評価用データ取得部１３は、当該組を１００組取得する。
【００５８】
確率算出部１４は、確度算出部の一例であり、評価用データ取得部１３が取得した各組の評価用データを分類モデルの入力データとした時に、当該評価用データが各クラスに属する確率を分類モデルにより算出する。例えば、確率算出部１４は、ある数字画像データを分類モデルとしてのディープニューラルネットワークに入力した場合に、その数字画像データがクラス「１」、「２」および「３」に属する確率をそれぞれ算出する。なお、クラスに属する確率は、クラスに属する確からしさを示す確度の一例である。
【００５９】
画像データ作成部１５は、確率算出部１４が算出した評価用データの各クラスに属する確率の組み合わせに基づいて、当該評価用データが属する正解クラスを示す結果アイコンを配置した画像データを作成する。
【００６０】
図２は、画像データ作成部１５による画像データの作成方法について説明するための図である。
【００６１】
画像データ作成部１５は、画像データ上に２次元座標の原点２１を設定する。原点２１は、分類モデルによって各クラスに属する確率が等しいと判定された評価用データが表示される位置である。例えば、評価用データがクラス「１」に属する確率をｐ１とし、評価用データがクラス「２」に属する確率をｐ２とし、評価用データがクラス「３」に属する確率をｐ３とする。このとき、分類モデルにより確率ベクトル（ｐ１，ｐ２，ｐ３）＝（１／３，１／３，１／３）と算出される評価用データの結果アイコンは、原点２１の位置に表示される。
【００６２】
画像データ作成部１５は、確率算出部１４が算出した評価用データの各クラスに属する確率の組み合わせ、つまり、評価用データの確率ベクトル（例えば、（ｐ１，ｐ２，ｐ３））に基づいて、当該評価用データの結果アイコンの表示位置を算出する。例えば、クラスが３クラスの場合には、画像データ作成部１５は、結果アイコンが表示される位置２８のｘ座標およびｙ座標を、以下の式１および式２に従い、それぞれ算出する。
【００６３】
【数１】
2018109906.tif 000003
【００６４】
画像データ作成部１５は、画像データ上の位置２８に、結果アイコンを配置する。なお、結果アイコンの表示例については後述する。
【００６５】
また、画像データ作成部１５は、各クラスを示すクラスアイコン２５〜２７を、クラスごとに異なるクラスの正解位置２２〜２４に応じた位置に配置する。例えば、画像データ作成部１５は、クラス「１」を示すクラスアイコン２５を、クラス「１」の正解位置２２の近傍に配置する。また、画像データ作成部１５は、クラス「２」を示すクラスアイコン２６を、クラス「２」の正解位置２３の近傍に配置する。さらに、画像データ作成部１５は、クラス「３」を示すクラスアイコン２７を、クラス「３」の正解位置２４の近傍に配置する。
【００６６】
ここで、クラスの正解位置とは、当該クラスに分類される確率が最大となり、かつ当該クラス以外の他のクラスに分類される確率が最小となる評価用データの結果アイコンが表示される位置である。つまり、クラス「１」の正解位置２２は、確率ベクトル（ｐ１，ｐ２，ｐ３）＝（１，０，０）となる評価用データの結果アイコンが表示される位置である。また、クラス「２」の正解位置２３は、確率ベクトル（ｐ１，ｐ２，ｐ３）＝（０，１，０）となる評価用データの結果アイコンが表示される位置である。さらに、クラス「３」の正解位置２４は、確率ベクトル（ｐ１，ｐ２，ｐ３）＝（０，０，１）となる評価用データの結果アイコンが表示される位置である。
【００６７】
なお、上述の式１および式２により正解位置２２〜２４を算出すると、各正解位置から原点２１までの距離は等距離となる。また、正解位置２２〜２４は、正三角形の頂点を構成する。
【００６８】
図３は、画像データ作成部１５により作成された画像データの一例を示す図である。
【００６９】
画像データ上のクラス「１」〜「３」の正解位置２２〜２４の近傍には、それぞれ、クラスアイコン２５〜２７が配置される。画像上には、複数の結果アイコン３１〜３３が配置される。結果アイコン３１（円形のアイコン）は、正解クラスがクラス「１」の評価用データを示すアイコンである。結果アイコン３２（三角形のアイコン）は、正解クラスがクラス「２」の評価用データを示すアイコンである。結果アイコン３３（四角形のアイコン）は、正解クラスがクラス「３」の評価用データを示すアイコンである。各結果アイコンは、確率算出部１４が算出した評価用データの確率ベクトルに基づいて、上述の式１および式２により算出された位置に配置される。
【００７０】
画像データ出力部１６は、画像データ作成部１５が作成した画像データを外部に出力する。例えば、画像データ出力部１６は、画像データを、分類モデル作成装置１０に接続された表示装置に出力することにより、画像データを表示装置に表示させることができる。また、画像データ出力部１６は、無線通信または有線通信を行う通信Ｉ／Ｆを介して、他の装置に画像データを送信してもよい。例えば、画像データ出力部１６は、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）に従い、ユーザが利用するタブレット端末やスマートフォンに画像データを送信するようにしてもよい。これにより、ユーザは、タブレット端末やスマートフォンなどの携帯端末を利用して、画像データを見ることができる。
【００７１】
入力受付部１７は、ユーザからの機械学習の終了の指示を受け付ける。例えば、入力受付部１７は、ユーザがキーボードを操作して機械学習の終了の指示入力を行った場合には、当該キーボードから終了の指示を受け付ける。また、入力受付部１７は、ユーザがタブレット端末やスマートフォンなどの携帯端末を操作して機械学習の終了の指示入力を行った場合には、通信Ｉ／Ｆを介して、携帯端末から終了の指示を受け付ける。
【００７２】
入力受付部１７は、機械学習の終了の指示を受け付けた場合には、機械学習部１２による機械学習を終了させる。
【００７３】
［分類モデル作成装置の処理手順］
図４は、分類モデル作成装置１０の処理手順の一例を示すフローチャートである。
【００７４】
分類モデル作成装置１０は、事前に用意され記憶部１１に記憶されている複数の学習用データのセットの各々について、以下に示すステップＳ１〜Ｓ７の処理を繰り返し実行する。
【００７５】
つまり、機械学習部１２は、記憶部１１から１セット分の学習用データを取得する（Ｓ１）。例えば、機械学習部１２は、１セット分の学習用データとして１００組の学習用データを取得する。
【００７６】
機械学習部１２は、取得した１セット分の学習用データを用いて分類モデルの機械学習を行い、機械学習された分類モデルを記憶部１１に記憶させる（Ｓ２）。例えば、機械学習部１２は、学習用データに含まれる手書きの数字画像データおよび正解クラスを、分類モデルとしてのディープニューラルネットワークに与える。これにより、機械学習部１２は、当該数字画像データが正解クラスに分類されるように、ディープニューラルネットワークを構成する各層のニューラルネットの重みおよびバイアスを機械学習する。
【００７７】
評価用データ取得部１３は、記憶部１１から評価用データと評価用データの正解クラスとの組を１セット分取得する（Ｓ３）。例えば、１セットには、１００組の評価用データおよび正解クラスの組が含まれていてもよい。なお、当該組は、機械学習に用いられた学習用データと重複していてもよい。
【００７８】
確率算出部１４は、評価用データ取得部１３が取得した１セット分の評価用データを、ステップＳ２の処理で機械学習された分類モデルに入力した場合の、当該評価用データが各クラスに属する確率を算出する（Ｓ４）。これにより、確率算出部１４は、評価用データごとに、評価用データの確率ベクトルを算出する。
【００７９】
画像データ作成部１５は、１セット分の評価用データごとに、当該評価用データの確率ベクトルに対応した位置に、当該評価用データが属する正解クラスを示す結果アイコンを配置した画像データを作成する（Ｓ５）。
【００８０】
画像データ出力部１６は、画像データ作成部１５が作成した画像データを表示装置に出力することにより、画像データを表示装置に表示させる（Ｓ６）。表示装置に表示される画像データの例は、図３に示した通りである。
【００８１】
入力受付部１７は、ユーザから機械学習の終了の指示を受け付けたか否かを判断する（Ｓ７）。
【００８２】
機械学習の終了の指示を受け付けていなければ（Ｓ７でＮＯ）、分類モデル作成装置１０は、次の学習用データのセットについて、ステップＳ１〜Ｓ７の処理を実行する（ループＡ）。
【００８３】
入力受付部１７が機械学習の終了の指示を受け付けていれば（Ｓ７でＹＥＳ）、機械学習部１２は、機械学習を終了する。機械学習部１２が機械学習を終了した時点で記憶部１１に記憶されている分類モデルが、機械学習済みの分類モデルとされる。
【００８４】
ループＡの処理において、各セットの学習用データを用いた機械学習が行われるたびに、画像データが作成され、表示装置に表示される。
【００８５】
図５は、表示装置に表示される画像データの遷移を示す図である。例えば、初期の機械学習時においては、分類モデルによる評価用データの分類精度が悪い。このため、図５の（Ａ）に示すように、正解クラス「１」〜「３」の評価用データにそれぞれ対応する結果アイコン３１〜３３が、１か所に固まって表示されていることが分かる。ある程度、機械学習が進むと、図５の（Ｂ）に示すように、結果アイコン３１〜３３が分離され、それぞれ正解位置２２〜２４に近づいていることが分かる。さらに機械学習が進むと、図５の（Ｃ）に示すように、結果アイコン３１〜３３が、それぞれ、正解位置２２〜２４の近傍に配置されていることが分かる。
【００８６】
ユーザは、機械学習が行われるたびに更新される画像データを見ることにより、機械学習の進捗度合いを直感的に把握することができる。ユーザは、図５の（Ａ）や（Ｂ）のように、結果アイコン３１〜３３が正解位置２２〜２４から離れて配置されている場合には、分類モデルによる評価用データの分類の確信度が低く、分類誤りをする可能性が高いと判断することができる。これにより、ユーザは、さらに機械学習をする必要があると判断することができる。
【００８７】
また、ユーザは、図５の（Ｃ）のように、結果アイコン３１〜３３が正解位置２２〜２４の近くに配置されている場合には、分類モデルによる評価用データとの分類の確信度が高く、分類モデルが分類誤りをする可能性が低いと判断することができる。これにより、ユーザは、機械学習を終了させてもよいとの判断をすることができる。
【００８８】
なお、分類の確信度Ｊσは、例えば、以下の式３により定式化することも可能である。ここで、σｗ２はクラス内分散を示し（式４）、σＢ２はクラス間分散を示す（式５）。ｃはクラス数を示す。ｘは式１および式２で示される結果アイコンの座標（ｘ，ｙ）を示す。Ｘｉはクラスｉに属する結果アイコン（評価用データ）の集合を示す。ｎは評価用データの総数を示す。ｎｉはクラスｉに属する評価用データの数を示す。ｍｉはクラスｉに属するｘの平均座標を示す。ｍは、ｍｉの平均を示す（式６）。
【００８９】
【数２】
2018109906.tif 000004
【００９０】
ただし、ユーザは、確信度Ｊσを見ても、確信度Ｊσが高い値なのか低い値なのかを理解するのが困難である。このため、ユーザは、確信度Ｊσがどの程度の大きさになったら、機械学習を終了させてもよいかを判断するのが困難である。しかし、本実施の形態に示す画像データをユーザに見せることで、ユーザは直感的に分類モデルによる分類の確信度の高低を判断することができ、このため、ユーザは、機械学習を終了させるタイミングを容易に判断することができる。
【００９１】
また、ユーザは、機械学習を終了させないとした場合に、集中的に機械学習するべき学習用データを、画像データから見つけることができる。
【００９２】
例えば、図３に示すような画像データを見たユーザは、結果アイコン３１および３３が、正解位置２２および２４の近くに配置されていることを理解することができる。またユーザは、結果アイコン３２の中には、正解位置２３の近くに配置されているものもあるが、遠くに配置されているものもあり、結果アイコン３２は結果アイコン３１および３３と比較して、画像データ上で分散して配置されていることを理解することができる。このため、ユーザは、正解クラス「２」の評価用データの分類精度が悪いため、正解クラス「２」の学習用データを集中的に用いて機械学習を行わなければならないと判断することができる。
【００９３】
［実施の形態の効果等］
以上説明したように、本発明の実施の形態によると、機械学習された分類モデルによって、評価用データが各クラスに分類される確率である確率ベクトルが算出される。また、評価用データに対応した結果アイコンが、評価用データの確率ベクトルに応じた位置に配置された画像データが、作成される。例えば、図５の（Ｃ）に示すように、分類モデルが評価用データを高い確信度で分類した場合には、各クラスの結果アイコンは、当該クラスの正解位置付近に配置される。つまり、評価用データが正解クラスに分類される確率と他のクラスに分類される確率との差が大きいため、異なるクラスの結果アイコン同士が画像データ上で離れた位置に配置される。一方、図５の（Ａ）に示すように、分類モデルが評価用データを低い確信度で分類した場合には、クラス間の確率の差が小さいため、異なるクラスの結果アイコン同士が画像データ上で近い位置に配置される。このため、ユーザは、作成された画像データを見ることにより、分類モデルによる評価用データの分類の確信度を直感的に把握することができる。
【００９４】
また、分類モデル作成装置１０は、１セット分の学習用データによる分類モデルの機械学習が終了する度に、画像データを更新することができる。このため、ユーザは、機械学習が終了する度に画像データを見ることで、評価用データに対応する結果アイコンの分布の変化を知ることができる。これにより、ユーザは、評価用データの分類の確信度が高いと直感的に判断し、かつ結果アイコンの分布の変化が少ないと判断した場合に、分類モデルの機械学習を終了させることができる。
【００９５】
また、クラスの正解位置に配置された結果アイコンは、他のクラスとの分類精度が最も高いことが保証される。このため、ユーザは、結果アイコンがクラスの正解位置の近くに配置されるほど、分類モデルによる評価用データの分類の確信度が高いと判断することができる。
【００９６】
また、クラスアイコン２５〜２７が、各クラスの正解位置２２〜２４に応じた位置、例えば正解位置の近傍位置に配置される。このため、ユーザは、各正解位置に対応するクラスを容易に識別することができる。
【００９７】
また、図２に示したように、各正解位置２２〜２４から原点２１までの距離は等距離である。これにより、ユーザは、分類モデルによる評価用データの分類の確信度をより正確に判断することができる。
【００９８】
（変形例１）
上述の実施の形態で作成される画像データは、あるセットの学習用データによる機械学習が終了した時点の分類モデルの分類結果を示している。本変形例１では、それに加え、１つ前のセットの学習用データによる機械学習が終了した時点の分類モデルの分類結果を画像データ上に示す。
【００９９】
つまり、画像データ作成部１５は、上述の実施の形態と同様にして画像データを作成する。それに加え、画像データ作成部１５は、１セット前の学習用データを用いて分類モデルを機械学習した際に表示した結果アイコンを、画像データ上に配置する。つまり、画像データ作成部１５は、１セット前のセットの学習用データを用いて機械学習された分類モデルに基づいて算出された評価用データの確率ベクトルに基づいて算出された位置に、結果アイコンを配置する。なお、結果アイコンの配置位置は、記憶部１１に記憶させておき、画像データ作成部１５が記憶部１１から当該位置を読み出すようにしてもよい。
【０１００】
図６は、変形例１に係る画像データ作成部１５が作成する画像データの一例を示す図である。画像データ上には最後のセットの学習用データにより機械学習された分類モデルの分類結果として、結果アイコン３１〜３３が表示される。それに加え、画像データ上には、１つ前のセットの学習用データにより機械学習された分類モデル分類結果として結果アイコン３１Ａ〜３３Ａが表示されている。結果アイコン３１Ａ、３２Ａおよび３３Ａは、それぞれ、正解クラスがクラス「１」、クラス「２」およびクラス「３」の評価用データを示すアイコンである。
【０１０１】
なお、結果アイコン３１〜３３と、結果アイコン３１Ａ〜３３Ａとは、それぞれ表示態様が異なる。例えば、結果アイコン３１〜３３と、結果アイコン３１Ａ〜３３Ａとは、それぞれ、形状は同じであるが、色が異なる。
【０１０２】
以上説明したように、本変形例１によると、１セット前のセットの学習用データにより機械学習された分類モデルに基づいた結果アイコンの分布が、現在のセットの学習用データにより機械学習された分類モデルに基づいた結果アイコンの分布とともに画像データ上に表示される。このため、ユーザは、機械学習の進捗に伴う評価用データに対応する結果アイコンの分布の変化を知ることができる。
【０１０３】
例えば、図６に示した例では、クラス「１」に対応する結果アイコン３１Ａおよび３１を比較すると、結果アイコン３１の方が結果アイコン３１Ａよりも正解位置２２に近づいていることが分かる。これは、機械学習をすることにより、クラス「１」の評価用データの分類精度が高まっていることを示している。クラス「２」の評価用データについても同様のことが言える。
【０１０４】
これに対し、クラス「３」に対応する結果アイコン３３Ａおよび３３を比較すると、結果アイコン３３Ａと結果アイコン３３の表示位置は、あまり変化しておらず、正解位置２４からも遠い。このため、ユーザは、クラス「３」の評価用データの分類精度が悪く、クラス「３」の学習用データを用いて、さらなる機械学習をしなければならないと判断することができる。
【０１０５】
また、変形例１に係る分類モデル作成装置１０は、１セット前のセットの学習用データにより機械学習された分類モデルに基づいた結果アイコンと、現在のセットの学習用データにより機械学習された分類モデルに基づいた結果アイコンとを異なる態様で表示することができる。このため、ユーザは、機械学習の進捗に伴う評価用データに対応する結果アイコンの分布の変化を容易に判断することができる。
【０１０６】
（変形例２）
上述の実施の形態では、例えば図３に示すように、評価用データを示すために結果アイコン３１〜３３を画像データ上に配置した。結果アイコン３１〜３３は、評価用データが属するクラスを示す正解クラスを示すアイコンであり、正解クラスが同じであれば、結果アイコンも同じであった。
【０１０７】
これに対し、本変形例２では、評価用データを示すための結果アイコンに、評価用データを利用する点が、上述の実施の形態と異なる。
【０１０８】
図７は、変形例２に係る画像データ作成部１５が作成する画像データの一例を示す図である。画像データ上には、正解クラス「１」の評価用データを示す結果アイコン４１と、正解クラス「２」の評価用データを示す結果アイコン４２と、正解クラス「３」の評価用データを示す結果アイコン４３とが配置されている。各結果アイコンは、分類用モデルに入力した評価用データの縮小画像である。
【０１０９】
このように評価用データの縮小画像を表示することで、ユーザは、同じ正解クラスであっても、正確に分類される評価用データと、正確に分類されることが困難な評価用データとを区別することができる。例えば、図７に示す例では、結果アイコン４１の大半は正解位置２２に近い位置に配置されるが、結果アイコン４１のうち結果アイコン４１Ａは、正解位置２２から遠い位置に配置されている。同様に、結果アイコン４２の大半は正解位置２３に近い位置に配置されるが、結果アイコン４２のうち結果アイコン４２Ａは、正解位置２３から遠い位置に配置されている。このため、ユーザは、結果アイコン４１Ａや結果アイコン４２Ａに示される評価用データを見ることにより、分類モデルが分類に失敗する確率の高い入力データを知ることができる。
【０１１０】
例えば、分類モデルは、結果アイコン４１Ａが示すような１画目がはねた数字の「１」の分類が苦手であるということを、ユーザは知ることができる。また、分類モデルは、結果アイコン４２Ａが示すようなループを描いた数字の「２」の分類が苦手であるということを、ユーザは知ることができる。
【０１１１】
［付記］
以上、本発明の実施の形態に係る分類モデル作成装置１０について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１１２】
例えば、上述の実施の形態では確率算出部１４は入力データに対して分類モデルが各クラスに分類する確率を計算したが、確率算出部１４の代わりに確度算出部を用いてもよい。つまり、確度算出部は、入力データが複数のクラスの各々に属する確からしさを示す確度を算出する。クラスの確度が大きいほど、入力データが当該クラスに属する確率が高いことを示す。なお、確率は確度の一種である。
【０１１３】
また、分類モデルにＳＶＭを用いる場合には、確率算出部１４は、以下のようにして入力データが各クラスに分類する確率を計算してもよい。
【０１１４】
図８は、ＳＶＭによる入力データの分類結果を示す図である。例えば、分類モデルにより分類するクラス数を２とした場合、クラス「１」の入力データと、クラス「２」の入力データとを分離する分離直線５３はｗｘ−ｂ＝０と表すことができる。ここで、ｗは重みベクトルであり、ｘは入力データであり、ｂはバイアス成分である。
【０１１５】
ベクトル空間中において、クラス「１」の入力データ５１と、クラス「２」の入力データ５２とを分離する分離直線５３が機械学習部１２による機械学習の結果として求められる。分離直線５３からの距離が最も遠いクラス「１」の入力データ５１を入力データ５１Ｂとし、分離直線５３からの距離が最も遠いクラス「２」の入力データ５２を入力データ５２Ｂとする。なお、これらの入力データ５１および５２は、学習用データの中から選択される。
【０１１６】
確率算出部１４は、入力データ５１Ｂに対するＳＶＭによる確率ベクトルを（ｐ１，ｐ２）＝（１，０）と定義し、入力データ５２Ｂに対するＳＶＭによる確率ベクトルを（ｐ１，ｐ２）＝（０，１）と定義し、それ以外の入力データに対する確率ベクトルを計算する。ここで、ｐ１は入力データがクラス「１」に属する確率であり、ｐ２は入力データがクラス「２」に属する確率である。
【０１１７】
つまり、確率算出部１４は、分離直線５３と直交する直線５４上に各入力データから垂線を下し、垂線の足の位置に基づいて、確率ベクトルを計算する。より具体的には、入力データ５１Ｂから直線５４に下した垂線の足５１Ｃにおける確率ベクトルを（ｐ１，ｐ２）＝（１，０）とし、入力データ５２Ｂから直線５４に下した垂線の足５２Ｃにおける確率ベクトルを（ｐ１，ｐ２）＝（０，１）とする。垂線の足５１Ｃおよび５２Ｃ間の位置における確率ベクトルは、確率ベクトル（ｐ１，ｐ２）＝（１，０）と、確率ベクトル（ｐ１，ｐ２）＝（０，１）とを線形補間することにより求める。
【０１１８】
例えば、入力データ５２Ｄから直線５４に下した垂線の足５２Ｅについて考えた場合に、垂線の足５２Ｅから垂線の足５２Ｃまでの距離と、垂線の足５２Ｅから垂線の足５１Ｃまでの距離との比が、２：８であったとする。この場合、確率算出部１４は、入力データ５２Ｄに対する確率ベクトルを、（ｐ１，ｐ２）＝（１×２／１０，１×８／１０）＝（０．２，０．８）として算出する。
【０１１９】
また、結果アイコンの配置は、図３に示したような２次元配置に限定されるものではなく、１次元配置であってもよいし、３次元配置であってもよい。図９は、結果アイコンを１次元配置、２次元配置および３次元配置した画像データを示す図である。
【０１２０】
例えば、結果アイコンを１次元配置する場合には、直線上に正解位置２２〜２４を設定し、結果アイコン３１〜３３を同じ直線上に配置する。正解位置に近いほど、当該正解位置に対応した正解クラスに分類される確率が高いものとする。このような表示を行うことで、機械学習初期には、直線上に分散して配置されていた結果アイコン３１〜３３が、機械学習終盤になると、正解位置２２〜２４の近傍にそれぞれまとまって配置され、徐々に分類モデルによる分類の確信度が高まっていることを表現することができる。このため、ユーザは、分類モデルによる分類の確信度を直感的に把握することができる。
【０１２１】
また、結果アイコンを３次元配置する場合には、球体上に正解位置２２〜２４および３５を設定し、結果アイコン３１〜３４を球体内に配置する。なお、正解位置３５は、クラス「４」の正解位置を示し、結果アイコン３４は、クラス「４」の評価用データに対する結果アイコンを示す。また、正解位置３５の近傍にはクラス「４」のクラスアイコン３６が表示されている。正解位置に近いほど、当該正解位置に対応した正解クラスに分類される確率が高いものとする。このような表示を行うことで、機械学習初期には、球体の中心付近に配置されていた結果アイコン３１〜３４が、機械学習終盤になると、正解位置２２〜２４および３５の近傍にまとまって配置され、徐々に分類モデルによる分類の確信度が高まっていることを表現することができる。このため、ユーザは、分類モデルによる分類の確信度を直感的に把握することができる。
【０１２２】
また、上記の分類モデル作成装置１０は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはＨＤＤには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、分類モデル作成装置１０は、その機能を達成する。
【０１２３】
さらに、上記の分類モデル作成装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１２４】
さらに、本発明は、上記コンピュータプログラムをコンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ−ＲＯＭ、半導体メモリなどに記録したものとしてもよい。なお、コンピュータプログラムは、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、分類モデル作成装置１０は、複数のコンピュータにより実現されてもよい。
【０１２５】
また、分類モデル作成装置１０の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、各装置の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、分類モデル作成装置１０において、機械学習部１２の機能がクラウドサーバにより実現され、分類モデル作成装置１０は、クラウドサーバに対して学習用データおよび分類モデルを送信し、クラウドサーバから学習用データによる学習済みの分類モデルを受信する構成であってもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０１２６】
以上の説明により、本発明は、以下に示す付記１〜付記７として実現することもできる。
［付記１］
評価用データと、当該評価用データが属する正解クラスとを取得する評価用データ取得部と、
入力データを複数のクラスのいずれかに分類する機械学習された分類モデルに基づいて、上記評価用データを上記分類モデルの入力データとした場合の上記複数のクラスの各々の確度を算出する確度算出部と、
上記評価用データおよび上記評価用データが属する正解クラスの少なくとも一方を示す結果アイコンを、上記確度算出部が算出した上記複数のクラスの確度の組み合わせに応じた位置に配置した画像データを作成する画像データ作成部と、
予め定められた複数セットの学習用データを順次用いて、上記分類モデルを機械学習させる機械学習部とを備え、
上記確度算出部は、１セットの上記学習用データを用いた上記分類モデルの機械学習が終了する度に、機械学習された上記分類モデルに基づいて、上記評価用データの各上記クラスの確度を算出し、
上記画像データ作成部は、１セットの上記学習用データを用いた上記分類モデルの機械学習が終了する度に、上記画像データを作成する
画像データ作成装置。
【０１２７】
［付記２］
上記画像データ作成部は、さらに、前記結果アイコンを、前記画像データ上の、１セット前のセットの前記学習用データを用いて機械学習された前記分類モデルに基づいて算出された前記判定用データの各クラスの確度に応じた位置に配置する
付記１に記載の画像データ作成装置。
【０１２８】
［付記３］
上記１セット前のセットの上記学習用データを用いて機械学習された上記分類モデルに基づく上記結果アイコンと、現セットの上記学習用データを用いて機械学習された上記分類モデルに基づく上記結果アイコンとは表示態様が異なる
付記２に記載の画像データ作成装置。
【０１２９】
［付記４］
上記画像データ作成部は、さらに、上記複数のクラスの各々を示すクラスアイコンを、上記画像データ上の、クラスごとに異なる当該クラスの所定の正解位置に応じた位置に配置する
付記１〜付記３のいずれか１項に記載の画像データ作成装置。
【０１３０】
［付記５］
上記クラスの正解位置は、当該クラスに分類される確度が最大となり、かつ上記複数のクラスのうち当該クラス以外の他のクラスに分類される確度が最小となる場合の確度の組み合わせに応じた位置である
付記４に記載の画像データ作成装置。
【０１３１】
［付記６］
上記複数のクラスの各々の正解位置と、上記複数のクラスの確度が等しい場合の確度の組み合わせに応じた位置とが等距離である
付記５に記載の画像データ作成装置。
【０１３２】
［付記７］
上記複数のクラスは、３以上のクラスである
付記１〜付記６のいずれか１項に記載の画像データ作成装置。
【０１３３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３４】
１０  分類モデル作成装置
１１  記憶部
１２  機械学習部
１３  評価用データ取得部
１４  確率算出部
１５  画像データ作成部
１６  画像データ出力部
１７  入力受付部
【図１】
2018109906.tif 000005
【図２】
2018109906.tif 000006
【図３】
2018109906.tif 000007
【図４】
2018109906.tif 000008
【図５】
2018109906.tif 000009
【図６】
2018109906.tif 000010
【図７】
2018109906.tif 000011
【図８】
2018109906.tif 000012
【図９】
2018109906.tif 000013