(57)【要約】【課題】データを精度よく分類可能にすること。【解決手段】情報処理装置１００は、データ群１０１を画像化して生成された画像群１１０，１１１を取得する。情報処理装置１００は、学習済みモデル１３０により画像群１１０から得た特徴量群１４０と、学習済みモデル１３０により基準画像群１２０から得た特徴量群１５０とを取得する。情報処理装置１００は、特徴量群１４０，１５０の特徴量空間における分布に基づいて、画像群１１０の生成に用いた画像化手法のスコアを算出する。情報処理装置１００は、画像群１１０の生成に用いた画像化手法のスコア、および、画像群１１１の生成に用いた画像化手法のスコアを出力する。【選択図】図１
2020149644.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。
【請求項２】
前記取得する処理は、
画像化手法によりデータ群を画像化して生成された画像群と、入力された画像に対応する特徴量を出力する学習済みモデルとの、複数の組み合わせを取得し、
前記算出する処理は、
取得した前記組み合わせごとに、前記組み合わせの学習済みモデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布と、前記組み合わせの学習済みモデルに前記基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記組み合わせの画像群の生成に用いた画像化手法のスコアを算出し、
取得した前記組み合わせごとに、前記組み合わせの学習済みモデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布と、基準モデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記組み合わせの学習済みモデルのスコアを算出し、
前記出力する処理は、
前記組み合わせごとに算出した前記画像化手法のスコアおよび前記学習済みモデルのスコアを出力する、ことを特徴とする請求項１に記載の情報処理方法。
【請求項３】
前記算出する処理は、
取得した前記組み合わせごとに、さらに、前記基準モデルに第２基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布に基づいて、前記学習済みモデルのスコアを算出する、ことを特徴とする請求項２に記載の情報処理方法。
【請求項４】
前記組み合わせごとに算出した前記画像化手法のスコアおよび前記学習済みモデルのスコアに基づいて、取得した前記複数の組み合わせのいずれかの組み合わせを選択し、
選択した前記組み合わせの画像群の生成に用いた画像化手法と、選択した前記組み合わせの学習済みモデルとを対応付けて出力する、
処理を前記コンピュータが実行することを特徴とする請求項２または３に記載の情報処理方法。
【請求項５】
選択した前記組み合わせの学習済みモデルに、選択した前記組み合わせの画像群の生成に用いた画像化手法により、前記データ群を画像化して生成された画像群のそれぞれが入力された場合に出力される特徴量群に基づいて、前記データ群を分類し、
分類した結果を出力する、
処理を前記コンピュータが実行することを特徴とする請求項４に記載の情報処理方法。
【請求項６】
前記取得する処理は、
データ集合の中から前記データ群を抽出する、ことを特徴とする請求項２〜４のいずれか一つに記載の情報処理方法。
【請求項７】
選択した前記組み合わせの学習済みモデルに、選択した前記組み合わせの画像群の生成に用いた画像化手法により、前記データ集合を画像化して生成された画像集合のそれぞれが入力された場合に出力される特徴量集合に基づいて、前記データ集合を分類し、
分類した結果を出力する、
処理を前記コンピュータが実行することを特徴とする請求項６に記載の情報処理方法。
【請求項８】
前記複数の画像化手法の指定を受け付ける、処理を前記コンピュータが実行する、ことを特徴とする請求項１〜７のいずれか一つに記載の情報処理方法。
【請求項９】
複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
【請求項１０】
複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
制御部を有することを特徴とする情報処理装置。
【請求項１１】
入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。
【請求項１２】
入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
【請求項１３】
入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
制御部を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理方法、情報処理プログラム、および情報処理装置に関する。
【背景技術】
【０００２】
従来、分類モデルを用いてデータを分類する様々な技術がある。例えば、データを画像化し、画像を分類する学習済みの分類モデルを流用することにより、データに合わせた分類モデルを新たに作成しなくても、データを分類可能にしようとする技術がある。
【０００３】
先行技術としては、例えば、被検査物の画像情報から変換された電気信号を改良した結果を入力とし特定基準に基づいて学習データおよび未学習データに対する識別および評価を行うものがある。また、例えば、学習モデルを更新すると、学習モデルに含まれる部分特徴量空間のうち、更新前後において変化のなかった部分特徴量空間の数に基づいて、検査員が設定した“疵種に関する正解データ”を疵データに付与して学習モデルを生成する技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−７６９９１号公報
【特許文献２】特開２００９−２６５０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、データを精度よく分類することが難しい場合がある。例えば、データを、どのような画像化手法を用いて画像化すれば、流用した学習済みの分類モデルにより分類しやすくなるのかを判断することが難しい。
【０００６】
１つの側面では、本発明は、データを精度よく分類可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施態様によれば、複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、前記画像群ごとに算出した前記画像化手法のスコアを出力する情報処理方法、情報処理プログラム、および情報処理装置が提案される。
【発明の効果】
【０００８】
一態様によれば、データを精度よく分類可能にすることが可能になる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図（その１）である。
【図２】図２は、実施の形態にかかる情報処理方法の一実施例を示す説明図（その２）である。
【図３】図３は、情報処理システム３００の一例を示す説明図である。
【図４】図４は、情報処理装置１００のハードウェア構成例を示すブロック図である。
【図５】図５は、クライアント装置３０１のハードウェア構成例を示すブロック図である。
【図６】図６は、情報処理装置１００の機能的構成例を示すブロック図である。
【図７】図７は、サンプリングを実施する一例を示す説明図である。
【図８】図８は、画像化手法を評価する一例を示す説明図である。
【図９】図９は、学習済みＮＮを評価する一例を示す説明図である。
【図１０】図１０は、分布表１０００を作成する一例を示す説明図である。
【図１１】図１１は、画像化手法のスコアおよび学習済みＮＮのスコアを算出する一例を示す説明図である。
【図１２】図１２は、画像化手法のスコアを算出する別の例を示す説明図（その１）である。
【図１３】図１３は、画像化手法のスコアを算出する別の例を示す説明図（その２）である。
【図１４】図１４は、学習済みＮＮのスコアを算出する別の例を示す説明図である。
【図１５】図１５は、情報処理装置１００による効果を示す説明図である。
【図１６】図１６は、情報処理装置１００の利用例１を示す説明図（その１）である。
【図１７】図１７は、情報処理装置１００の利用例１を示す説明図（その２）である。
【図１８】図１８は、情報処理装置１００の利用例２を示す説明図（その１）である。
【図１９】図１９は、情報処理装置１００の利用例２を示す説明図（その２）である。
【図２０】図２０は、利用例１における全体処理手順の一例を示すフローチャートである。
【図２１】図２１は、利用例２における全体処理手順の一例を示すフローチャートである。
【図２２】図２２は、分布抽出処理手順の一例を示すフローチャートである。
【図２３】図２３は、選択処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明にかかる情報処理方法、情報処理プログラム、および情報処理装置の実施の形態を詳細に説明する。
【００１１】
（実施の形態にかかる情報処理方法の一実施例）
図１および図２は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。情報処理装置１００は、データを精度よく分類可能にするためのコンピュータである。情報処理装置１００は、例えば、サーバやＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などである。データは、例えば、数値データである。
【００１２】
ここで、データを分類する技術として、例えば、データを画像化し、画像を分類する学習済みモデルを流用することにより、データに合わせた分類モデルを新たに作成しなくても、データを分類可能にしようとするものが考えられる。
【００１３】
この技術は、例えば、Ｉｍａｇｉｆｉｃａｔｉｏｎとも呼ばれる。学習済みモデルは、入力された画像に対応する特徴量を出力するモデルである。学習済みモデルは、例えば、ニューラルネットワークである。学習済みモデルは、具体的には、Ｏｐｅｎ  Ｓｏｕｒｃｅ  Ｓｏｆｔｗａｒｅで公開されているモデルであってもよい。以下の説明では、ニューラルネットワークを「ＮＮ」と表記する場合がある。これによれば、データに合わせた分類モデルを新たに作成せずに済み、作成のための膨大な教師データを用意せずに済む。
【００１４】
しかしながら、従来では、この技術を用いた場合、データを精度よく分類することが難しいことがある。例えば、この技術で利用可能な画像化手法が複数存在する場合が考えられる。この場合、分類しようとするデータを、どのような画像化手法を用いて画像化すれば、学習済みモデルにより、データを分類しやすくなるのかを判断することが難しい。そして、データを画像化する際、データに合った画像化手法を用いなければ、データを画像化して学習済みモデルに入力しても、データを精度よく分類することはできない。
【００１５】
これに対し、人手または自動で、データに合った画像化手法を検討することが考えられるが、膨大なデータを用意し、複数の画像化手法のいずれの画像化手法が、データに合った画像化手法であるかを１つ１つ検討することになる。このため、データに合った画像化手法を検討する検討作業にかかる作業量および作業時間が膨大になりやすく、データを分類しようとする分類作業者にかかる作業負担の増大化を招いてしまう。分類作業者にかかる作業負担の増大化を招く具体例については、例えば、図１５を用いて後述する。
【００１６】
さらに、例えば、この技術で利用可能な学習済みモデルが複数存在する場合が考えられる。この場合、分類しようとするデータを画像化した後、どのような学習済みモデルに入力すれば、データを精度よく分類しやすくなるのかを判断することが難しい。そして、データを画像化した後、データに合った学習済みモデルに入力しなければ、データを精度よく分類することはできない。
【００１７】
これに対し、人手または自動で、データに合った学習済みモデルを検討することが考えられるが、膨大なデータを用意し、複数の学習済みモデルのいずれの学習済みモデルが、データに合った学習済みモデルであるかを１つ１つ検討することになる。このため、データに合った学習済みモデルを検討する検討作業にかかる作業量および作業時間が膨大になりやすく、データを分類しようとする分類作業者にかかる作業負担の増大化を招いてしまう。分類作業者にかかる作業負担の増大化を招く具体例については、例えば、図１５を用いて後述する。
【００１８】
従って、分類しようとするデータに合った画像化手法と学習済みモデルとの組み合わせを特定可能にすることが望まれる。そして、分類しようとするデータに合った画像化手法と学習済みモデルとの組み合わせを特定する際にかかる所要時間の増大化を抑制することが望まれる。
【００１９】
そこで、本実施の形態では、学習済みモデルに、データ群を画像化して生成された画像群が入力された場合に出力される特徴量群の特徴量空間における分布を参照することにより、データを精度よく分類可能にすることができる情報処理方法について説明する。
【００２０】
図１の例では、説明の簡略化のため、画像化手法が複数存在し、かつ、学習済みモデルが１つ存在する場合における一実施例について説明する。また、学習済みモデルが複数存在する場合における一実施例については、図２を用いて後述する。
【００２１】
図１において、（１−１）情報処理装置１００は、画像化手法によりデータ群を画像化して生成された画像群を複数取得する。情報処理装置１００は、例えば、複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得する。
【００２２】
ここで、情報処理装置１００は、複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を、自装置で生成することにより取得してもよいし、他装置から受信することにより取得してもよい。図１の例では、情報処理装置１００は、データ群１０１を画像化して生成された画像群１１０，１１１を取得する。
【００２３】
（１−２）情報処理装置１００は、取得した画像群ごとに、画像群の生成に用いた画像化手法のスコアを算出する。情報処理装置１００は、例えば、画像群ごとに、学習済みモデルにより画像群から得た特徴量群と、学習済みモデルにより基準画像群から得た特徴量群との特徴量空間における分布に基づいて、画像群の生成に用いた画像化手法のスコアを算出する。
【００２４】
基準画像群とは、例えば、学習済みモデルを用いて分類することが難しいノイズ画像群である。学習済みモデルにより画像群から得た特徴量群とは、例えば、学習済みモデルに画像群の各画像が入力された場合に、学習済みモデルから出力される特徴量群である。学習済みモデルにより基準画像群から得た特徴量群とは、例えば、学習済みモデルに基準画像群の各画像が入力された場合に、学習済みモデルから出力される特徴量群である。
【００２５】
ここで、基準画像群は、学習済みモデルを用いて分類することが難しいノイズ画像群であるため、学習済みモデルにより基準画像群から得た特徴量群の分布は、データの分類に失敗した場合の見本となりうる。従って、画像群から得た特徴量群の分布が、基準画像群から得た特徴量群の分布に類似しないほど、画像群の生成に用いた画像化手法の、データの分類精度の向上への寄与度合いが大きいことを示すことになる。画像化手法の、データの分類精度の向上への寄与度合いが大きければ、スコアを高くすることが好ましい。
【００２６】
図１の例では、情報処理装置１００は、学習済みモデル１３０により画像群１１０から得た特徴量群１４０と、学習済みモデル１３０により基準画像群１２０から得た特徴量群１５０とを取得する。情報処理装置１００は、特徴量群１４０，１５０の特徴量空間における分布に基づいて、画像群１１０の生成に用いた画像化手法のスコアを算出する。
【００２７】
また、情報処理装置１００は、学習済みモデル１３０により画像群１１１から得た特徴量群１４１と、学習済みモデル１３０により基準画像群１２０から得た特徴量群１５０とを取得する。情報処理装置１００は、特徴量群１４１，１５０の特徴量空間における分布に基づいて、画像群１１１の生成に用いた画像化手法のスコアを算出する。ここでは、情報処理装置１００は、特徴量群１４０の分布が、特徴量群１４１の分布よりも特徴量群１５０の分布から遠いため、画像群１１０の生成に用いた画像化手法のスコアを、画像群１１１の生成に用いた画像化手法のスコアより大きくなるように算出する。
【００２８】
（１−３）情報処理装置１００は、画像群ごとに算出した画像化手法のスコアを出力する。図１の例では、情報処理装置１００は、画像群１１０の生成に用いた画像化手法のスコア、および、画像群１１１の生成に用いた画像化手法のスコアを出力する。出力先は、例えば、データを分類しようとする分類作業者が閲覧可能である他の装置のディスプレイである。
【００２９】
これにより、情報処理装置１００は、比較的少ない作業量で、複数の画像化手法のいずれの画像化手法が、データに合った画像化手法であるかを検討することができる。そして、情報処理装置１００は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、データに合った画像化手法であるかを把握しやすくすることができる。このため、情報処理装置１００は、分類作業者の作業負担の低減化を図ることができる。
【００３０】
ここでは、情報処理装置１００が、基準画像群として、学習済みモデルを用いて分類することが難しいノイズ画像群を利用する場合について説明したが、これに限らない。例えば、情報処理装置１００が、基準画像群として、学習済みモデルを用いて精度よく分類することが可能である最適画像群を利用する場合があってもよい。この場合、情報処理装置１００は、画像群から得た特徴量群の分布が、基準画像群から得た特徴量群の分布に類似するほど、画像群の生成に用いた画像化手法のスコアが高くなるようにすることが好ましい。次に、図２の説明に移行する。
【００３１】
図２の例では、説明の簡略化のため、画像化手法が１つ存在し、かつ、学習済みモデルが複数存在する場合における一実施例について説明する。
【００３２】
図２において、（２−１）情報処理装置１００は、学習済みモデルおよび基準モデルを複数取得する。基準モデルは、学習済みモデルごとに対応付けて用意され、学習済みモデルごとに異なるモデルである。基準モデルは、例えば、学習済みモデルの元となる未学習モデルである。未学習モデルは、例えば、パラメータが初期化された状態である。
【００３３】
図２の例では、情報処理装置１００は、学習済みモデル２２０と、学習済みモデル２２０に対応する基準モデル２２１と、学習済みモデル２３０と、学習済みモデル２３０に対応する基準モデル２３１とを取得する。
【００３４】
（２−２）情報処理装置１００は、取得した学習済みモデルごとにスコアを算出する。情報処理装置１００は、例えば、学習済みモデルごとに、学習済みモデルにより所定画像群から得た特徴量群と、基準モデルにより所定画像群から得た特徴量群との特徴量空間における分布に基づいて、学習済みモデルのスコアを算出する。所定画像群は、例えば、データ群を画像化して生成される。
【００３５】
学習済みモデルにより所定画像群から得た特徴量群とは、例えば、学習済みモデルに所定画像群のそれぞれが入力された場合に、学習済みモデルから出力される特徴量群である。基準モデルにより所定画像群から得た特徴量群とは、例えば、基準モデルに所定画像群のそれぞれが入力された場合に、基準モデルから出力される特徴量群である。
【００３６】
ここで、基準モデルは、未学習モデルであるため、基準モデルにより所定画像群から得た特徴量群の分布は、データの分類に失敗した場合の見本となりうる。従って、学習済みモデルにより所定画像群から得た特徴量群の分布が、基準モデルにより所定画像群から得た特徴量群の分布に類似しないほど、学習済みモデルの、データの分類精度の向上への寄与度合いが大きいことを示すことになる。学習済みモデルの、データの分類精度の向上への寄与度合いが大きければ、スコアを高くすることが好ましい。
【００３７】
図２の例では、情報処理装置１００は、データ群２０１を画像化して生成された所定画像群２１０を取得する。情報処理装置１００は、学習済みモデル２２０により所定画像群２１０から得た特徴量群２４０と、基準モデル２２１により所定画像群２１０から得た特徴量群２４１とを取得する。情報処理装置１００は、特徴量群２４０，２４１の特徴量空間における分布に基づいて、学習済みモデル２２０のスコアを算出する。
【００３８】
また、情報処理装置１００は、学習済みモデル２３０により所定画像群２１０から得た特徴量群２５０と、基準モデル２３１により所定画像群２１０から得た特徴量群２５１とを取得する。情報処理装置１００は、特徴量群２５０，２５１の特徴量空間における分布に基づいて、学習済みモデル２３０のスコアを算出する。ここでは、情報処理装置１００は、特徴量群２４０の分布が、特徴量群２４１の分布から比較的遠いため、学習済みモデル２２０のスコアを比較的大きく算出する。一方で、情報処理装置１００は、特徴量群２５０の分布が、特徴量群２５１の分布に比較的近いため、学習済みモデル２３０のスコアを比較的小さく算出する。
【００３９】
（２−３）情報処理装置１００は、学習済みモデルごとに算出した学習済みモデルのスコアを出力する。図２の例では、情報処理装置１００は、学習済みモデル２２０のスコア、および、学習済みモデル２３０のスコアを出力する。出力先は、例えば、データを分類しようとする分類作業者が閲覧可能である他の装置のディスプレイである。
【００４０】
これにより、情報処理装置１００は、比較的少ない作業量で、複数の学習済みモデルのいずれの学習済みモデルが、データに合った学習済みモデルであるかを検討することができる。そして、情報処理装置１００は、分類作業者が、スコアを参照して、複数の学習済みモデルのいずれの学習済みモデルが、データに合った学習済みモデルであるかを把握しやすくすることができる。このため、情報処理装置１００は、分類作業者の作業負担の低減化を図ることができる。
【００４１】
ここでは、情報処理装置１００が、学習済みモデルにより所定画像群から得た特徴量群と、基準モデルにより所定画像群から得た特徴量群との特徴量空間における分布を利用する場合について説明したが、これに限らない。例えば、情報処理装置１００が、さらに、基準モデルによりノイズ画像群から得た特徴量群の特徴量空間における分布も利用する場合があってもよい。
【００４２】
図１の例では、説明の簡略化のため、学習済みモデルが１つである場合について説明し、また、図２の例では、説明の簡略化のため、画像化手法が１つである場合について説明したが、これに限らない。以下の説明では、画像化手法が複数存在し、かつ、学習済みモデルが複数存在する場合についても含むように説明することにする。画像化手法が複数存在し、かつ、学習済みモデルが複数存在する場合の具体例については、例えば、図７〜図１１を用いて後述する。
【００４３】
（情報処理システム３００の一例）
次に、図３を用いて、図１および図２に示した情報処理装置１００を適用した、情報処理システム３００の一例について説明する。
【００４４】
図３は、情報処理システム３００の一例を示す説明図である。図３において、情報処理システム３００は、情報処理装置１００と、クライアント装置３０１とを含む。情報処理システム３００において、情報処理装置１００とクライアント装置３０１とは、有線または無線のネットワーク３１０を介して接続される。ネットワーク３１０は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどである。
【００４５】
情報処理装置１００は、例えば、分類対象のデータを、クライアント装置３０１から取得する。情報処理装置１００は、具体的には、１つのクライアント装置３０１から分類対象のデータを取得する。情報処理装置１００は、具体的には、複数のクライアント装置３０１から分類対象のデータを収集してもよい。情報処理装置１００は、例えば、分類対象のデータに基づいて、分類対象のデータに合った画像化手法と学習済みモデルとの組み合わせを、クライアント装置３０１に表示させる。情報処理装置１００は、例えば、分類対象のデータを分類した結果を、クライアント装置３０１に表示させてもよい。情報処理装置１００は、例えば、サーバやＰＣなどである。
【００４６】
クライアント装置３０１は、例えば、分類対象のデータを、情報処理装置１００に送信するコンピュータである。クライアント装置３０１は、例えば、分類対象のデータに合った画像化手法と学習済みモデルとの組み合わせを、情報処理装置１００から受信して表示する。クライアント装置３０１は、例えば、分類対象のデータを分類した結果を、情報処理装置１００から受信して表示してもよい。クライアント装置３０１は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。ここでは、情報処理装置１００が、クライアント装置３０１とは異なる装置である場合について説明したが、これに限らない。例えば、情報処理装置１００が、クライアント装置３０１と一体である場合があってもよい。
【００４７】
（情報処理装置１００のハードウェア構成例）
次に、図４を用いて、情報処理装置１００のハードウェア構成例について説明する。
【００４８】
図４は、情報処理装置１００のハードウェア構成例を示すブロック図である。図４において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４０１と、メモリ４０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）４０３と、記録媒体Ｉ／Ｆ４０４と、記録媒体４０５とを有する。また、各構成部は、バス４００によってそれぞれ接続される。
【００４９】
ここで、ＣＰＵ４０１は、情報処理装置１００の全体の制御を司る。メモリ４０２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることで、コーディングされている処理をＣＰＵ４０１に実行させる。
【００５０】
ネットワークＩ／Ｆ４０３は、通信回線を通じてネットワーク３１０に接続され、ネットワーク３１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ４０３は、ネットワーク３１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ４０３は、例えば、モデムやＬＡＮアダプタなどである。
【００５１】
記録媒体Ｉ／Ｆ４０４は、ＣＰＵ４０１の制御に従って記録媒体４０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ４０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポートなどである。記録媒体４０５は、記録媒体Ｉ／Ｆ４０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体４０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体４０５は、情報処理装置１００から着脱可能であってもよい。
【００５２】
情報処理装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を有していなくてもよい。
【００５３】
（クライアント装置３０１のハードウェア構成例）
次に、図５を用いて、図２に示した情報処理システム３００に含まれるクライアント装置３０１のハードウェア構成例について説明する。
【００５４】
図５は、クライアント装置３０１のハードウェア構成例を示すブロック図である。図５において、クライアント装置３０１は、ＣＰＵ５０１と、メモリ５０２と、ネットワークＩ／Ｆ５０３と、記録媒体Ｉ／Ｆ５０４と、記録媒体５０５と、ディスプレイ５０６と、入力装置５０７とを有する。また、各構成部は、バス５００によってそれぞれ接続される。
【００５５】
ここで、ＣＰＵ５０１は、クライアント装置３０１の全体の制御を司る。メモリ５０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ５０１のワークエリアとして使用される。メモリ５０２に記憶されるプログラムは、ＣＰＵ５０１にロードされることで、コーディングされている処理をＣＰＵ５０１に実行させる。
【００５６】
ネットワークＩ／Ｆ５０３は、通信回線を通じてネットワーク３１０に接続され、ネットワーク３１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ５０３は、ネットワーク３１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ５０３は、例えば、モデムやＬＡＮアダプタなどである。
【００５７】
記録媒体Ｉ／Ｆ５０４は、ＣＰＵ５０１の制御に従って記録媒体５０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ５０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体５０５は、記録媒体Ｉ／Ｆ５０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体５０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体５０５は、クライアント装置３０１から着脱可能であってもよい。
【００５８】
ディスプレイ５０６は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ５０６は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力装置５０７は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置５０７は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
【００５９】
クライアント装置３０１は、上述した構成部のほか、例えば、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、クライアント装置３０１は、記録媒体Ｉ／Ｆ５０４や記録媒体５０５を複数有していてもよい。また、クライアント装置３０１は、記録媒体Ｉ／Ｆ５０４や記録媒体５０５を有していなくてもよい。
【００６０】
（情報処理装置１００の機能的構成例）
次に、図６を用いて、情報処理装置１００の機能的構成例について説明する。
【００６１】
図６は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部６００と、取得部６０１と、算出部６０２と、選択部６０３と、分類部６０４と、出力部６０５とを含む。
【００６２】
記憶部６００は、例えば、図４に示したメモリ４０２や記録媒体４０５などの記憶領域によって実現される。以下では、記憶部６００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部６００が、情報処理装置１００とは異なる装置に含まれ、記憶部６００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。
【００６３】
取得部６０１〜出力部６０５は、制御部の一例として機能する。取得部６０１〜出力部６０５は、具体的には、例えば、図４に示したメモリ４０２や記録媒体４０５などの記憶領域に記憶されたプログラムをＣＰＵ４０１に実行させることにより、または、ネットワークＩ／Ｆ４０３により、その機能を実現する。各機能部の処理結果は、例えば、図４に示したメモリ４０２や記録媒体４０５などの記憶領域に記憶される。
【００６４】
記憶部６００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部６００は、複数の画像化手法を記憶する。ここで、２つの画像化手法について、画像化アルゴリズムが同一でも、それぞれの画像化手法の変数が異なれば、異なる種類の画像化手法として扱ってよい。記憶部６００は、複数の学習済みモデルを記憶する。学習済みモデルは、例えば、ニューラルネットワークである。ここで、２つの学習済みモデルについて、ニューラルネットワークのネットワークトポロジーが同一でも、それぞれの学習済みモデルのパラメータが異なれば、異なる種類の学習済みモデルとして扱ってよい。記憶部６００は、複数の学習済みモデルのそれぞれの学習済みモデルの元となる未学習モデルを記憶してもよい。
【００６５】
記憶部６００は、第１基準画像群を記憶する。第１基準画像群は、例えば、学習済みモデルを用いて分類することが難しいノイズ画像群である。第１基準画像群は、例えば、学習済みモデルの生成に用いた最適画像群であってもよい。第１基準画像群は、例えば、ノイズ画像群と、最適画像群との２種類であってもよい。第１基準画像群は、例えば、画像１つであってもよい。記憶部６００は、第２基準画像群を記憶する。第２基準画像群は、例えば、第１基準画像群と同一の画像群である。第２基準画像群は、例えば、ノイズ画像群である。第２基準画像群は、例えば、画像１つであってもよい。
【００６６】
記憶部６００は、学習済みモデルごとに、学習済みモデルに第１基準画像群の各画像が入力された場合に、学習済みモデルから出力される特徴量群を記憶してもよい。また、記憶部６００は、学習済みモデルごとに、学習済みモデルに第１基準画像群の各画像が入力された場合に、学習済みモデルから出力される特徴量群の特徴量空間における分布を示す情報を記憶してもよい。分布を示す情報は、例えば、特徴量群の平均特徴量や分散である。
【００６７】
記憶部６００は、学習済みモデルごとに、学習済みモデルに対応する基準モデルに第２基準画像群の各画像が入力された場合に、基準モデルから出力される特徴量群を記憶してもよい。また、記憶部６００は、学習済みモデルごとに、学習済みモデルに対応する基準モデルに第２基準画像群の各画像が入力された場合に、基準モデルから出力される特徴量群の特徴量空間における分布を示す情報を記憶してもよい。分布を示す情報は、例えば、特徴量群の平均特徴量や分散である。
【００６８】
取得部６０１は、各機能部の処理に用いられる各種情報を取得する。取得部６０１は、取得した各種情報を、記憶部６００に記憶し、または、各機能部に出力する。また、取得部６０１は、記憶部６００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部６０１は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部６０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。
【００６９】
取得部６０１は、データ群を取得する。データ群は、画像化手法または学習済みモデルを評価するための評価用である。取得部６０１は、例えば、データ集合を取得し、データ集合の中からデータ群を抽出する。データ集合は、例えば、分類対象である。これにより、取得部６０１は、データ集合全体を評価用とせず、データ集合の一部を評価用とすることができ、処理量の低減化を図ることができる。
【００７０】
取得部６０１は、複数の画像群を取得する。画像群は、例えば、画像１つであってもよい。取得部６０１は、例えば、画像化手法によりデータ群を画像化して生成された画像群を複数取得する。データ群のデータと、画像群の画像とは、例えば、１対１の対応でなくてもよい。データ群の２以上のデータが、例えば、１つの画像に画像化される場合があってもよい。取得部６０１は、具体的には、複数の画像化手法の指定を受け付ける。そして、取得部６０１は、指定された複数の画像化手法のそれぞれの画像化手法により、取得したデータ群を画像化し、複数の画像群を取得する。取得部６０１は、データ群を取得せず、複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して画像群を生成する装置から、複数の画像群を取得してもよい。
【００７１】
取得部６０１は、学習済みモデルを複数取得する。取得部６０１は、画像化手法によりデータ群を画像化して生成された画像群と、学習済みモデルとの、複数の組み合わせを取得してもよい。これにより、取得部６０１は、評価対象となる画像化手法、学習済みモデル、または、画像化手法と学習済みモデルとの組み合わせを取得することができ、算出部６０２が参照可能にすることができる。
【００７２】
算出部６０２は、取得した画像群ごとに、学習済みモデルに画像群の各画像が入力された場合に出力される特徴量群を取得する。算出部６０２は、画像群ごとに取得した特徴量群と、学習済みモデルに第１基準画像群の各画像が入力された場合に出力される特徴量群との特徴量空間における分布に基づいて、画像群の生成に用いた画像化手法のスコアを算出する。これにより、算出部６０２は、分類対象のデータ集合に合った画像化手法を選択するための指標となりうる、画像化手法のスコアを算出することができる。
【００７３】
算出部６０２は、取得した学習済みモデルごとに、学習済みモデルに画像群の各画像が入力された場合に出力される特徴量群を取得する。算出部６０２は、学習済みモデルごとに取得した特徴量群と、基準モデルに画像群の各画像が入力された場合に出力される特徴量群との特徴量空間における分布に基づいて、学習済みモデルのスコアを算出する。これにより、算出部６０２は、分類対象のデータ集合に合った学習済みモデルを選択するための指標となりうる、学習済みモデルのスコアを算出することができる。
【００７４】
算出部６０２は、取得した組み合わせごとに、組み合わせの学習済みモデルに組み合わせの画像群の各画像が入力された場合に出力される特徴量群を取得する。算出部６０２は、組み合わせごとに取得した特徴量群と、組み合わせの学習済みモデルに第１基準画像群の各画像が入力された場合に出力される特徴量群との特徴量空間における分布に基づいて、組み合わせの画像群の生成に用いた画像化手法のスコアを算出する。これにより、算出部６０２は、分類対象のデータ集合に合った組み合わせを選択するための指標となりうる、組み合わせの画像群の生成に用いた画像化手法のスコアを算出することができる。
【００７５】
算出部６０２は、取得した組み合わせごとに、組み合わせの学習済みモデルに組み合わせの画像群の各画像が入力された場合に出力される特徴量群を取得する。算出部６０２は、組み合わせごとに取得した特徴量群と、基準モデルに組み合わせの画像群の各画像が入力された場合に出力される特徴量群との特徴量空間における分布に基づいて、組み合わせの学習済みモデルのスコアを算出する。これにより、算出部６０２は、分類対象のデータ集合に合った組み合わせを選択するための指標となりうる、組み合わせの学習済みモデルのスコアを算出することができる。
【００７６】
算出部６０２は、取得した組み合わせごとに、さらに、基準モデルに第２基準画像群の各画像が入力された場合に出力される特徴量群の特徴量空間における分布にも基づいて、学習済みモデルのスコアを算出してもよい。これにより、算出部６０２は、学習済みモデルのスコアの算出精度の向上を図ることができる。
【００７７】
選択部６０３は、画像化手法ごとに算出した画像化手法のスコアに基づいて、取得した複数の画像化手法のいずれかの画像化手法を選択する。選択部６０３は、例えば、スコアが最大になる画像化手法を選択する。選択部６０３は、例えば、スコアが上位Ｍ件の画像化手法を選択してもよい。これにより、選択部６０３は、分類対象のデータ集合に合った画像化手法を選択することができる。
【００７８】
選択部６０３は、学習済みモデルごとに算出した学習済みモデルのスコアに基づいて、取得した複数の学習済みモデルのいずれかの学習済みモデルを選択する。選択部６０３は、例えば、スコアが最大になる学習済みモデルを選択する。選択部６０３は、例えば、スコアが上位Ｍ件の学習済みモデルを選択してもよい。これにより、選択部６０３は、分類対象のデータ集合に合った学習済みモデルを選択することができる。
【００７９】
選択部６０３は、組み合わせごとに算出した画像化手法のスコアおよび学習済みモデルのスコアに基づいて、取得した複数の組み合わせのいずれかの組み合わせを選択する。選択部６０３は、例えば、画像化手法のスコアおよび学習済みモデルのスコアの合計が最大になる組み合わせを選択する。選択部６０３は、例えば、画像化手法のスコアおよび学習済みモデルのスコアの合計が上位Ｍ件の組み合わせを選択してもよい。これにより、選択部６０３は、分類対象のデータ集合に合った組み合わせを選択することができる。
【００８０】
分類部６０４は、学習済みモデルに、選択した画像化手法により、データ群を画像化して生成された画像群の各画像が入力された場合に出力される特徴量群に基づいて、データ群を分類する。これにより、分類部６０４は、データ群を精度よく分類することができる。
【００８１】
分類部６０４は、学習済みモデルに、選択した画像化手法により、データ集合を画像化して生成された画像集合の各画像が入力された場合に出力される特徴量集合に基づいて、データ集合を分類する。これにより、分類部６０４は、データ集合を精度よく分類することができる。
【００８２】
分類部６０４は、選択した学習済みモデルに、データ群を画像化して生成された画像群の各画像が入力された場合に出力される特徴量群に基づいて、データ群を分類する。これにより、分類部６０４は、データ群を精度よく分類することができる。
【００８３】
分類部６０４は、選択した学習済みモデルに、データ集合を画像化して生成された画像集合の各画像が入力された場合に出力される特徴量集合に基づいて、データ集合を分類する。これにより、分類部６０４は、データ集合を精度よく分類することができる。
【００８４】
分類部６０４は、選択した組み合わせの学習済みモデルに、選択した組み合わせの画像群の生成に用いた画像化手法により、データ群を画像化して生成された画像群の各画像が入力された場合に出力される特徴量群に基づいて、データ群を分類する。これにより、分類部６０４は、データ群を精度よく分類することができる。
【００８５】
分類部６０４は、選択した組み合わせの学習済みモデルに、選択した組み合わせの画像群の生成に用いた画像化手法により、データ集合を画像化して生成された画像集合の各画像が入力された場合に出力される特徴量集合に基づいて、データ集合を分類する。これにより、分類部６０４は、データ集合を精度よく分類することができる。
【００８６】
出力部６０５は、各種情報を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ４０３による外部装置への送信、または、メモリ４０２や記録媒体４０５などの記憶領域への記憶である。
【００８７】
出力部６０５は、例えば、画像群ごとに算出した画像化手法のスコアを出力する。これにより、出力部６０５は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを把握しやすくすることができる。このため、出力部６０５は、分類作業者が、分類対象を精度よく分類可能にすることができ、分類作業者の作業負担の低減化を図ることができる。
【００８８】
出力部６０５は、例えば、学習済みモデルごとに算出した学習済みモデルのスコアを出力する。これにより、出力部６０５は、分類作業者が、スコアを参照して、複数の学習済みモデルのいずれの学習済みモデルが、分類対象に合った学習済みモデルであるかを把握しやすくすることができる。このため、出力部６０５は、分類作業者が、分類対象を精度よく分類可能にすることができ、分類作業者の作業負担の低減化を図ることができる。
【００８９】
出力部６０５は、例えば、組み合わせごとに算出した画像化手法のスコアおよび学習済みモデルのスコアを出力する。これにより、出力部６０５は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを把握しやすくすることができる。また、出力部６０５は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを把握しやすくすることができる。このため、出力部６０５は、分類作業者が、分類対象を精度よく分類可能にすることができ、分類作業者の作業負担の低減化を図ることができる。
【００９０】
出力部６０５は、選択した組み合わせの画像群の生成に用いた画像化手法と、選択した組み合わせの学習済みモデルとを対応付けて出力する。これにより、出力部６０５は、分類作業者が、いずれの画像化手法と、いずれの画像化手法との組み合わせが、分類対象に合っているかを把握しやすくすることができる。このため、出力部６０５は、分類作業者が、分類対象を精度よく分類可能にすることができ、分類作業者の作業負担の低減化を図ることができる。
【００９１】
出力部６０５は、分類した結果を出力する。これにより、出力部６０５は、分類作業者の作業負担の低減化を図ることができる。出力部６０５は、いずれかの機能部の処理結果を出力してもよい。これにより、出力部６０５は、各機能部の処理結果を利用者に通知可能にし、各機能部の処理内容を利用者が把握しやすくし、情報処理装置１００の利便性の向上を図ることができる。
【００９２】
（情報処理装置１００の動作例）
次に、図７〜図１５を用いて、情報処理装置１００の動作例について説明する。まず、図７を用いて、情報処理装置１００が、分析データ群に対してサンプリングを実施し、評価データ群を抽出する一例について説明する。分析データ群は、例えば、時系列データである。
【００９３】
図７は、サンプリングを実施する一例を示す説明図である。図７において、情報処理装置１００は、時系列データ７００を取得する。時系列データ７００は、分類データ群に対応し、時刻ごとのデータを複数含むデータ集合である。情報処理装置１００は、時系列データ７００に対してサンプリングを実施し、評価データ群を抽出する。サンプリングは、例えば、時系列データ７００から、ランダムに、Ｗ秒単位のデータを、時系列データ７００のＮ分の１の量だけ抽出することである。Ｗ秒単位は、例えば、画像化単位に対応する。
【００９４】
図７の例では、情報処理装置１００は、１時間分の時系列データ７００から、網掛け部分の１分単位のデータを、６分の１の量だけ抽出し、評価データ群を生成する。これにより、情報処理装置１００は、時系列データ７００をそのまま評価データ群とせず、時系列データ７００よりサイズの小さい評価データ群を生成することができ、処理量の低減化を図ることができる。次に、図８および図９を用いて、情報処理装置１００が、画像化手法および学習済みＮＮを評価する一例について説明する。
【００９５】
図８は、画像化手法を評価する一例を示す説明図である。図８において、情報処理装置１００は、画像化手法Ａと画像化手法Ｂとを評価する。
【００９６】
情報処理装置１００は、例えば、評価データ群を画像化手法Ａで画像化した画像群８０１の各画像を、学習済みＮＮ８２０に入力し、画像化手法Ａに対応する特徴量群を取得する。情報処理装置１００は、例えば、評価データ群を画像化手法Ｂで画像化した画像群８０２の各画像を、学習済みＮＮ８２０に入力し、画像化手法Ｂに対応する特徴量群を取得する。
【００９７】
また、情報処理装置１００は、ノイズ画像群８１０の各画像を、学習済みＮＮ８２０に入力し、ノイズ画像群に対応する特徴量群を取得する。ここで、ノイズ画像群に対応する特徴量群の分布は、評価データ群の分類に失敗した場合の見本となりうる。
【００９８】
このため、情報処理装置１００は、特徴量空間８３０での、画像化手法Ａに対応する特徴量群の分布と、画像化手法Ｂに対応する特徴量群の分布との、ノイズ画像群に対応する特徴量群の分布からの離れ具合を特定する。情報処理装置１００は、画像化手法Ａに対応する特徴量群の分布の方が、画像化手法Ｂに対応する特徴量群の分布よりも、ノイズ画像群に対応する特徴量群の分布から離れているため、画像化手法Ａが画像化手法Ｂよりも分析データ群の分類処理に適すると評価する。
【００９９】
情報処理装置１００は、具体的には、画像化手法に対応する特徴量群の分布の、ノイズ画像群に対応する特徴量群の分布からの離れ具合に応じ、分析データ群の分類処理への画像化手法の適合度合いを示すスコアを算出する。情報処理装置１００は、画像化手法のスコアに基づいて、画像化手法を評価する。画像化手法のスコアの算出例は、具体的には、例えば、図１０〜図１４を用いて後述する。次に、図９を用いて、情報処理装置１００が学習済みＮＮを評価する一例について説明する。
【０１００】
図９は、学習済みＮＮを評価する一例を示す説明図である。図９において、情報処理装置１００は、いずれかの画像化手法と学習済みＮＮ９２０との組み合わせにおける、学習済みＮＮ９２０を評価する。
【０１０１】
情報処理装置１００は、例えば、評価データ群を画像化した画像群９００の各画像を、学習済みＮＮ９２０に入力し、画像化手法と学習済みＮＮ９２０との組み合わせに対応する特徴量群を取得する。情報処理装置１００は、例えば、評価データ群を画像化した画像群９００の各画像を、無学習ＮＮ９３０に入力し、画像化手法と無学習ＮＮ９３０との組み合わせに対応する特徴量群を取得する。
【０１０２】
また、情報処理装置１００は、ノイズ画像群９１０の各画像を、無学習ＮＮ９３０に入力し、ノイズ画像群９１０と無学習ＮＮ９３０との組み合わせに対応する特徴量群を取得する。ここで、ノイズ画像群９１０と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布は、評価データ群の分類に失敗した場合の見本となりうる。また、画像化手法と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布は、評価データ群の分類精度が悪い場合の見本となりうる。
【０１０３】
このため、情報処理装置１００は、特徴量空間９４０での、ノイズ画像群９１０と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布と、画像化手法と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布との離れ具合を、評価基準として設定する。また、情報処理装置１００は、ノイズ画像群９１０と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布と、画像化手法と学習済みＮＮ９２０との組み合わせに対応する特徴量群の分布との離れ具合を、評価対象として設定する。情報処理装置１００は、評価対象の離れ具合が、評価基準の離れ具合よりも大きいほど、学習済みＮＮ９２０が、分析データ群の分類処理に適すると評価する。
【０１０４】
情報処理装置１００は、具体的には、評価対象の離れ具合と、評価基準の離れ具合とに応じ、分析データ群の分類処理への学習済みＮＮ９２０の適合度合いを示すスコアを算出する。ここで、評価基準の離れ具合が、スコア１に対応する。情報処理装置１００は、学習済みＮＮ９２０のスコアに基づいて、学習済みＮＮ９２０を評価する。学習済みＮＮ９２０のスコアの算出例は、具体的には、例えば、図１０〜図１４を用いて後述する。次に、図１０〜図１４を用いて、情報処理装置１００が画像化手法のスコアおよび学習済みＮＮのスコアを算出する具体例について説明する。
【０１０５】
図１０は、分布表１０００を作成する一例を示す説明図である。図１０において、情報処理装置１００は、各種特徴量群の特徴量空間における分布を示す情報を設定した分布表１０００を作成する。分布を示す情報は、例えば、平均特徴量または分散などである。
【０１０６】
図１０の例では、情報処理装置１００は、画像化手法Ａおよび画像化手法Ｂを有し、学習済みＮＮ−ａと学習済みＮＮ−ａに対応する無学習ＮＮ−ａとを有し、学習済みＮＮ−ｂと学習済みＮＮ−ｂに対応する無学習ＮＮ−ｂとを有する。無学習ＮＮ−ａは、学習済みＮＮ−ａとネットワークトポロジーが同一であり、パラメータが初期化されたＮＮである。無学習ＮＮ−ｂは、学習済みＮＮ−ｂとネットワークトポロジーが同一であり、パラメータが初期化されたＮＮである。また、情報処理装置１００は、ノイズ画像群を有し、無学習ＮＮ−ａから学習済みＮＮ−ａを学習する際に用いられた学習用画像群を有し、無学習ＮＮ−ｂから学習済みＮＮ−ｂを学習する際に用いられた学習用画像群を有する。
【０１０７】
図１０の例では、情報処理装置１００は、無学習ＮＮ−ａにノイズ画像群の各画像が入力された場合に無学習ＮＮ−ａから出力される特徴量群の分布を示す情報Ｂ0aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ−ａによる分類が失敗する場合の見本となりうる特徴量の分布を示す情報Ｂ0aを参照可能にすることができる。
【０１０８】
また、情報処理装置１００は、学習済みＮＮ−ａにノイズ画像群の各画像が入力された場合に学習済みＮＮ−ａから出力される特徴量群の分布を示す情報Ｂ1aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、学習済みＮＮ−ａによる分類が失敗する場合の見本となりうる特徴量の分布を示す情報Ｂ1aを参照可能にすることができる。
【０１０９】
また、情報処理装置１００は、無学習ＮＮ−ｂにノイズ画像群の各画像が入力された場合に無学習ＮＮ−ｂから出力される特徴量群の分布を示す情報Ｂ0bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ−ｂによる分類が失敗する場合の見本となりうる特徴量の分布を示す情報Ｂ0bを参照可能にすることができる。
【０１１０】
また、情報処理装置１００は、学習済みＮＮ−ｂにノイズ画像群の各画像が入力された場合に学習済みＮＮ−ｂから出力される特徴量群の分布を示す情報Ｂ1bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、学習済みＮＮ−ｂによる分類が失敗する場合の見本となりうる特徴量の分布を示す情報Ｂ1bを参照可能にすることができる。
【０１１１】
また、情報処理装置１００は、無学習ＮＮ−ａに画像化手法Ａにより評価データ群から生成された画像群の各画像が入力された場合に無学習ＮＮ−ａから出力される特徴量群の分布を示す情報ＸA,0aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ−ａによる分類精度が比較的悪い場合の見本となりうる特徴量の分布を示す情報ＸA,0aを参照可能にすることができる。
【０１１２】
また、情報処理装置１００は、学習済みＮＮ−ａに画像化手法Ａにより評価データ群から生成された画像群の各画像が入力された場合に学習済みＮＮ−ａから出力される特徴量群の分布を示す情報ＸA,1aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、画像化手法Ａと学習済みＮＮ−ａとの組み合わせによる分類精度の高さを示す指標となりうる特徴量の分布を示す情報ＸA,1aを参照可能にすることができる。
【０１１３】
また、情報処理装置１００は、無学習ＮＮ−ｂに画像化手法Ａにより評価データ群から生成された画像群の各画像が入力された場合に無学習ＮＮ−ｂから出力される特徴量群の分布を示す情報ＸA,0bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ−ｂによる分類精度が比較的悪い場合の見本となりうる特徴量の分布を示す情報ＸA,0bを参照可能にすることができる。
【０１１４】
また、情報処理装置１００は、学習済みＮＮ−ｂに画像化手法Ａにより評価データ群から生成された画像群の各画像が入力された場合に学習済みＮＮ−ｂから出力される特徴量群の分布を示す情報ＸA,1bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、画像化手法Ａと学習済みＮＮ−ｂとの組み合わせによる分類精度の高さを示す指標となりうる特徴量の分布を示す情報ＸA,1bを参照可能にすることができる。
【０１１５】
また、情報処理装置１００は、無学習ＮＮ−ａに画像化手法Ｂにより評価データ群から生成された画像群の各画像が入力された場合に無学習ＮＮ−ａから出力される特徴量群の分布を示す情報ＸB,0aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ−ａによる分類精度が比較的悪い場合の見本となりうる特徴量の分布を示す情報ＸB,0aを参照可能にすることができる。
【０１１６】
また、情報処理装置１００は、学習済みＮＮ−ａに画像化手法Ｂにより評価データ群から生成された画像群の各画像が入力された場合に学習済みＮＮ−ａから出力される特徴量群の分布を示す情報ＸB,1aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、画像化手法Ｂと学習済みＮＮ−ａとの組み合わせによる分類精度の高さを示す指標となりうる特徴量の分布を示す情報ＸB,1aを参照可能にすることができる。
【０１１７】
また、情報処理装置１００は、無学習ＮＮ−ｂに画像化手法Ｂにより評価データ群から生成された画像群の各画像が入力された場合に無学習ＮＮ−ｂから出力される特徴量群の分布を示す情報ＸB,0bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ−ｂによる分類精度が比較的悪い場合の見本となりうる特徴量の分布を示す情報ＸB,0bを参照可能にすることができる。
【０１１８】
また、情報処理装置１００は、学習済みＮＮ−ｂに画像化手法Ｂにより評価データ群から生成された画像群の各画像が入力された場合に学習済みＮＮ−ｂから出力される特徴量群の分布を示す情報ＸB,1bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、画像化手法Ｂと学習済みＮＮ−ｂとの組み合わせによる分類精度の高さを示す指標となりうる特徴量の分布を示す情報ＸB,1bを参照可能にすることができる。
【０１１９】
また、情報処理装置１００は、学習済みＮＮ−ａに学習用画像群の各画像が入力された場合に学習済みＮＮ−ａから出力される特徴量群の分布を示す情報Ｇ1aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、学習済みＮＮ−ａによる分類精度が比較的高い場合の見本となりうる特徴量の分布を示す情報Ｇ1aを参照可能にすることができる。
【０１２０】
また、情報処理装置１００は、学習済みＮＮ−ｂに学習用画像群の各画像が入力された場合に学習済みＮＮ−ｂから出力される特徴量群の分布を示す情報Ｇ1bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、学習済みＮＮ−ｂによる分類精度が比較的高い場合の見本となりうる特徴量の分布を示す情報Ｇ1bを参照可能にすることができる。
【０１２１】
以下の説明では、ノイズ画像群と無学習ＮＮ−ｋとの組み合わせに対応する特徴量群の分布を「最悪精度分布０ｋ」と表記する場合がある。ｋは、変数であり、ａまたはｂである。また、ノイズ画像群と学習済みＮＮ−ｋとの組み合わせに対応する特徴量群の分布を「最悪精度分布１ｋ」と表記する場合がある。また、学習用画像群と学習済みＮＮ−ｋとの組み合わせに対応する特徴量群の分布を「最良精度分布１ｋ」と表記する場合がある。
【０１２２】
情報処理装置１００は、画像化手法と学習済みＮＮ−ｋとの組み合わせに対応する特徴量群の分布が、最悪精度分布０ｋと最悪精度分布１ｋとから離れるほど、かつ、最良精度分布１ｋに近いほど、画像化手法と学習済みＮＮ−ｋとのスコアが高くなるようにする。次に、図１１を用いて、情報処理装置１００が、分布表１０００を参照して、画像化手法のスコアおよび学習済みＮＮのスコアを算出する一例について説明する。
【０１２３】
図１１は、画像化手法のスコアおよび学習済みＮＮのスコアを算出する一例を示す説明図である。図１１の例では、情報処理装置１００は、画像化手法に（ｉ）のラベルを付与し、学習済みモデルに（ｎ）のラベルを付与している。
【０１２４】
情報処理装置１００は、下記式（１）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、画像化手法（ｉ）のスコアＴi,nを算出する。下記式（１）は、最悪精度分布１ｋと最良精度分布１ｋとの距離を１として規格化し、最悪精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の離れ具合を評価する。下記式（１）によれば、離れ具合が大きいほど、スコアＴi,nが高くなる。また、規格化によれば、特徴量空間の次元数が異なる場合にも、スコアＴi,nを算出可能にすることができる。これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、画像化手法（ｉ）が他の画像化手法（ｉ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＴi,nとして算出することができる。ここで、ｉ’≠ｉである。
【０１２５】
【数１】
2020149644.tif 000003
【０１２６】
情報処理装置１００は、下記式（２）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、学習済みＮＮ（ｎ）のスコアＳi,nを算出する。下記式（２）は、最悪精度分布０ｋと最悪精度分布１ｋとの距離を１として規格化し、最悪精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の離れ具合を評価する。下記式（２）によれば、離れ具合が大きいほど、スコアＳi,nが高くなる。また、規格化によれば、特徴量空間の次元数が異なる場合にも、スコアＳi,nを算出可能にすることができる。これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、学習済みＮＮ（ｎ）が他の学習済みＮＮ（ｎ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＳi,nとして算出することができる。ここで、ｎ’≠ｎである。
【０１２７】
【数２】
2020149644.tif 000004
【０１２８】
情報処理装置１００は、スコアＴi,nとスコアＳi,nとの和を算出し、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせについての最良組み合わせスコアを取得する。そして、情報処理装置１００は、下記式（３）により、最良組み合わせスコアが最大になる画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせを選択する。
【０１２９】
【数３】
2020149644.tif 000005
【０１３０】
これにより、情報処理装置１００は、比較的少ない作業量で、いずれの画像化手法（ｉ）といずれの学習済みＮＮ（ｎ）との組み合わせが、評価データ群に合った組み合わせであるかを検討することができる。そして、情報処理装置１００は、分類作業者が、いずれの画像化手法（ｉ）といずれの学習済みＮＮ（ｎ）との組み合わせが、評価データ群に合った組み合わせであるかを把握しやすくすることができる。このため、情報処理装置１００は、分類作業者の作業負担の低減化を図ることができる。次に、図１２および図１３を用いて、情報処理装置１００が、分布表１０００を参照して、画像化手法のスコアを算出する別の例について説明する。
【０１３１】
図１２および図１３は、画像化手法のスコアを算出する別の例を示す説明図である。図１２に示すように、情報処理装置１００は、上記式（１）に代わり下記式（４）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、画像化手法（ｉ）のスコアＴi,nを算出してもよい。下記式（４）は、最悪精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の離れ具合を評価する。下記式（４）によれば、離れ具合が大きいほど、スコアＴi,nが高くなる。
【０１３２】
【数４】
2020149644.tif 000006
【０１３３】
これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、画像化手法（ｉ）が他の画像化手法（ｉ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＴi,nとして算出することができる。図１２の例では、情報処理装置１００は、最良精度分布１ｋを示す情報Ｇ1kを用いないため、図１０において最良精度分布１ｋを示す情報Ｇ1kを算出しなくてもよく、処理量とメモリ使用量の低減化を図ることができる。次に、図１３の説明に移行する。
【０１３４】
図１３に示すように、情報処理装置１００は、上記式（１）に代わり下記式（５）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、画像化手法（ｉ）のスコアＴi,nを算出してもよい。下記式（５）は、最良精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の近づき具合を評価する。下記式（５）によれば、近づき具合が大きいほど、スコアＴi,nが高くなる。
【０１３５】
【数５】
2020149644.tif 000007
【０１３６】
これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、画像化手法（ｉ）が他の画像化手法（ｉ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＴi,nとして算出することができる。図１３の例では、情報処理装置１００は、最悪精度分布１ｋを示す情報Ｂ1kを用いないため、図１０において最悪精度分布１ｋを示す情報Ｂ1kを算出しなくてもよく、処理量とメモリ使用量の低減化を図ることができる。次に、図１４を用いて、学習済みＮＮのスコアを算出する別の例について説明する。
【０１３７】
図１４は、学習済みＮＮのスコアを算出する別の例を示す説明図である。図１４に示すように、情報処理装置１００は、上記式（２）に代わり下記式（６）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、学習済みＮＮ（ｎ）のスコアＳi,nを算出してもよい。下記式（６）は、最悪精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の離れ具合を評価する。下記式（６）によれば、離れ具合が大きいほど、スコアＳi,nが高くなる。
【０１３８】
【数６】
2020149644.tif 000008
【０１３９】
これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、学習済みＮＮ（ｎ）が他の学習済みＮＮ（ｎ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＳi,nとして算出することができる。図１４の例では、情報処理装置１００は、最悪精度分布０ｋを示す情報Ｂ0kを用いないため、図１０において最悪精度分布０ｋを示す情報Ｂ0kを算出しなくてもよく、処理量とメモリ使用量の低減化を図ることができる。次に、図１５を用いて、情報処理装置１００による効果について説明する。
【０１４０】
図１５は、情報処理装置１００による効果を示す説明図である。図１５の例では、情報処理装置１００が、Ａ時間分の数値データを分類する場合であって、Ｂ種類の画像化手法が存在し、Ｃ種類の学習済みＮＮが存在し、Ｄ種類の特徴量分類手法が存在する場合について説明する。ここでは、画像化は、Ａ時間分の数値データのうち１分間単位のデータに対して実施される。また、ここでは、１分間単位のデータを画像化し、いずれかの学習済みＮＮにより特徴量を取得し、分類するまでにかかる所要時間が１秒であるとする。
【０１４１】
従来では、Ａ時間分の数値データ、Ｂ種類の画像化手法、Ｃ種類の学習済みＮＮ、Ｄ種類の特徴量分類手法を網羅的に組み合わせて、分類精度が高くなる組み合わせを検討する手法が考えられる。この手法では、累計の所要時間は（Ａ／６０）＊Ｂ＊Ｃ＊Ｄ秒になり、累計の所要時間の膨大化を招き、分類作業者の作業負担の増大化を招く。
【０１４２】
これに対し、情報処理装置１００は、Ａ時間分の数値データからＮ分の１の量をサンプリングした評価データを利用し、画像化手法と学習済みＮＮとの適切な組み合わせを検討することになる。その後、情報処理装置１００は、適切な組み合わせを利用し、Ａ時間分の数値データとＤ種類の特徴量分類手法との組み合わせを検討することになる。このため、情報処理装置１００は、累計の所要時間を（Ａ／６０／Ｎ）＊Ｂ＊Ｃ秒＋Ａ／６０＊Ｄ秒＝（Ａ／６０）（Ｂ＊Ｃ＋Ｄ＊Ｎ）／Ｎ秒に低減することができる。換言すれば、情報処理装置１００は、従来と比べて、累計の所要時間を（Ｂ＊Ｃ＋Ｄ＊Ｎ）／（Ｂ＊Ｃ＊Ｄ＊Ｎ）だけ低減することができる。
【０１４３】
情報処理装置１００は、例えば、Ｂ＝Ｃ＝Ｄ＝Ｎ＝１０であれば、累計の所要時間を５０分の１に低減することができる。また、情報処理装置１００は、Ｎ＝１であり、サンプリングを実施しなくても、累計の所要時間を１０分の１に低減することができる。このため、情報処理装置１００は、分類作業者の作業時間および作業負担の低減化を図りつつ、数値データの分類精度の向上を図ることができる。また、従来では、例えば、数値データに合わせた分類モデルを新規に作成する場合、１００万枚単位の画像を用意することになる場合がある。一方で、情報処理装置１００は、１００枚単位の画像を用意すれば、画像化手法と学習済みＮＮとの適切な組み合わせを検討することができる。このため、情報処理装置１００は、分類作業者の作業時間および作業負担の低減化を図ることができる。
【０１４４】
（情報処理装置１００の利用例１）
次に、図１６および図１７を用いて、情報処理装置１００の利用例１について説明する。
【０１４５】
図１６および図１７は、情報処理装置１００の利用例１を示す説明図である。図１６において、情報処理装置１００は、クライアント装置３０１から、評価データ群を受信する。情報処理装置１００は、評価データ群に基づいて、特徴量の分布抽出処理を実行し、画像化手法と学習済みＮＮとの組み合わせの選択処理を実行する。
【０１４６】
分布抽出処理は、画像化手法と学習済みＮＮとの組み合わせごとに、画像化処理と学習済みＮＮによる推論処理とを実行し、特徴量の分布を抽出する。分布抽出処理の一例は、例えば、図２２のフローチャートを用いて後述する。選択処理は、特徴量の分布に基づく最良組み合わせスコアを参照して、画像化手法と学習済みＮＮとの複数の組み合わせを、最良組み合わせスコアが大きい順にソートしたリストを生成する。選択処理の一例は、例えば、図２３のフローチャートを用いて後述する。
【０１４７】
情報処理装置１００は、画像化手法と学習済みＮＮとの複数の組み合わせを、最良組み合わせスコアが大きい順にソートしたリストを、クライアント装置３０１に送信する。リストの一例は、例えば、図１７に後述する。クライアント装置３０１は、受信したリストを、ディスプレイ５０６に表示する。次に、図１７の説明に移行し、クライアント装置３０１がディスプレイ５０６に表示するリストの一例について説明する。
【０１４８】
図１７に示すように、クライアント装置３０１は、リスト１７００を受信し、ディスプレイ５０６に表示する。リスト１７００は、組み合わせの最良組み合わせスコアが大きい順のランキングと、組み合わせの最良組み合わせスコアと、組み合わせに含まれる学習済みＮＮの種類と、組み合わせに含まれる画像化手法の種類とを対応付ける。これにより、分類作業者は、リスト１７００を参照して、いずれの画像化手法といずれの学習済みＮＮとの組み合わせが、評価データ群に合った組み合わせであるかを把握することができる。このため、分類作業者は、作業負担の低減化を図ることができる。
【０１４９】
（情報処理装置１００の利用例２）
次に、図１８および図１９を用いて、情報処理装置１００の利用例２について説明する。
【０１５０】
図１８および図１９は、情報処理装置１００の利用例２を示す説明図である。図１８において、情報処理装置１００は、クライアント装置３０１から、分析データ群を受信する。情報処理装置１００は、分析データ群に対してサンプリングを実施し、評価データ群を抽出する。情報処理装置１００は、評価データ群に基づいて、特徴量の分布抽出処理を実行し、画像化手法と学習済みＮＮとの組み合わせの選択処理を実行する。
【０１５１】
分布抽出処理は、画像化手法と学習済みＮＮとの組み合わせごとに、画像化処理と学習済みＮＮによる推論処理とを実行し、特徴量の分布を抽出する。分布抽出処理の一例は、例えば、図２２のフローチャートを用いて後述する。選択処理は、特徴量の分布に基づく最良組み合わせスコアを参照して、画像化手法と学習済みＮＮとの複数の組み合わせを、最良組み合わせスコアが大きい順にソートしたリストを生成する。選択処理の一例は、例えば、図２３のフローチャートを用いて後述する。
【０１５２】
情報処理装置１００は、画像化手法と学習済みＮＮとの複数の組み合わせを、最良組み合わせスコアが大きい順にソートしたリストに基づいて、いずれかの組み合わせ１８００を選択し、分析データ群の分類処理に利用する。情報処理装置１００は、例えば、最良組み合わせスコアが最大の組み合わせ１８００を選択し、組み合わせ１８００の画像化手法による画像化処理と、組み合わせ１８００の学習済みＮＮによる推論処理とを実施し、分類データ群の分類処理に利用する。情報処理装置１００は、分類処理の結果を、クライアント装置３０１に送信する。クライアント装置３０１は、分類処理の結果を、ディスプレイ５０６に表示する。次に、図１９の説明に移行する。
【０１５３】
図１９に示すように、情報処理装置１００は、１以上のクライアント装置３０１のそれぞれのクライアント装置３０１から、様々な分析データ群を受信する。分析データ群は、例えば、株価データ、室内環境センシングデータ、動作センシングデータなどである。情報処理装置１００は、図１８と同様に、それぞれの分析データ群に合わせた、画像化手法と学習済みＮＮとの組み合わせを選択することができる。
【０１５４】
そして、情報処理装置１００は、図１８と同様に、それぞれの分析データ群に対し、選択した組み合わせを利用して分類処理を実施し、それぞれの分析データ群を分類する。情報処理装置１００は、それぞれの分析データ群の分類結果１９００を、それぞれの分析データ群の送信元のクライアント装置３０１に送信する。クライアント装置３０１は、分析データ群の分類結果を受信し、ディスプレイ５０６に表示する。これにより、分類作業者は、分析データ群に合った、画像化手法と学習済みＮＮとの組み合わせを利用して、分析データ群を精度よく分類した分類結果を把握することができ、作業負担の低減化を図ることができる。
【０１５５】
また、情報処理装置１００は、特定の形式の分析データ群に限らず、様々な形式の分析データ群を受け付けても、それぞれの分析データ群に合った、画像化手法と学習済みＮＮとの組み合わせを選択して分類することができる。このため、情報処理装置１００は、様々な形式の分析データ群に対して適用可能であり、利便性の向上を図ることができる。
【０１５６】
（利用例１における全体処理手順）
次に、図２０を用いて、情報処理装置１００が実行する、利用例１における全体処理手順の一例について説明する。全体処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２や記録媒体４０５などの記憶領域と、ネットワークＩ／Ｆ４０３とによって実現される。
【０１５７】
図２０は、利用例１における全体処理手順の一例を示すフローチャートである。図２０において、情報処理装置１００は、分析データ群Ａを取得する（ステップＳ２００１）。そして、情報処理装置１００は、分析データ群Ａに対してサンプリングを実施し、データ群ａを抽出する（ステップＳ２００２）。
【０１５８】
次に、情報処理装置１００は、図２２に後述する分布抽出処理を実行する（ステップＳ２００３）。そして、情報処理装置１００は、図２３に後述する選択処理を実行する（ステップＳ２００４）。次に、情報処理装置１００は、リストＥを出力する（ステップＳ２００５）。そして、情報処理装置１００は、全体処理を終了する。
【０１５９】
（利用例２における全体処理手順）
次に、図２１を用いて、情報処理装置１００が実行する、利用例２における全体処理手順の一例について説明する。全体処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２や記録媒体４０５などの記憶領域と、ネットワークＩ／Ｆ４０３とによって実現される。
【０１６０】
図２１は、利用例２における全体処理手順の一例を示すフローチャートである。図２１において、情報処理装置１００は、分析データ群Ａを取得する（ステップＳ２１０１）。そして、情報処理装置１００は、分析データ群Ａに対してサンプリングを実施し、データ群ａを抽出する（ステップＳ２１０２）。
【０１６１】
次に、情報処理装置１００は、図２２に後述する分布抽出処理を実行する（ステップＳ２１０３）。そして、情報処理装置１００は、図２３に後述する選択処理を実行する（ステップＳ２１０４）。次に、情報処理装置１００は、リストＥのうち、上位Ｍ件の画像化手法と学習済みＮＮとの組み合わせＦｋの集合Ｆを取得する（ステップＳ２１０５）。ここで、ｋ＝１〜Ｍである。ｋの初期値は、１とする。そして、情報処理装置１００は、組み合わせＦｋを基に特徴量Ｈｋを抽出する（ステップＳ２１０６）。
【０１６２】
次に、情報処理装置１００は、特徴量Ｈｋを解析し、解析結果Ｉｋを取得する（ステップＳ２１０７）。そして、情報処理装置１００は、ｋをインクリメントする（ステップＳ２１０８）。次に、情報処理装置１００は、ｋ＞Ｍであるか否かを判定する（ステップＳ２１０９）。ここで、ｋ＞Ｍではない場合（ステップＳ２１０９：Ｎｏ）、情報処理装置１００は、ステップＳ２１０６の処理に戻る。一方で、ｋ＞Ｍである場合（ステップＳ２１０９：Ｙｅｓ）、情報処理装置１００は、ステップＳ２１１０の処理に移行する。
【０１６３】
ステップＳ２１１０では、情報処理装置１００は、分析結果Ｉｋの集合Ｉを出力する（ステップＳ２１１０）。そして、情報処理装置１００は、全体処理を終了する。
【０１６４】
（分布抽出処理手順）
次に、図２２を用いて、情報処理装置１００が実行する、分布抽出処理手順の一例について説明する。分布抽出処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２や記録媒体４０５などの記憶領域と、ネットワークＩ／Ｆ４０３とによって実現される。
【０１６５】
図２２は、分布抽出処理手順の一例を示すフローチャートである。図２２において、情報処理装置１００は、データ群ａを取得する（ステップＳ２２０１）。次に、情報処理装置１００は、画像化手法と学習済みＮＮの組み合わせＣｎの集合Ｃを設定する（ステップＳ２２０２）。ここで、ｎ＝１〜Ｎである。ｎの初期値は、１とする。Ｎは、組み合わせの総数である。そして、情報処理装置１００は、組み合わせＣｎを用いて、データ群ａから特徴量Ｄｎを抽出する（ステップＳ２２０３）。
【０１６６】
次に、情報処理装置１００は、特徴量Ｄｎから統計量Ｘｎを算出し、配列Ｘに登録する（ステップＳ２２０４）。そして、情報処理装置１００は、ｎをインクリメントする（ステップＳ２２０５）。次に、情報処理装置１００は、ｎ＞Ｎであるか否かを判定する（ステップＳ２２０６）。ここで、ｎ＞Ｎではない場合（ステップＳ２２０６：Ｎｏ）、情報処理装置１００は、ステップＳ２２０３の処理に戻る。一方で、ｎ＞Ｎである場合（ステップＳ２２０６：Ｙｅｓ）、情報処理装置１００は、ステップＳ２２０７の処理に移行する。
【０１６７】
ステップＳ２２０７では、情報処理装置１００は、配列Ｘを出力する（ステップＳ２２０７）。そして、情報処理装置１００は、分布抽出処理を終了する。
【０１６８】
（選択処理手順）
次に、図２３を用いて、情報処理装置１００が実行する、選択処理手順の一例について説明する。選択処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２や記録媒体４０５などの記憶領域と、ネットワークＩ／Ｆ４０３とによって実現される。
【０１６９】
図２３は、選択処理手順の一例を示すフローチャートである。図２３において、情報処理装置１００は、配列Ｘを取得する（ステップＳ２３０１）。次に、情報処理装置１００は、ノイズ画像群と無学習ＮＮとの組み合わせに対応する特徴量の統計量Ｂを取得する（ステップＳ２３０２）。そして、情報処理装置１００は、学習済みＮＮの学習に用いた画像群と学習済みＮＮとの組み合わせに対応する特徴量の統計量Ｇを取得する（ステップＳ２３０３）。
【０１７０】
次に、情報処理装置１００は、配列Ｘと統計量Ｂと統計量Ｇとに基づいて、スコアＳおよびスコアＴを算出する（ステップＳ２３０４）。そして、情報処理装置１００は、スコアＳおよびスコアＴに基づいて、画像化手法と学習済みＮＮの組み合わせＣｎごとに、最良組み合わせスコアを算出する（ステップＳ２３０５）。
【０１７１】
次に、情報処理装置１００は、最良組み合わせスコアの大きい順に、画像化手法と学習済みＮＮの組み合わせＣｎをソートし、リストＥを作成する（ステップＳ２３０６）。そして、情報処理装置１００は、リストＥを出力する（ステップＳ２３０７）。その後、情報処理装置１００は、選択処理を終了する。
【０１７２】
以上説明したように、情報処理装置１００によれば、画像化手法によりデータ群を画像化して生成された画像群を複数取得することができる。情報処理装置１００によれば、取得した画像群ごとに、学習済みモデルにより画像群から得られた特徴量群と、学習済みモデルにより第１基準画像群から得られる特徴量群との分布に基づいて、画像群の生成に用いた画像化手法のスコアを算出することができる。情報処理装置１００によれば、画像群ごとに算出した画像化手法のスコアを出力することができる。これにより、情報処理装置１００は、比較的少ない作業量で、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを検討することができる。そして、情報処理装置１００は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを把握しやすくすることができる。
【０１７３】
情報処理装置１００によれば、画像化手法によりデータ群を画像化して生成された画像群と、学習済みモデルとの、複数の組み合わせを取得することができる。情報処理装置１００によれば、取得した組み合わせごとに、学習済みモデルにより画像群から得られる特徴量群と、学習済みモデルにより第１基準画像群から得られる特徴量群との分布に基づいて、画像群の生成に用いた画像化手法のスコアを算出することができる。情報処理装置１００によれば、取得した組み合わせごとに、学習済みモデルにより画像群から得られる特徴量群と、基準モデルにより画像群から得られる特徴量群との分布に基づいて、学習済みモデルのスコアを算出することができる。情報処理装置１００によれば、組み合わせごとに算出した画像化手法のスコアおよび学習済みモデルのスコアを出力することができる。これにより、情報処理装置１００は、比較的少ない作業量で、いずれの画像化手法といずれの学習済みモデルとの組み合わせが、分類対象に合った組み合わせであるかを検討することができる。
【０１７４】
情報処理装置１００によれば、取得した組み合わせごとに、さらに、基準モデルにより第２基準画像群から得られた特徴量群の分布に基づいて、学習済みモデルのスコアを算出することができる。これにより、情報処理装置１００は、学習済みモデルのスコアの算出精度の向上を図ることができる。また、情報処理装置１００は、特徴量空間の次元数が異なる場合にも、学習済みモデルのスコアを算出可能にすることができる。
【０１７５】
情報処理装置１００によれば、組み合わせごとに算出した画像化手法のスコアおよび学習済みモデルのスコアに基づいて、取得した複数の組み合わせのいずれかの組み合わせを選択することができる。情報処理装置１００によれば、選択した組み合わせの画像群の生成に用いた画像化手法と、選択した組み合わせの学習済みモデルとを対応付けて出力することができる。これにより、情報処理装置１００は、分類作業者が、いずれの画像化手法と、いずれの画像化手法との組み合わせが、分類対象に合っているかを把握しやすくすることができる。
【０１７６】
情報処理装置１００によれば、選択した組み合わせの学習済みモデルにより、選択した組み合わせの画像群の生成に用いた画像化手法によりデータ群を画像化して生成された画像群から得られる特徴量群に基づいて、データ群を分類することができる。情報処理装置１００によれば、分類した結果を出力することができる。これにより、情報処理装置１００は、分類作業者が、分析対象に合った画像化手法と学習済みモデルとの組み合わせを利用して、分析対象を精度よく分類した分類結果を把握しやすくすることができる。
【０１７７】
情報処理装置１００によれば、分類対象のデータ集合を受信した場合、データ集合の中からデータ群を抽出することができる。これにより、情報処理装置１００は、画像化手法のスコアまたは学習済みモデルのスコアを算出する際にかかる処理量の低減化を図ることができる。
【０１７８】
情報処理装置１００によれば、選択した組み合わせの学習済みモデルにより、選択した組み合わせの画像群の生成に用いた画像化手法によりデータ集合を画像化して生成された画像集から得られる特徴量集合に基づいて、データ集合を分類することができる。情報処理装置１００によれば、分類した結果を出力することができる。これにより、情報処理装置１００は、分類作業者が、分析対象に合った画像化手法と学習済みモデルとの組み合わせを利用して、分析対象を精度よく分類した分類結果を把握しやすくすることができる。
【０１７９】
情報処理装置１００によれば、複数の画像化手法の指定を受け付けることができる。情報処理装置１００によれば、指定された複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得することができる。これにより、情報処理装置１００は、指定された複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを検討することができる。
【０１８０】
情報処理装置１００によれば、学習済みモデルとして、ニューラルネットワークを利用することができる。これにより、情報処理装置１００は、学習済みモデルとして、ニューラルネットワークを流用可能にすることができる。
【０１８１】
情報処理装置１００によれば、第２基準画像群として、第１基準画像群と同一の画像群を利用することができる。これにより、情報処理装置１００は、第２基準画像群を用意する作業負担の低減化を図ることができる。
【０１８２】
情報処理装置１００によれば、第１基準画像群として、学習済みモデルの生成に用いた画像群を利用することができる。これにより、情報処理装置１００は、画像化手法のスコアの算出精度の向上を図ることができる。
【０１８３】
情報処理装置１００によれば、基準モデルとして、学習済みモデルの元となる未学習モデルを利用することができる。これにより、情報処理装置１００は、学習済みモデルのスコアの算出精度の向上を図ることができる。
【０１８４】
情報処理装置１００によれば、学習済みモデルを複数取得することができる。情報処理装置１００によれば、取得した学習済みモデルごとに、学習済みモデルにより所定画像群から得られる特徴量群と、基準モデルにより所定画像群から得られる特徴量群との分布に基づいて、学習済みモデルのスコアを算出することができる。情報処理装置１００によれば、学習済みモデルごとに算出した学習済みモデルのスコアを出力することができる。これにより、情報処理装置１００は、比較的少ない作業量で、複数の学習済みモデルのいずれの学習済みモデルが、分類対象に合った学習済みモデルであるかを検討することができる。そして、情報処理装置１００は、分類作業者が、スコアを参照して、複数の学習済みモデルのいずれの学習済みモデルが、データに合った学習済みモデルであるかを把握しやすくすることができる。
【０１８５】
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本実施の形態で説明した情報処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本実施の形態で説明した情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
【０１８６】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０１８７】
（付記１）複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。
【０１８８】
（付記２）前記取得する処理は、
画像化手法によりデータ群を画像化して生成された画像群と、入力された画像に対応する特徴量を出力する学習済みモデルとの、複数の組み合わせを取得し、
前記算出する処理は、
取得した前記組み合わせごとに、前記組み合わせの学習済みモデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布と、前記組み合わせの学習済みモデルに前記基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記組み合わせの画像群の生成に用いた画像化手法のスコアを算出し、
取得した前記組み合わせごとに、前記組み合わせの学習済みモデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布と、基準モデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記組み合わせの学習済みモデルのスコアを算出し、
前記出力する処理は、
前記組み合わせごとに算出した前記画像化手法のスコアおよび前記学習済みモデルのスコアを出力する、ことを特徴とする付記１に記載の情報処理方法。
【０１８９】
（付記３）前記算出する処理は、
取得した前記組み合わせごとに、さらに、前記基準モデルに第２基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布に基づいて、前記学習済みモデルのスコアを算出する、ことを特徴とする付記２に記載の情報処理方法。
【０１９０】
（付記４）前記組み合わせごとに算出した前記画像化手法のスコアおよび前記学習済みモデルのスコアに基づいて、取得した前記複数の組み合わせのいずれかの組み合わせを選択し、
選択した前記組み合わせの画像群の生成に用いた画像化手法と、選択した前記組み合わせの学習済みモデルとを対応付けて出力する、
処理を前記コンピュータが実行することを特徴とする付記２または３に記載の情報処理方法。
【０１９１】
（付記５）選択した前記組み合わせの学習済みモデルに、選択した前記組み合わせの画像群の生成に用いた画像化手法により、前記データ群を画像化して生成された画像群のそれぞれが入力された場合に出力される特徴量群に基づいて、前記データ群を分類し、
分類した結果を出力する、
処理を前記コンピュータが実行することを特徴とする付記４に記載の情報処理方法。
【０１９２】
（付記６）前記取得する処理は、
データ集合の中から前記データ群を抽出する、ことを特徴とする付記２〜４のいずれか一つに記載の情報処理方法。
【０１９３】
（付記７）選択した前記組み合わせの学習済みモデルに、選択した前記組み合わせの画像群の生成に用いた画像化手法により、前記データ集合を画像化して生成された画像集合のそれぞれが入力された場合に出力される特徴量集合に基づいて、前記データ集合を分類し、
分類した結果を出力する、
処理を前記コンピュータが実行することを特徴とする付記６に記載の情報処理方法。
【０１９４】
（付記８）前記複数の画像化手法の指定を受け付ける、処理を前記コンピュータが実行する、ことを特徴とする付記１〜７のいずれか一つに記載の情報処理方法。
【０１９５】
（付記９）前記学習済みモデルは、ニューラルネットワークである、ことを特徴とする付記１〜８のいずれか一つに記載の情報処理方法。
【０１９６】
（付記１０）前記第２基準画像群は、前記基準画像群と同一の画像群である、ことを特徴とする付記３に記載の情報処理方法。
【０１９７】
（付記１１）前記基準画像群は、前記学習済みモデルの生成に用いた画像群である、ことを特徴とする付記１に記載の情報処理方法。
【０１９８】
（付記１２）前記基準モデルは、前記学習済みモデルの元となる未学習モデルである、ことを特徴とする付記２に記載の情報処理方法。
【０１９９】
（付記１３）複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
【０２００】
（付記１４）複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
制御部を有することを特徴とする情報処理装置。
【０２０１】
（付記１５）入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。
【０２０２】
（付記１６）入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
【０２０３】
（付記１７）入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
制御部を有することを特徴とする情報処理装置。
【符号の説明】
【０２０４】
１００  情報処理装置
１０１，２０１  データ群
１１０，１１１，８０１，８０２，９００  画像群
１２０  基準画像群
１３０，２２０，２３０  学習済みモデル
１４０，１４１，１５０，２４０，２４１，２５０，２５１  特徴量群
２１０  所定画像群
２２１，２３１  基準モデル
３００  情報処理システム
３０１  クライアント装置
３１０  ネットワーク
４００，５００  バス
４０１，５０１  ＣＰＵ
４０２，５０２  メモリ
４０３，５０３  ネットワークＩ／Ｆ
４０４，５０４  記録媒体Ｉ／Ｆ
４０５，５０５  記録媒体
５０６  ディスプレイ
５０７  入力装置
６００  記憶部
６０１  取得部
６０２  算出部
６０３  選択部
６０４  分類部
６０５  出力部
７００  時系列データ
８１０，９１０  ノイズ画像群
８２０，９２０  学習済みＮＮ
８３０，９４０  特徴量空間
９３０  無学習ＮＮ
１０００  分布表
１７００  リスト
１８００  組み合わせ
１９００  分類結果
【図１】
2020149644.tif 000009
【図２】
2020149644.tif 000010
【図３】
2020149644.tif 000011
【図４】
2020149644.tif 000012
【図５】
2020149644.tif 000013
【図６】
2020149644.tif 000014
【図７】
2020149644.tif 000015
【図８】
2020149644.tif 000016
【図９】
2020149644.tif 000017
【図１０】
2020149644.tif 000018
【図１１】
2020149644.tif 000019
【図１２】
2020149644.tif 000020
【図１３】
2020149644.tif 000021
【図１４】
2020149644.tif 000022
【図１５】
2020149644.tif 000023
【図１６】
2020149644.tif 000024
【図１７】
2020149644.tif 000025
【図１８】
2020149644.tif 000026
【図１９】
2020149644.tif 000027
【図２０】
2020149644.tif 000028
【図２１】
2020149644.tif 000029
【図２２】
2020149644.tif 000030
【図２３】
2020149644.tif 000031