(57)【要約】新規のコンテンツの分類方法を提供する。機械学習を学習モデルに用いたコンテンツの分類方法および分類器の作成方法である。ステップ１は、複数のコンテンツからなるデータセットを取得する。ｍ個のコンテンツには学習用ラベルを付与し、残りのコンテンツには学習用ラベルを付与しない。ステップ２は、ｍ個のコンテンツを用いて機械学習により第１の学習モデルを作成する。ステップ３は、第１の学習モデルを用いて複数のコンテンツに判定ラベルを付与しＧＵＩに表示する。ステップ４は、複数のコンテンツのうち、ｋ個のコンテンツに新たな学習用ラベルを付与する。ステップ５は、ｋ個のコンテンツを用いて機械学習により第２の学習モデルを作成する。ステップ６は、第２の学習モデルを用いて複数のコンテンツに判定ラベルを付与しＧＵＩに表示する。
2020099986.tif 000002
【特許請求の範囲】
【請求項１】
学習用ラベルが付与されたｍ個（ｍは自然数を表す）のコンテンツと、
前記学習用ラベルが付与されていないｎ個（ｎは自然数を表す）のコンテンツと、を含む複数のコンテンツを有するデータセットを取得するステップと、
前記ｍ個のコンテンツを用いて機械学習により第１の学習モデルを作成するステップと、
前記第１の学習モデルを用いて前記複数のコンテンツに判定ラベルを付与し、グラフィカルユーザインターフェース内に提示するステップと、
前記ｎ個のコンテンツのうち更にｑ個（ｑは自然数を表す）のコンテンツに学習用ラベルを付与するステップと、
前記学習用ラベルが付与された前記（ｑ＋ｍ）個のコンテンツを用いて、前記機械学習により第２の学習モデルを作成するステップと、
前記第２の学習モデルを用いて、前記複数のコンテンツに判定ラベルを付与し、前記グラフィカルユーザインターフェース内に提示するステップと、
を含むコンテンツの分類方法。
【請求項２】
複数のコンテンツからなるデータセットを取得するステップと、前記複数のコンテンツのうちｍ個（ｍは自然数を表す）のコンテンツには学習用ラベルが付与されており、残りのコンテンツにはラベルが付与されておらず、
前記学習用ラベルが付与された前記ｍ個のコンテンツを用いて機械学習により第１の学習モデルを作成するステップと、
前記第１の学習モデルを用いて前記複数のコンテンツに判定ラベルを付与し、グラフィカルユーザインターフェース内に提示するステップと、
前記複数のコンテンツのうちｋ個（ｋはｍよりも大きい自然数を表す）のコンテンツに学習用ラベルを付与するステップと（但しｋはｍより大きい）、
前記学習用ラベルが付与された前記ｋ個のコンテンツを用いて前記機械学習により第２の学習モデルを作成するステップと、
前記第２の学習モデルを用いて前記複数のコンテンツに判定ラベルを付与し、前記グラフィカルユーザインターフェース内に提示するステップと、
を含むコンテンツの分類方法。
【請求項３】
複数のコンテンツからなるデータセットを取得するステップと、前記複数のコンテンツのうちｍ個（ｍは自然数を表す）のコンテンツには学習用ラベルが付与されており、残りのコンテンツにはラベルが付与されておらず、
前記学習用ラベルが付与された前記ｍ個のコンテンツを用いて前記複数のコンテンツのベルを推定する第１のスコアの計算を行うステップと、
前記第１のスコアに基づいて決められた判定ラベルを前記複数のコンテンツに付与したリストをグラフィカルユーザインターフェース内に提示するステップと、
前記リストに含まれる前記複数のコンテンツのうちｋ個（ｋはｍよりも大きい自然数を表す）のコンテンツに学習用ラベルを付与するステップと、
前記学習用ラベルが付与された前記ｋ個のコンテンツを用いて前記複数のコンテンツの判定ラベルを推定する第２のスコアの計算を行うステップと、
前記第２のスコアに基づいて決められた前記判定ラベルを前記複数のコンテンツに付与した前記リストを前記グラフィカルユーザインターフェース内に提示するステップと、
を含むコンテンツの分類方法。
【請求項４】
前記第１のスコアのうち特定の数値範囲を指定し、該当するコンテンツに対して学習用ラベルを与えるステップを含む請求項３のコンテンツの分類方法。
【請求項５】
前記複数のコンテンツはテキストデータからなる請求項１乃至３のコンテンツの分類方法。
【請求項６】
前記複数のコンテンツを含むデータセットに対して教師無し学習によるクラスタリングを行うステップを更に含む請求項１乃至３のコンテンツの分類方法。
【請求項７】
前記複数のコンテンツは特許文書に含まれるテキストを含む請求項１乃至３のコンテンツの分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明の一態様は、コンピュータ装置、グラフィカルユーザインターフェース、およびコンテンツの分類方法および分類器の作成方法に関する。【０００２】  なお、本発明の一態様は、コンピュータ装置に関する。本発明の一態様は、コンピュータ装置を利用した電子化されたコンテンツ（テキストデータ、画像データ、音声データ、または動画データ）の分類方法に関する。特に、本発明の一態様は、コンテンツの集まりから機械学習を用いて効率的に分類するコンピュータ装置に関する。なお、本発明の一態様は、コンピュータ装置がプログラムによって管理するグラフィカルユーザインターフェースを用いたコンテンツの分類方法および分類器の作成方法に関する。
【背景技術】
【０００３】  ユーザは、コンテンツの集まりから、ユーザの指定するトピックスに関する情報を容易に抽出したいと考えている。近年では、機械学習によって学習させた学習モデルを用いた新しい分類システムが提案されている。例えば特許文献１では、ユーザの指定するトピックスと関連性の高いドキュメントを決定するための機械学習のアプローチが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１０４６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  ある文書（例えば特許や論文）の集合を目的に即して、分類を行う場合がある。それは、文書に付随する要約、キーワードや図面、各種メモなど様々な項目を使い分類が行われる。分類の精度や効率は、対象となる文書の内容にもよるが、作業者の経験や熟練により差が出やすく、また、大量の文書を分類するには人力に頼る必要があり、効率化の課題があった。【０００６】  機械学習を用いた分類器の作成においては、大量の学習データを用意する必要があるためユーザに過度の負担を強いる場合や、学習データにおいて分類されたコンテンツの数のばらつきが分類器の精度に影響を与える、という課題がある。【０００７】  上記問題に鑑み、本発明の一態様は、効率良く情報を分類する方法を提供することを課題の一とする。または、本発明の一態様は、効率良く情報を分類するグラフィカルユーザインターフェースを提供することを課題の一とする。または、本発明の一態様は、効率良く情報を分類するプログラムを提供することを課題の一とする。【０００８】  なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。【０００９】  なお本発明の一態様の課題は、上記列挙した課題に限定されない。上記列挙した課題は、他の課題の存在を妨げるものではない。なお他の課題は、以下の記載で述べる、本項目で言及していない課題である。本項目で言及していない課題は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した課題、および／または他の課題のうち、少なくとも一つの課題を解決するものである。
【課題を解決するための手段】
【００１０】  提案するシステムは、機械学習を利用するものであり、最初の文書の集合のうち比較的少ない数の教師データを基に機械学習を行い、学習モデルを取得、残りの文書については取得した学習モデルを使って分類を行う。ここで得られる分類結果の精度は学習モデルの質に依存するが、一度の機械学習では満足な精度が得られないことを前提として、同じグラフィカルインターフェース上で、分類と検証、機械学習を繰り返し、良質な学習モデルの作成を可能とする。【００１１】  機械が行った分類が適切だったか否かを作業者が評価を行い、評価したデータは教師データとして追加する。最初の教師データと追加した教師データを基に、改めて機械学習を行い第２の学習モデルを取得する。第２の学習モデルは、教師データが増えた分、精度が改善している。【００１２】  これらの作業を繰り返すことで、十分な精度の学習モデルが得られる。また、本発明は、この学習モデルを得る作業を効率良く行うためのグラフィカルユーザインターフェースを提供するものである。【００１３】  なお、分類は作業者の目的により２種類でも良いし、３種類以上としても良い。【００１４】  これにより、作業者が分類するために一部のデータに与えた教師データを機械が学習し、作業者は全ての文書を手作業または目視で判断するよりも短い時間で文書全体の分類を行うことが可能となる。機械学習の仕組みについては、公知の技術を使っても良いが、例えばナイーブベイズ（Ｎａｉｖｅ  Ｂａｙｅｓ）やランダムフォレストなどを用いることができる。【００１５】  第１のステップでは、テキストデータを含むファイルを用意する。なお、テキストデータを含むファイルをコンテンツと言い換える場合がある。また、コンテンツには、テキストデータだけでなく、画像データ、音声データ、または動画データを含む。なお、コンテンツの一例として、特許文書に含まれるテキストを用いることができる。【００１６】  第２のステップでは、ファイルを読み込み、テキストデータを画面に表示する。【００１７】  第３のステップでは、全データのうちの一部についての分類を、教師データとして学習用ラベルに入力する。なお、第２のステップにおいて、予め、一部の文書に教師データ（学習用ラベル）として分類を与えた状態でファイルを用意し、読み込んだ際に学習用ラベルとして取り込んでも良い。【００１８】  第４のステップでは、学習開始ボタンを押し学習モデルが取得され、学習モデルを利用して分類が判定ラベルに付与される。この際、判定ラベルとして、分類に対応したラベルを付与する。学習モデルの計算によって与えられたラベルを判定ラベルとする。【００１９】  第５のステップでは、付与された判定ラベルを作業者が評価して、評価した結果を追加の教師データとして学習用ラベルに入力する。【００２０】  第６のステップでは、学習開始ボタンを押し学習モデルが取得され、学習モデルを利用して分類が判定ラベルに付与される。【００２１】  第７のステップでは、十分な分類精度が得られるまで第５ステップと第６ステップを繰り返す。【００２２】  本発明の一態様は、コンテンツの分類方法および分類器の作成方法であり、学習用ラベルが付与されたｍ個（ｍは自然数を表す）の��ンテンツと、当該学習用ラベルが付与されていないｎ個（ｎは自然数を表す）のコンテンツと、を含む複数のコンテンツを有するデータセットを取得するステップを有する。ｍ個のコンテンツを用いて機械学習により第１の学習モデルを作成するステップを有する。第１の学習モデルを用いて前記複数のコンテンツに判定ラベルを付与しグラフィカルユーザインターフェース内に提示するステップを有する。ｎ個のコンテンツのうち更にｑ個（ｑは自然数を表す）のコンテンツに新たな学習用ラベルを付与するステップを有する。当該学習用ラベルが付与された（ｑ＋ｍ）個のコンテンツを用いて、機械学習により第２の学習モデルを作成するステップを有する。第２の学習モデルを用いて、複数のコンテンツに新たな判定ラベルを付与し前記グラフィカルユーザインターフェース内に提示するステップを有する分類方法である。【００２３】  本発明の一態様は、コンテンツの分類方法および分類器の作成方法であり、複数のコンテンツからなるデータセットを取得するステップを有する。ユーザによって、複数のコンテンツのうちｍ個のコンテンツには、学習用ラベルが付与され、残りのコンテンツには学習用ラベルが付与されない。当該学習用ラベルが付与された当該ｍ個のコンテンツを用いて機械学習により第１の学習モデルを作成するステップを有する。第１の学習モデルを用いて複数のコンテンツに判定ラベルを付与しグラフィカルユーザインターフェース内に提示するステップを有する。複数のコンテンツのうちｋ個のコンテンツに新たな学習用ラベルを付与するステップを有する。当該学習用ラベルが付与されたｋ個のコンテンツを用いて機械学習により第２の学習モデルを作成するステップを有する。第２の学習モデルを用いて複数のコンテンツに新たな判定ラベルを付与しグラフィカルユーザインターフェース内に提示するステップを有する分類方法である。但しｋはｍよりも大きい自然数を表す。また、当該ｋ個の集合は当該ｍ個の集合を完全に含んでいても良いし、一部のみを含んでいても良い。【００２４】  本発明の一態様は、コンテンツの分類方法および分類器の作成方法であり、複数のコンテンツからなるデータセットを取得するステップを有する。複数のコンテンツのうちｍ個のコンテンツには学習用ラベルが付与され、残りのコンテンツにはラベルが付与されない。当該学習用ラベルが付与された当該ｍ個のコンテンツを用いて複数のコンテンツの判定ラベルを推定する第１のスコアの計算を行うステップを有する。第１のスコアに基づいて決められたラベルを複数のコンテンツに付与したリストをグラフィカルユーザインターフェース内に提示するステップを有する。次に、リストに含まれる複数のコンテンツのうちｋ個のコンテンツに新たな学習用ラベルを付与するステップを有する。学習用ラベルが付与された当該ｋ個のコンテンツを用いて複数のコンテンツの判定ラベルを推定する第２のスコアの計算を行うステップを有する。第２のスコアに基づいて決められた新たな判定ラベルを複数のコンテンツに付与したリストをグラフィカルユーザインターフェース内に提示するステップを有する分類方法である。但ｋはｍよりも大きい自然数を表す。また、当該ｋ個の集合は当該ｍ個の集合���完全に含んでいても良いし、一部のみを含んでいても良い。【００２５】  上記構成において、第１のスコアのうち特定の数値範囲を指定し、該当するコンテンツに対して学習用ラベルを与えるステップを含む分類方法である。【００２６】  上記各構成において、複数のコンテンツはテキストデータである分類方法である。【００２７】  上記各構成において、複数のコンテンツを含むデータセットに対して教師無し学習によるクラスタリングを行うステップを更に含む分類方法である。【００２８】  上記各構成において、複数のコンテンツは特許文書に含まれるテキストを含む分類方法である。
【発明の効果】
【００２９】  本発明の一態様は、効率良く情報を分類する方法を提供することができる。または、本発明の一態様は、効率良く情報を分類するユーザインターフェースを提供することができる。または、本発明の一態様は、効率良く情報を分類するプログラムを提供することができる。【００３０】  また、本発明の一態様は、機械学習を利用した分類器を作成するための対話的なインターフェースをユーザに提供することができ、教師データの用意や学習結果の評価といったユーザの負担を軽減することができる。【００３１】  なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、および／または他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
【図面の簡単な説明】
【００３２】図１は、分類方法を説明する図である。
図２は、分類方法を説明する図である。
図３は、分類方法を説明するフローチャートである。
図４は、ユーザインターフェースを説明する図である。
図５は、分類方法を説明するフローチャートである。
図６Ａおよび図６Ｂは、ユーザインターフェースを説明する図である。
図７は、ユーザインターフェースを説明する図である。
図８は、プログラムを動作させるコンピュータ装置を説明するブロック図である。
図９は、ユーザインターフェースを説明する図である。
【発明を実施するための形態】
【００３３】（実施の形態）
本実施の形態では、コンテンツの分類方法について図１乃至図９を用いて説明する。
【００３４】  本実施の形態で説明するコンテンツの分類方法または分類器の作成方法は、コンピュータ装置上で動作するプログラムによって制御される。プログラムは、コンピュータ装置が有するメモリ、またはストレージに保存されている。もしくは、ネットワーク（ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなど）を介して接続されているコンピュータ装置、またはデータベースを有するサーバコンピュータ装置に保存されている。
【００３５】  なお、コンピュータ装置が有する表示装置は、ユーザがプログラムに与えるデータと、当該与えられたデータをコンピュータ装置が有する演算装置によって演算した結果を表示することができる。なお、コンピュータ装置の構成に関しては、図８にて詳細な説明をする。
【００３６】  コンピュータ装置に接続された表示装置に表示されるデータは、リスト化された表示形式に従うことで、ユーザが認識しやすくなり、操作性を向上させることができる。一例として、ユーザが、表示装置を介してコンピュータ装置が有するプログラムと簡便にやり取りするために表示する表示形式のことを、グラフィカルユーザインターフェース（以降、ＧＵＩと記す）として説明する。
【００３７】  ユーザは、ＧＵＩを介してプログラムが有するコンテンツの分類方法または分類器の作成方法を利用することができる。ＧＵＩは、ユーザが行うコンテンツの分類操作を簡便にすることができる。またユーザは、ＧＵＩを介することでコンテンツの分類結果を視覚的に判断しやすくなる。また、ＧＵＩを用いることで、ユーザは、プログラムを簡便に操作することができる。なお、当該コンテンツとは、テキストデータ、画像データ、音声データ、または動画データなどを示している。
【００３８】  次に、ＧＵＩを用いたコンテンツの分類方法および分類器の作成方法を、ＧＵＩの操作手順に従い説明する。最初に、ユーザは、ＧＵＩを介して複数のコンテンツからなるデータセットを取得するステップを有する。複数のコンテンツとは、コンピュータ装置が有する、メモリ、またはストレージに保存されているファイル、もしくはネットワークに接続されたコンピュータ、サーバなどに保存されているファイルである。
【００３９】  例えば、当該ファイルには、複数のコンテンツがリスト化されて保存されていることが好ましい。もしくは、コンテンツが、それぞれ異なるファイルに保存されていてもよい。
【００４０】  一例として、ファイルに保存されているコンテンツがテキストデータの場合について説明する。なお、本明細書では、当該テキストデータが特許文書に含まれるテキストの場合について説明をする。当該ファイルには、複数のコンテンツがリスト化されて保存されていることが好ましい。もしくは、複数のコンテンツは、異なるファイルに保存されていてもよい。例えば、複数のファイルには、それぞれ異なる種類または異なる量のテキストデータなどが保存されていてもよい。ＧＵＩを介して複数のファイルからそれぞれのテキストデータを読み込むことができる。
【００４１】  プログラムは、読み込んだテキストデータをＧＵＩに表示するステップを有する。テキストデータは、リスト化された形式を有することが好ましい。ＧＵＩは、ＧＵＩが有する表示形式に従い当該テキストデータを表示する。なお、リスト化されたテキストデータは、レコードと呼ばれる単位で管理されることが好ましい。例えば、それぞれのレコードは、レコードの順番を表すユニークな番号に紐つけられたラベルＩＤ、およびコンテンツ（テキストデータ）などによって構成される。
【００４２】  例えば、コンテンツがテキストデータの場合、テキストデータは、プログラムが機械学習するためのデータとして取り扱うことが難しい。そこで、対象のテキストデータをプログラムが扱うことができる形式にする必要がある。コンピュータ装置が機械学習するためにテキストデータを解析してベクトル化する方法がある。ベクトル化する方法の一例としてＢａｇ  ｏｆ  Ｗｏｒｄｓ（ＢｏＷ）と呼ばれる方法がある。ＢｏＷは、テキストデータから、テキストデータに含まれる特徴語の出現頻度をベクトル化することができる。一例として、特徴語とは、繰り返し出現する文字列、もしくは複数の形容詞や述語がかかる文字列である。ベクトル化されたテキストデータは、コンピュータ装置は機械学習のための入力データとして容易に扱うことができる。なお、テキストデータをベクトル化するには、Ｗｏｒｄ２Ｖｅｃに代表される分散表現を用いてもよい。分散表現は埋め込み表現とも呼ばれる。
【００４３】  なお、上述したコンテンツの分類方法または分類器の作成方法では、当該コンテンツに対し、教師無しの機械学習による分類、すなわちクラスタリングを行うことができる。例えば、Ｋ−ｍｅａｎｓやＤＢＳＣＡＮ（ｄｅｎｓｉｔｙ−ｂａｓｅｄ  ｓｐａｔｉａｌ  ｃｌｕｓｔｅｒｉｎｇ  ｏｆ  ａｐｐｌｉｃａｔｉｏｎｓ  ｗｉｔｈ  ｎｏｉｓｅ）は、分類器として機能する。また、クラスタリングの対象が文書の場合は、トピックモデルを用いてもよい。
【００４４】  次に、ユーザは、ＧＵＩに対しコンピュータ装置が有するメモリまたはストレージに保存されているファイルからｎ個のレコードを読み込むステップを有する。ＧＵＩは、ＧＵＩが提供する表示形式に従い、ｎ個のレコードをＧＵＩに表示する。ユーザは、ＧＵＩに表示されたｎ個のレコードの中から、ユーザが選択したｍ個のレコードに対し学習用ラベルを付与するステップを有する。なお、残りのレコードには学習用ラベルが付与されない。ｍ、およびｎは、自然数である。
【００４５】  次に、プログラムが、学習用ラベルが付与された当該ｍ個のテキストデータを用いて機械学習により学習モデルを作成するステップを有する。学習モデルには、決定木、ナイーブベイズ、ＫＮＮ（ｋ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ）、パーセプトロン、ロジスティック回帰、ニューラルネットワークなどの機械学習のアルゴリズムを用いることができる。
【００４６】  更に、学習用ラベル数に応じて学習モデルを切り替えるステップがあってもよい。学習用ラベル数が少ないときは決定木、ナイーブベイズ、ロジスティック回帰、学習用ラベル数が一定量以上あればＳＶＭ、ランダムフォレスト、ニューラルネットワークを用いるとしてもよい。なお、本実施の形態で使用する学習モデルは、決定木のアルゴリズムの一つであるランダムフォレストを用いている。
【００４７】  本実施の形態では、プログラムが複数回の機械学習によって学習モデルを更新する教師あり学習モデルを用いる。したがって学習モデルが更新されるたびに分類の精度が向上する。よって、プログラムが１回目の機械学習で生成する学習モデルを第１の学習モデルと呼び、プログラムが２回目の機械学習で生成する学習モデルを第２の学習モデルと呼ぶ。なお、プログラムがｐ回目の機械学習で生成する学習モデルを第ｐの学習モデルと呼ぶ。ｐは、自然数である。
【００４８】  次に、プログラムが、生成した学習モデルを用いてテキストデータを分類し、プログラムが、分類結果またはスコアをそれぞれのレコードに付与するステップを有する。詳細に説明すると、まず、プログラムは、学習用ラベルが付与された当該ｍ個のテキストデータを用いて第１の学習モデルを生成する。次に、プログラムは、第１の学習モデルによってｎ個のテキストデータを分類する。プログラムは、分類結果としてｎ個のレコードに判定ラベルおよび第１のスコアを付与する。なお、第１のスコアとは、プログラムが第１の学習モデルを用いて判定ラベルを推定するために行う計算の結果である。第１のスコアが取り得る数値範囲は、０以上１以下であることが好ましい。
【００４９】  なお、第１のスコアは、第１の学習モデルが生成する判定ラベルに対する確率と言い換えてもよい。例えば学習用ラベルが、２種類のデータ“Ｙｅｓ”、“Ｎｏ”で与えられる場合について説明する。プログラムが付与する判定ラベルが“Ｙｅｓ”の場合、プログラムは、判定ラベルが“Ｙｅｓ”の場合の確率を第１のスコアとして提示する。なお、学習用ラベルが、３種類のデータであるならば、判定ラベルは、３種類のデータであることが好ましい。つまり判定ラベルの種類は、学習用ラベルの種類と等しいことが好ましい。
【００５０】  次に、プログラムが、第１のスコアに基づいて決められた判定ラベルおよび第１のスコアをＧＵＩに表示するステップを有する。詳細に説明すると、プログラムは、第１の学習モデルによって分類した判定ラベルおよび第１のスコアを、ＧＵＩに表示するｎ個のレコードのリストに追加提示（表示）する。なお判定ラベルおよび第１のスコアは、学習用ラベルが付与されたレコードに対しても与えられる。
【００５１】  次に、ユーザが、それぞれの判定ラベルおよび第１のスコアを判定する。ユーザは、学習用ラベルが付与されていない複数のレコードの中からｋ個のレコードに対し、追加の学習用ラベルを付与するステップを有する。但しｋは、ｍより大きな自然数である。なお、ｋ個のレコードには、ｍ個のレコードの一部もしくはすべてを含むことができる。ｋ個のレコードに学習用ラベルを付与する場合、ｍ個の学習用ラベルは更新されないことが好ましい。ｍ個の学習用ラベルが更新されないことで、第１の学習モデルの情報が引き継がれる。但し、ｍ個のレコードに与えられた学習用ラベルのいずれかがユーザの判定とは異なる学習用ラベルと判断できる場合は、当該学習用ラベルには新しい学習用ラベルを付与することが好ましい。なお、学習用ラベルを付与していないレコードは、第１のスコアのラベルが最も低いものを優先してユーザに提示することが好ましい。例えば、２クラス分類の場合は第１のスコアが０．５近傍（例えば０．５以上０．６５未満）のレコードからユーザによるラベル付けを促すことが望ましい。ここで、第１のスコアは確率を意味する。
【００５２】  なお、ユーザが第１の学習モデルの判定ラベルおよび第１のスコアを判定した結果、ｍ個のレコードの中からユーザが選択するレコードに付与された学習用ラベルを更新してもよい。第１の学習モデルに新しい学習用ラベルを付与し、次に説明する第２の学習モデルが作成されてもよい。
【００５３】  次に、プログラムが、学習用ラベルが付与された当該ｋ個のテキストデータを用いて機械学習により第２の学習モデルを作成するステップを有する。ユーザが第１の学習モデルに付与された第１の判定ラベルを判断し、更にユーザが追加したｋ個の学習用ラベルによって、プログラムは、第２の学習モデルを生成する。プログラムは、第２の学習モデルによってｎ個のテキストデータを再度分類する。分類した結果は、プログラムによってｎ個のレコードに判定ラベルおよび第２のスコアとして付与される。なお、第２のスコアとは、プログラムが第２の学習モデルを用いて第２の判定ラベルを推定するために行う計算の結果である。
【００５４】  次に、プログラムが、第２のスコアに基づいて決められた第２の判定ラベルおよび第２のスコアをＧＵＩに表示するステップを有する。詳細に説明すると、プログラムは、第２の学習モデルによって分類した第２の判定ラベルおよび第２のスコアを、ＧＵＩに表示するｎ個のレコードのリストに提示（表示）を更新する。なお第２の判定ラベルおよび第２のスコアは、新しい学習用ラベルが付与されたレコードに対しても与えられる。
【００５５】  上述したように、ユーザは、ＧＵＩに表示されるレコードに対し学習用ラベルを与え、プログラムは与えられる学習用ラベルによって学習モデルを生成、更新することができる。例えば、大量のコンテンツ（テキストデータ、画像データ、音声データ、または動画データ）の一部に対し教師情報として学習用ラベルを与える。プログラムは、学習用ラベルを用いて学習モデルを生成する。プログラムは、当該学習モデルを用いて学習用ラベルが付与されなかったコンテンツに対し判定ラベルを提示する。ユーザは、プログラムがＧＵＩに表示した判定ラベルに対し、更に学習用ラベルを与えることで、学習モデルを更新する。
【００５６】  ユーザは、ＧＵＩを介して第１の学習モデルが提示した判定ラベルに対し、更に学習用ラベルを与えることができる。つまり、プログラムは、機械学習によって生成する第１の学習モデルから、第１の学習モデルにユーザの判断条件を加えた第２の学習モデルに更新することができる。よってプログラムは、ユーザが少ない処理手順で大量のコンテンツから必要なコンテンツを分類することができる分類方法を提供することができる。
【００５７】  続いて、図面を用いてコンテンツの分類方法について説明する。図１は、本実施の一態様であるコンテンツの分類方法を説明する図である。なお、図１で説明するそれぞれのステップは、プログラム、もしくはＧＵＩの処理内容について示している。
【００５８】  ステップＳ１１では、プログラムがＧＵＩの初期画面を表示する。なお、ＧＵＩの初期画面については、図４で詳細に説明する。
【００５９】  ユーザは、プログラムに対してＧＵＩを介してデータセットを読み込ませる操作をする。なおデータセットとは、コンピュータ装置が有するメモリまたはストレージなどに保存されているファイル、もしくはネットワークに接続されたコンピュータ、サーバなどに保存されているファイルである。ファイルには、複数のコンテンツがリスト化されて保存されている。
【００６０】  ステップＳ１２では、プログラムが当該ファイルから読み込んだコンテンツを表示する。ＧＵＩは、ＧＵＩが有する表示形式に従い当該コンテンツを表示する。なお、リスト化されたコンテンツは、レコードと呼ばれる単位で管理されることが好ましい。例えば、それぞれのレコードは、番号に紐つけられたラベルＩＤ、およびコンテンツなどによって構成される。
【００６１】  ステップＳ１３では、ユーザが学習用ラベルを付与する。例えば、ＧＵＩに表示されたｎ個のレコードの中から、ユーザが選択したｍ個のレコードに対し学習用ラベルを付与する。なお、残りのレコードにはラベルが付与されない。なお、ｍ、またはｎは、自然数である。
【００６２】  ステップＳ１４では、プログラムが学習用ラベルを付与された当該ｍ個のコンテンツを用いて機械学習を行い、第１の学習モデルを作成する。プログラムが生成した第１の学習モデルを用いてコンテンツを分類し、分類結果をそれぞれのレコードに付与するステップを有する。なお、第１の学習モデルには、決定木、ナイーブベイズ、ＫＮＮ、ＳＶＭ、パーセプトロン、ロジスティック回帰、ニューラルネットワークなどの機械学習のアルゴリズムを用いることができる。
【００６３】  詳細に説明すると、プログラムは、第１の学習モデルを生成した後、プログラムは、第１の学習モデルによってｎ個のコンテンツを分類する。プログラムは、分類結果としてｎ個のレコードに判定ラベルおよび第１のスコアを付与する。なお、第１のスコアとは、プログラムが第１の学習モデルを用いて判定ラベルを推定するために行う計算の結果である。
【００６４】  ステップＳ１５では、プログラムが第１の学習モデルが分類した結果をＧＵＩに表示する。第１の学習モデルが分類した結果は、第１のスコアに基づいて決められた判定ラベルおよび第１のスコアとして与えられる。詳細に説明すると、プログラムは、第１の学習モデルによって分類した判定ラベルおよび第１のスコアを、ＧＵＩに表示するｎ個のレコードのリストに追加提示（表示）する。なお判定ラベルおよび第１のスコアは、学習用ラベルが付与されたレコードに対しても与えられる。
【００６５】  次に、ユーザが、表示された判定ラベルを判定する。全ての判定ラベルを判断する必要はなく、学習用ラベルが付与されていないレコードのうち、任意のレコードを選んで判断しても良い。ここで判断した結果を次のステップの学習用ラベルに用いても良い。ユーザは、学習用ラベルが付与されていない複数のレコードの中からｋ個のレコードに対し、追加の学習用ラベルを付与するステップを有する。但しｋは、ｍより大きく、且つ自然数である。なお、ｋ個のレコードには、ｍ個のレコードが含まれてもよい。ｋ個のレコードに学習用ラベルを付与する場合、ｍ個の学習用ラベルは更新されないことが好ましい。ｍ個の学習用ラベルが更新されないことで、第１の学習モデルの情報が引き継がれる。但し、ｍ個のレコードに与えられた学習用ラベルのいずれかがユーザの判定とは異なる学習用ラベルと判断できる場合は、当該学習用ラベルには新しい学習用ラベルを付与することが好ましい。
【００６６】  ステップＳ１４に戻る。プログラムが、学習用ラベルが付与された当該ｋ個のコンテンツを用いて機械学習により第２の学習モデルを作成するステップを有する。ユーザが第１の学習モデルに付与された判定ラベルを判断し、更にユーザが追加したｋ個の学習用ラベルによって、プログラムは、第２の学習モデルを生成する。プログラムは、第２の学習モデルによってｎ個のコンテンツを再度分類する。分類した結果は、プログラムによってｎ個のレコードに判定ラベルおよび第２のスコアとして付与される。なお、第２のスコアとは、プログラムが第２の学習モデルを用いて判定ラベルを推定するために行う計算の結果である。
【００６７】  ステップＳ１５では、プログラムが第２の学習モデルが分類した結果をＧＵＩに表示する。第２の学習モデルが分類した結果は、第２のスコアに基づいて決められた判定ラベルおよび第２のスコアとして与えられる。詳細に説明すると、プログラムは、第２の学習モデルによって分類した判定ラベルおよび第２のスコアを、ＧＵＩに表示するｎ個のレコードのリストに提示（表示）を更新する。なお判定ラベルおよび第２のスコアは、学習用ラベルが付与されたレコードに対しても与えられる。
【００６８】  ステップＳ１４およびステップＳ１５を繰り返すことで、学習モデルは、更新されるたびに分類の精度が向上する。よって、プログラムが１回目の機械学習で生成する学習モデルを第１の学習モデルと呼び、プログラムが２回目の機械学習で生成する学習モデルを第２の学習モデルと呼ぶ。なお、プログラムがｐ回目の機械学習で生成する学習モデルを第ｐの学習モデルと呼ぶ。
【００６９】  続いて、図２では、図１とは異なるコンテンツの分類方法について説明する。図２は、学習用ラベル付きのコンテンツを読み込む点が、図１と異なっている。したがって、図２では、ステップＳ１３の学習用ラベル付与を必要としない。他のステップは、図１と同じ処理のため、図１の説明を参酌することができる。
【００７０】  図３は、図１の説明を詳細に説明するフローチャートである。なお、図３で説明するそれぞれのステップは、ユーザ、プログラム、もしくはプログラムが有するＧＵＩのそれぞれの処理内容について示している。また、図１と説明が重複する場合は、詳細な説明を省略する場合がある。
【００７１】  ステップＳ２１は、コンテンツをロードするステップである。ユーザは、ＧＵＩを介してコンテンツの集合であるデータセットをプログラムに読み込ませる操作をする。プログラムは、読み込んだデータセットを、ＧＵＩの表示形式に従い表示する。ステップＳ２１でロードするコンテンツは、分類を行うための母集合に相当する。
【００７２】  ステップＳ２２では、ユーザが学習用ラベルを付与する。例えば、ＧＵＩに表示されたｎ個（母集団）のレコードの中から、ユーザが選択したｍ個のレコードに対し学習用ラベルを付与する。なお、残りのレコードには学習用ラベルが付与されない。なお、ｍ、またはｎは、自然数である。
【００７３】  ステップＳ２３では、プログラムが学習用ラベルを付与された当該ｍ個のコンテンツを用いて機械学習により第１の学習モデルを作成する。
【００７４】  ステップＳ２４では、プログラムが生成した第１の学習モデルを用いてコンテンツを分類し、プログラムが分類結果をそれぞれのレコードに付与する。プログラムは、第１の学習モデルを用いて分類した結果をＧＵＩに表示する。第１の学習モデルが分類した結果は、第１のスコアに基づいて決められた判定ラベルおよび第１のスコアとして与えられる。
【００７５】  ステップＳ２５では、ユーザがＧＵＩに表示されたそれぞれのレコードの分類結果を評価して分類結果が妥当か判断してもよい。
【００７６】  ステップＳ２６では、ユーザが第１の学習モデルを用いて分類した結果に対し、追加学習を必要とするかを判断する。ユーザが追加学習を必要と判断した場合、ステップＳ２７に進む。なお、ユーザが追加学習を必要としないと判断した場合、コンテンツの分類は終了する。
【００７７】  ステップＳ２７では、ユーザが追加で学習用ラベルを付与する。例えば、ＧＵＩに表示されたｎ個（母集団）のレコードの中から、当該ｍ個のレコード以外の学習用ラベルが付与されていないレコードに学習用ラベルを追加付与することによって、ｋ個のレコードに新たな学習用ラベルを付与する。なお、残りのレコードにはラベルが付与されない。なお、ｋは、自然数である。
【００７８】  ステップＳ２３では、プログラムが学習用ラベルを付与された当該ｋ個のコンテンツを用いて機械学習により第２の学習モデルを作成する。
【００７９】  ステップＳ２４では、プログラムが生成した第２の学習モデルを用いてコンテンツを分類し、プログラムが、分類結果をそれぞれのレコードに付与する。プログラムは、第２の学習モデルを用いてが分類した結果をＧＵＩに表示する。第２の学習モデルが分類した結果は、第２のスコアに基づいて決められた判定ラベルおよび第２のスコアとして与えられる。
【００８０】  ステップＳ２５では、ユーザがＧＵＩに表示されたそれぞれのレコードの分類結果を判定する。
【００８１】  ステップＳ２６では、ユーザが第２の学習モデルを用いて分類した結果に対し、追加学習を必要とするかを判断する。ユーザが追加学習を必要と判断した場合、ステップＳ２７に進む。なお、ユーザが追加学習を必要としないと判断した場合、コンテンツの分類は終了する。
【００８２】  図３のフローチャートでは、分類結果の判断をユーザが担当した例を示している。但し、分類結果の判断基準の一部をプログラムに与えてもよい。ユーザから判定基準を与えられたプログラムは、分類結果が収束するまで学習を重ねることができる。
【００８３】  例えば、学習モデルがあるレコードに対して判定ラベルおよびスコアを与える場合、スコアが当該判定基準より大きい場合に、自動で学習用ラベル“Ｙｅｓ”を付与することができる。また、異なる例として、スコアが当該判定基準より小さい場合に、自動で学習用ラベル“Ｎｏ”を付与することができる。学習モデルによるコンテンツの分類の確率が高いもしくは低い場合、学習モデルが、自動で再学習用ラベルを付与することができる。したがって、学習モデルの学習の一部を自動化することができるため、大量のコンテンツを分類するのに適している。
【００８４】  なお、学習用ラベルを付与していないレコードの内、スコア０．５近傍（例えば０．５以上０．６５未満）のレコードからユーザによるラベル付けを促すことが望ましい。なお、スコアは、確率と言い換えることができる。
【００８５】  図４は、上述したプログラムが有するＧＵＩ３０を説明する図である。ＧＵＩは、複数のカラムと、複数のレコードで構成される。カラム３１は、レコードの番号Ｎｏが表示される。カラム３２は、レコードの番号Ｎｏに紐つけられたラベルＩＤが表示される。カラム３３は、レコードの番号Ｎｏに紐つけられた学習用ラベル“Ｕ−Ｌａｂｅｌ”が表示される。カラム３４は、レコードの番号Ｎｏに紐つけられた判定ラベル“Ａ−Ｌａｂｅｌ”が表示される。カラム３５は、レコードの番号Ｎｏに紐つけられたスコア“Ｓｃｏｒｅ”が表示される。３６は、レコードの番号Ｎｏに紐つけられたコンテンツ“Ｃｏｎｔｅｎｔｓ”が表示される。なお、ユーザは、カラム３３ａ乃至カラム３３ｎに対し教師データとしての学習用ラベルを与えることができる。なお、学習用ラベル“Ｕ−Ｌａｂｅｌ”は、学習させたいレコードに対して与えることが好ましい。
【００８６】  図５は、図３とは異なるフローチャートである。なお、図３と説明が重複する場合は、詳細な説明を省略する場合がある。
【００８７】  ステップＳ４１では、テキストデータのロードをする。ユーザは、プログラムに対してＧＵＩを介してテキストデータの集合であるデータセットを読み込ませる操作をする。プログラムは、読み込んだテキストを、ＧＵＩの表示形式に従い表示する。ステップＳ４１でロードするテキストデータは、分類を行うための母集合に相当する。
【００８８】  ステップＳ４２では、ユーザが学習用ラベルを付与する。例えば、ＧＵＩに表示されたｎ個（母集団）のレコードの中から、ユーザが選択したｍ個のレコードに対し学習用ラベル“Ｙｅｓ”、“Ｎｏ”のいずれかを付与する。なお、残りのレコードには学習用ラベルが付与されない。なお、ｍ、またはｎは、自然数である。
【００８９】  ステップＳ４３では、プログラムが学習用ラベルを付与された当該ｍ個のコンテンツを用いて機械学習により第１の学習モデルを作成する。
【００９０】  ステップＳ４４では、プログラムが生成した第１の学習モデルを用いてテキストデータを分類し、プログラムが、分類結果をそれぞれのレコードに付与する。プログラムは、第１の学習モデルを用いて分類した結果をＧＵＩに表示する。第１の学習モデルが分類した結果は、第１のスコアに基づいて決められた判定ラベルおよび第１のスコアとして与えられる。なお、第１のスコアは、ｎ個のレコードに対して０以上、１以下の値が与えられる。また、判定ラベルは、ｎ個のレコードに対して“Ｙｅｓ”、“Ｎｏ”のいずれかが付与される。
【００９１】  ステップＳ４５では、ユーザがＧＵＩに表示されたそれぞれのレコードの分類結果を判定する。
【００９２】  ステップＳ４６では、ユーザが第１の学習モデルを用いて分類した結果に対し、追加学習を必要とするかを判断する。ユーザが追加学習を必要と判断した場合、ステップＳ４７に進む。なお、ユーザが追加学習を必要としないと判断した場合、コンテンツの分類は終了する。
【００９３】  ステップＳ４７では、ユーザが追加で学習用ラベルを付与する。例えば、ＧＵＩに表示されたｎ個（母集団）のレコードの中から、当該ｍ個のレコード以外の学習用ラベルが付与されていないレコードに学習用ラベルを追加付与することによって、ｋ個のレコードに新たな学習用ラベルを付与する。なお、ｋは、自然数である。
【００９４】  ステップＳ４３では、プログラムが学習用ラベルを付与された当該ｋ個のコンテンツを用いて機械学習により第２の学習モデルを作成する。
【００９５】  ステップＳ４４では、プログラムが生成した第２の学習モデルを用いてコンテンツを分類し、プログラムが、分類結果をそれぞれのレコードに付与する。プログラムは、第２の学習モデルを用いて分類した結果をＧＵＩに表示する。第２の学習モデルが分類した結果は、第２のスコアに基づいて決められた判定ラベルおよび第２のスコアとして与えられる。
【００９６】  ステップＳ４５では、ユーザがＧＵＩに表示されたそれぞれのレコードの分類結果を判定する。
【００９７】  ステップＳ４６では、ユーザが第２の学習モデルを用いて分類した結果に対し、追加学習を必要とするかを判断する。ユーザが追加学習を必要と判断した場合、ステップＳ４７に進む。なお、ユーザが追加学習を必要としないと判断した場合、コンテンツの分類は終了する。
【００９８】  図５のフローチャートでは、分類結果の判定をユーザが担当した例を示している。但し、分類結果の判定基準をプログラムに与えてもよい。当該判定基準を与えられたプログラムは、分類結果が収束するまで学習を重ねることができる。
【００９９】  例えば、学習モデルがあるレコードに対して判定ラベルおよびスコアを与える場合、スコアが当該判定基準より大きい場合に、自動で学習用ラベル“Ｙｅｓ”を付与することができる。また、異なる例として、スコアが当該判定基準より小さい場合に、自動で学習用ラベル“Ｎｏ”を付与することができる。学習モデルによるコンテンツの分類の確率が高いもしくは低い場合、学習モデルが、自動で再学習用ラベルを付与することができる。したがって、学習モデルの学習の一部を自動化することができるため、大量のテキストデータを分類するのに適している。
【０１００】  なお、学習用ラベルを付与していないレコードの内、スコア０．５近傍（例えば０．５以上０．６５未満）のレコードからユーザによるラベル付けを促すことが望ましい。
【０１０１】  図６Ａ及び図６Ｂは、ＧＵＩ３０を説明する図である。図６Ａは、図５のフローチャートにおけるステップＳ４４に相当する。ステップＳ４４では、第１の学習モデルによって分類した分類結果をＧＵＩ３０に表示する。コンテンツは、ｎ個のレコードがロードされている例を示している。それぞれのレコードは、番号Ｎｏ、ラベルＩＤ、テキストデータを有する。図６Ａでは、カラム３６にテキストデータが表示されている。但し、説明を簡便にするためにテキストデータを記号に置き換えて表示している。
【０１０２】  プログラムが、第１の学習モデルを生成するために、“Ｇｒｏｕｐ  Ａ”としてレコード１乃至レコード３に学習用ラベル（“Ｙｅｓ”又は“Ｎｏ”）がカラム３３ａ乃至カラム３３ｃに与えられた例を示している。なお、この例では２値の分類だが、３値以上の分類としてもよい。
【０１０３】  図６Ａは、プログラムが第１の学習モデルを生成し、それぞれのレコードに対して分類結果を付与する例を示している。分類結果は、第１のスコアに基づいて決められた判定ラベル（“Ｙｅｓ”または“Ｎｏ”）および第１のスコアを表示している。なお、第１のスコアは、ｎ個のレコードに対して０以上、１以下の値が与えられる。
【０１０４】例えば、レコードの番号Ｎｏが１の場合について説明する。判定ラベル“Ａ−Ｌａｂｅｌ”には“Ｙｅｓ”が表示され、スコア“Ｓｃｏｒｅ”には、“０．８７４”が表示されている。ユーザは、学習モデルが分類した結果に対して学習用ラベル“Ｕ−Ｌａｂｅｌ”を与える。判定ラベル“Ａ−Ｌａｂｅｌ”に“Ｙｅｓ”と表示された場合のスコア“Ｓｃｏｒｅ”は“Ｙｅｓ”に対する確率を示し、判定ラベル“Ａ−Ｌａｂｅｌ”に“Ｎｏ”と表示された場合のスコア“Ｓｃｏｒｅ”は“Ｎｏ”に対する確率を示す。
【０１０５】一例として、ユーザが判定ラベル“Ａ−Ｌａｂｅｌ”とスコア“Ｓｃｏｒｅ”とに表示された結果に対して正しいと判断する場合、学習用ラベル“Ｕ−Ｌａｂｅｌ”には“Ｙｅｓ”を与える。異なる例として、ユーザが判定ラベル“Ａ−Ｌａｂｅｌ”とスコア“Ｓｃｏｒｅ”とに表示された結果に対して正しくないと判断する場合、学習用ラベル“Ｕ−Ｌａｂｅｌ”には“Ｎｏ”を与える。学習モデルが分類した結果のスコア“Ｓｃｏｒｅ”が、スコア０．５近傍（例えば０．５以上０．６５未満）のレコードにたいしてユーザが判断条件を与えることで分類器の精度を向上させることができる。
【０１０６】  図６Ｂは、プログラムが、第２の学習モデルを生成するために、“Ｇｒｏｕｐ  Ｂ”としてレコード４乃至レコード６に学習用ラベル（“Ｙｅｓ”又は“Ｎｏ”）がカラム３３ｄ乃至カラム３３ｆに与えられた例を示している。
【０１０７】  プログラムは、第２の学習モデルを生成し、それぞれのレコードに対して分類結果を付与する例を示している。分類結果は、第２のスコアに基づいて決められた判定ラベル（“Ｙｅｓ”または“Ｎｏ”）および第２のスコアを表示している。図６Ａで示す第１の学習モデルでは、レコード７の判定ラベル“Ｙｅｓ”、第１のスコア“０．５３８”であったが、図６Ｂで示す第２の学習モデルでは、レコード７の判定ラベル“Ｎｏ”、第２のスコア“０．６２５”に変化している。図６で示すように、第１の学習モデルに、学習用ラベルを追加することで、学習用ラベルが付与されなかったレコードの分類の確率を向上させることができる。なお、分類結果である判定ラベル、スコアは、一例を示しただけで、判定ラベル、スコアの内容は限定されない。ロードするコンテンツ、付与する学習用ラベルによって変化する。
【０１０８】  図７は、ＧＵＩ３０を説明する図である。図７が、図６Ａと異なる点について説明する。図７では、コンテンツとしてｎ個のレコードがロードされている例を示している。それぞれのレコードには、番号Ｎｏ、ラベルＩＤ、画像データを有する。つまり、図７では、カラム３６にコンテンツとしての画像データを分類する例を示している。よって、本実施の形態の一態様では、画像データを分類する分類方法を提供することができる。なお異なるコンテンツとして、音声データ、動画データなどを扱うことができる。
【０１０９】  図８は、電子機器１０と、電子機器１０がネットワークを介して接続するデータベース２１、リモートコンピュータ２２、リモートコンピュータ２３を説明する図である。電子機器１０は、演算装置１１、メモリ１２、入出力インターフェース１３、通信デバイス１４、およびストレージ１５を有する。電子機器１０は、入出力インターフェース１３を介して、表示装置１６ａ、およびキーボード１６ｂと電気的に接続される。また、電子機器１０は、通信デバイス１４を介してネットワークインターフェース１７と電気的に接続され、ネットワークインターフェース１７はネットワーク（Ｎｅｔｗｏｒｋ）を介してデータベース２１、リモートコンピュータ２２、リモートコンピュータ２３と電気的に接続される。なお、ネットワークは、ＬＡＮ、ＷＡＮ、またはインターネットを利用することができる。
【０１１０】  本実施の形態の一態様であるコンピュータ装置は、電子機器に相当する。コンピュータ装置が有するプログラムは、メモリ１２、またはストレージ１５に保存されている。プログラムは、演算装置１１を用いて、学習モデルを生成する。プログラムは、入出力インターフェース１３を介して表示装置に表示することができる。ユーザは、表示装置に表示されたＧＵＩに対して、キーボードから学習用ラベルなどの入力データをプログラムに与えることができる。
【０１１１】  なお、当該プログラムは、ネットワークを介してリモートコンピュータ２２、またはリモートコンピュータ２３でも利用することができる。または、データベース２１、リモートコンピュータ２２、またはリモートコンピュータ２３が有するメモリまたはストレージに保存されたプログラムを利用して、電子機器１０で動作させることができる。リモートコンピュータ２２は、携帯情報端末、またはタブレットコンピュータ、ノート型コンピュータなどの携帯端末でもよい。携帯情報端末、または携帯端末などの場合は、無線通信を用いて通信することができる。
【０１１２】  図９は、図８で説明した電子機器１０に接続された表示装置１６ａに、コンテンツを分類するためのＧＵＩ３０Ａを表示した例である。
【０１１３】  ＧＵＩ３０Ａは、複数のカラムと、複数のレコードで構成される。レコードは、カラム５１乃至カラム５６などで構成される。更に、ＧＵＩ３０Ａは、ボタン５７ａ、ボタン５８、表示領域５７ｂを有する。
【０１１４】  カラム５１にはレコードの番号Ｎｏが表示される。カラム５２には、レコードの番号Ｎｏに紐つけられたＩｎｄｅｘが表示される。カラム５３には、レコードの番号Ｎｏに紐つけられたユーザ指定ラベル“Ｕｓｅｒ  Ｓｐｅｃｉｆｉｅｄ  Ｌａｂｅｌ”が表示される。カラム５４には、レコードの番号Ｎｏに紐つけられた自動分類ラベル“Ａｕｔｏｍａｔｉｃ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｂｅｌ”が表示される。カラム５５には、レコードの番号Ｎｏに紐つけられた分類の確率“ｐｒｏｂａｂｉｌｉｔｙ”が表示される。カラム５６には、レコードの番号Ｎｏに紐つけられたクレーム“ＣＬＡＩＭ”が表示される。ユーザ指定ラベルは学習用ラベルに相当し、自動分類ラベルは判定ラベルに相当し、確率はスコアに相当する。
【０１１５】  例えば、ボタン５７ａを押すことで、電子機器１０のメモリ１２、またはストレージ１５に保存されているファイルを選択することができるようになる。選択された当該ファイルの保存場所が表示領域５７ｂに表示される。当該ファイルが選択された場合、ファイルに記憶されている情報がＧＵＩ３０Ａに表示される。図９では、ファイルに記憶されているレコードの情報がカラム５１、カラム５２、およびカラム５６に表示される。なお、図９では、コンテンツとして、特許の情報が記憶されている。カラム５２には、特許番号、カラム５６にはテキストデータであるクレーム情報が表示される。
【０１１６】  次に、ユーザは、複数のレコードを含むカラム５３ａに対し教師データとしてのユーザ指定ラベルを与えることができる。なお、ユーザ指定ラベルは、学習モデルに学習させたいレコードに対して与えることが好ましい。
【０１１７】  次にボタン５８を押すことで、ＧＵＩ３０Ａに与えられた条件を用いてプログラムは学習モデルを更新する。なお、学習モデルは、名前をつけてメモリ１２、またはストレージ１５に記憶することができる。よってメモリ１２、またはストレージ１５に記憶された学習モデルを用いて新しいデータの学習に利用し、学習モデルを更新することができる。もしくは、メモリ１２、またはストレージ１５に記憶された学習モデルを用いて、コンテンツの分類を行うことができる。
【０１１８】  プログラムは、更新された学習モデルを用いて、ＧＵＩ３０Ａに表示されているコンテンツの分類を行う。一例として、プログラムは、分類結果である自動分類ラベルおよび確率をそれぞれのレコードに付与する。例えば、自動分類ラベルは、それぞれのレコードが含むカラム５４ａに表示する。分類の確率は、それぞれのレコードが含むカラム５５ａに表示することができる。クレームの詳細なテキストデータは、それぞれのレコードが含むカラム５６ａに表示することができる。
【０１１９】  ユーザが、レコードに付与された分類結果である自動分類ラベルおよび確率を見て、十分な分類精度が得られていれば学習モデルの更新を終了する。ユーザが、レコードに付与された分類結果である自動分類ラベルおよび確率を見て、分類精度が十分でないと判断した場合は、ユーザ指定ラベルが付与されていないレコードに対してユーザ指定ラベルを付与し、ボタン５８を押すことで、学習モデルの更新を行うことができる。
【０１２０】  図示していないが、各カラムに含まれる数値やラベル情報を基に、表示させる並び順を変更することができる、もしくは、フィルタ機能により表示させないようにする機能を持たせても良い。これにより、ユーザが分類精度の評価を効率良く行うことができる。例えば、スコア（確率）が一定レベル以下の範囲のみのレコードを表示することで、そのレコードに対して学習用ラベルを変更または新たに追加してもよい。
【０１２１】  図１乃至図９を用いて説明したコンテンツの分類方法は、確率の高い情報を分類する方法を提供することができる。例えば、ＧＵＩは、確率の高い情報を分類するのに適している。プログラムは、学習モデルに新しい教師データ（学習用ラベル）が与えられることで学習モデルを更新することができる。プログラムは、学習モデルが更新されることで確率高い情報を分類することができる。
【０１２２】  また、１回目または２回目以降に学習用ラベルを与える前にレコード全体に教師無し学習によるクラスタリングを行った結果をＧＵＩ上で表示しても良く、それを見たユーザはクラスタリングに応じて学習用ラベルを与えるレコードを調整してもよい。そのようなクラスタリングの手法としては、ｋ−ｍｅａｎｓクラスタリングやＤＢＳＣＡＮなどの公知の手法を用いても良い。
【０１２３】  更に、作成した学習モデルは電子機器本体または外部のメモリに保存することができ、新たなデータセットの分類の際に呼び出して使ってもよいし、更に、新たな教師データを追加しながら上記で説明した方法に従って学習モデルを更新してもよい。
【０１２４】  以上、本実施の形態で示す構成、方法は、本実施の形態以外で示す構成、方法と適宜組み合わせて用いることができる。
【符号の説明】
【０１２５】１０：電子機器、１１：演算装置、１２：メモリ、１３：入出力インターフェース、１４：通信デバイス、１５：ストレージ、１６ａ：表示装置、１６ｂ：キーボード、１７：ネットワークインターフェース、２１：データベース、２２、２３：リモートコンピュータ、３０、３０Ａ：ＧＵＩ
【図１】
2020099986.tif 000003
【図２】
2020099986.tif 000004
【図３】
2020099986.tif 000005
【図４】
2020099986.tif 000006
【図５】
2020099986.tif 000007
【図６Ａ】
2020099986.tif 000008
【図６Ｂ】
2020099986.tif 000009
【図７】
2020099986.tif 000010
【図８】
2020099986.tif 000011
【図９】
2020099986.tif 000012
【国際調査報告】
2020099986.tif 000013
2020099986.tif 000014
2020099986.tif 000015
2020099986.tif 000016