(57)【要約】  【課題】  複数の学習データを用いて機械学習を行う場合に、機械学習の信頼性を高めることができるデータ処理方法を提供する。  【解決手段】  類似学習データ生成部４において、ｎ個の学習データＳＤｑのうち、被処理データとの間の類似度が高い類似学習データＳＳＤｑを選択する。機械学習機５は、類似学習データＳＳＤｑを用いて機械学習を行う。  【選択図】  図１
2006252333.tif 000002
【特許請求の範囲】
【請求項１】
被学習データを基に生成した学習データを用いて、被処理データを機械学習処理するデータ処理方法であって、
複数の前記学習データの各々について、当該学習データを生成するために用いた前記被学習データと、前記被処理データとの類似度を示す類似度データを生成する第１の工程と、
前記第１の工程で生成した前記類似度データを基に、前記複数の学習データのうち一部の学習データを選択する第２の工程と、
前記第２の工程で選択した前記学習データを用いて、前記被処理データを機械学習処理する第３の工程と
を有するデータ処理方法。
【請求項２】
前記学習データは、前記被学習データを構成する複数の処理単位データの各々と、その属性を示す属性データとの対応関係を規定し、
前記第３の工程は、前記第２の工程で選択した前記学習データが規定する前記対応関係を基に、前記被処理データを構成する複数の処理単位データと、その前記属性データとの対応関係を規定する処理を行う
請求項１に記載のデータ処理方法。
【請求項３】
前記第１の工程は、複数の前記被学習データの各々について、当該学習データの前記被学習データを構成する前記処理単位データと、前記被処理データを構成する前記処理単位データとの類似度を示す前記類似度データを生成し、
前記第３の工程は、前記第２の工程で選択した前記学習データを用いて、前記被処理データを構成する前記処理単位データに前記属性データを付加する処理を行う
請求項２に記載のデータ処理方法。
【請求項４】
前記第１の工程は、前記被学習データおよび前記被処理データの各々について、各データを構成する前記処理単位データを基に各データの特徴を、予め決められ特徴評価座標系内で規定したベクトルデータを生成し、当該ベクトルデータを基に、前記類似度データを生成する
請求項１に記載のデータ処理方法。
【請求項５】
前記被学習データおよび前記被処理データは文書データであり、前記処理単位データが語データである場合に、
前記第１の工程は、前記各データに出現する前記語データの種類を前記ベクトルデータの要素とし、当該種類の語データの出現頻度を前記要素の値とする前記ベクトルデータを生成する
請求項４に記載のデータ処理方法。
【請求項６】
前記第１の工程は、（Ｘ，Ｙ，Ｚ）で示される前記ベクトルデータを生成し、
A1： d(x,y)≧0
A2： d(x,y)=d(y,x)
A3： d(x,y)=0 となる必要十分条件は x=y である
A3'： d(x,x)=0
A4： d(x,z)≦ d(x,y) + d(y,z)
とし、
B1: A1,A2,A3,A4
B2: A1,A2,A3',A4
B3: A1,A2,A3
B4: A1,A2,A3'
B5: A1,A2
とした場合に、
上記B1,B2,B3,B4,B5のいずれかを満たす測度を示す関数d() を用いる、もしくは、類似度が増加することに対して、距離が単調に減少する類似度計算式によって距離を計算し、当該距離を示す前記類似度データを生成する
請求項４に記載のデータ処理方法。
【請求項７】
被学習データを構成する複数の処理単位データの各々に属性データを付した学習データを用いて、被処理データに前記属性データを機械学習により付加するデータ処理装置が実行するデータ処理方法であって、
複数の前記学習データの各々について、当該学習データの前記被学習データを構成する前記処理単位データと、前記被処理データを構成する前記処理単位データとの類似度を示す類似度データを生成する第１の工程と、
前記第１の工程で生成した前記類似度データを基に、前記複数の学習データの前記被学習データのうち、前記被処理データとの間の類似度が所定の基準を満たす前記被学習データを特定し、当該特定した前記被学習データに対応する前記学習データを選択する第２の工程と、
前記第２の工程で選択した前記学習データを用いて、前記被処理データを構成する前記処理単位データに前記属性データを機械学習により付加する第３の工程と
を有するデータ処理方法。
【請求項８】
前記第１の工程は、
前記被処理データおよび前記被学習データに含まれる異なる種類の前記処理単位データを特定し、
前記被処理データおよび被学習データの各々について、前記異なる種類の前記処理単位データの各々が含まれる数を特定し、当該特定した数を、前記被処理データおよび被学習データの各々を構成する前記処理単位データの総数で除算して指標データを生成し、
前記被処理データおよび前記被学習データの各々について得られた前記異なる種類の前記処理単位データの前記指標データの組み合わせパターンを基に前記類似度データを生成する
請求項７に記載のデータ処理方法。
【請求項９】
前記第１の工程は、
前記被処理データおよび前記学習データの各々について得られた前記異なる種類の前記処理単位データの前記指標データを要素とするベクトルデータを生成し、
前記被処理データの前記ベクトルデータと、前記複数の被学習データの前記ベクトルデータとの関係を基に前記類似度データを生成する
請求項８に記載のデータ処理方法。
【請求項１０】
前記第１の工程は、
前記特定した種類の前記処理単位データを含む前記被処理データおよび被学習データの数が多くなるに従って当該種類の前記処理単位データの前記指標データの値を小さくする処理を前記指標データに施し、
当該処理が施された後の前記指標データの前記組み合わせパターンを基に前記類似度データを生成する
請求項９に記載のデータ処理方法。
【請求項１１】
前記学習データの数をｎ、前記被処理データの数を１とし、
ｎ個の前記学習データにそれぞれ対応したｎ個の前記被学習データと、前記被処理データとに含まれる前記処理単位データの種類の数をｋとし、
ｉを１〜ｋの整数、ｊをＮ個の被学習データと１個の被処理データとに付した識別子とし、
前記指標データを「ＴＦ（ｉ，ｊ）＝（処理単位データｉが被学習データｊ（被処理データｊ）に出現する回数）／（被学習データｊ（被処理データｊ）に含まれる処理単位データの総数）」とし、
「ＤＦ（ｉ）＝（ｎ個の前記被学習データと前記被処理データとのうち、処理単位データｉが出現するものの数）」とした場合に、
前記第１の工程は、
「ＩＤＦ（ｉ）＝ｌｏｇ［（Ｎ＋１）／ＤＦ（ｉ）］」
を計算し、
「ｗ（ｉ，ｊ）＝ＴＦ（ｉ，ｊ）＊ＩＤＦ（ｉ）」
を計算し、
前記ｎ個の被学習データｑ（ｑは１〜Ｎの整数）のベクトルＤ（ｑ）をＤ（ｑ）＝（ｗ（１、ｑ），ｗ（２，ｑ），．．．．，ｗ（ｋ，ｑ））とし、前記被処理データのベクトルＤ（Ｍ）をＤＭ＝（ｗ（１、Ｍ），ｗ（２，Ｍ），．．．．，ｗ（ｋ，Ｍ））とし、
１〜ｎの全てのｑについて、前記類似度データＢＡ（ｑ）を下記式（１）により計算する
請求項１０に記載のデータ処理方法。
【数１】
2006252333.tif 000007
【請求項１２】
前記第１の工程は、メモリから読み出した前記複数の学習データの前記被学習データと、前記データ処理装置の外部から入力した前記被処理データとを用いて前記類似度データを生成し、
前記第２の工程は、前記メモリから読み出した前記学習データのなかから、前記特定した被学習データに対応する前記学習データを選択する
請求項７に記載のデータ処理方法。
【請求項１３】
前記データ処理装置は、類似データ生成手段、選択手段および属性データ付加手段を有し、
前記類似データ生成手段が前記第１の工程を行い、
前記選択手段が前記第２の工程を行い、
前記属性データ付加手段が前記第３の工程
を行う請求項７に記載のデータ処理方法。
【請求項１４】
被学習データを基に生成した学習データを用いて、被処理データを機械学習処理するデータ処理装置であって、
複数の前記学習データの各々について、当該学習データを生成するために用いた前記被学習データと、前記被処理データとの類似度を示す類似度データを生成する類似度データ生成手段と、
前記類似度データ生成手段が生成した前記類似度データを基に、前記複数の学習データのうち一部の学習データを選択する選択手段と、
前記選択手段が選択した前記学習データを用いて、前記被処理データを機械学習処理する処理手段と
を有するデータ処理装置。
【請求項１５】
被学習データを基に生成した学習データを用いて、被処理データを機械学習処理するデータ処理装置が実行するプログラムであって、
複数の前記学習データの各々について、当該学習データを生成するために用いた前記被学習データと、前記被処理データとの類似度を示す類似度データを生成する第１の手順と、
前記第１の手順で生成した前記類似度データを基に、前記複数の学習データのうち一部の学習データを選択する第２の手順と、
前記第２の手順で選択した前記学習データを用いて、前記被処理データを機械学習処理する第３の手順と
を有するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習データを用いて、被処理データを処理するデータ処理方法、データ処理装置およびそのプログラムに関する。
【背景技術】
【０００２】
例えば、遺伝子解析システムは、遺伝子間に生じる作用を、遺伝子（分子）名をノードとし、作用をノード間のリンクとして表現したデータベースを用いる。
このようなデータベースを構築するには、例えば、公開された論文のなかから、遺伝子名を抽出してノードとしてデータベースに登録する。
ここで、公開された論文数は膨大であるため、人間が論文を見て遺伝子名を抽出するのでは負担があまりに大きい。
そのため、コンピュータなどを用いて、論文データから機械的に遺伝子名を抽出することが考えられる。しかしながら、新規の遺伝子名を機械的に抽出するのは困難である。
同様の問題は、遺伝子名の他、人名、地名、組織名などの固有表現を文字データから抽出する場合に生じる。
このような問題を解決するために、例えば、ＳＶＭなどのように、予め被学習データ（トレーニングデータ）について、所定の解析単位（トークン）で所望の固有表現が出現するパターンを特定し、そのパターンを学習データとして用いて、被処理データから上記固有表現を抽出する機械学習装置ある。
従来の機械学習装置は、例えば、当該機械学習装置が保持する複数の学習データの全てを用いて、被処理データから所望の固有表現を抽出している。
【非特許文献１】「Gene/protain recognition using Support Vector Machine after dictionary matching」, Tomohiro Mitsumori, Sevrani Fation, Masaki Murata, Kouichi Doi and Hirohumi Doi BioCreative Workshop: Critical Assessment for Information Extraction in Biology (BioCreative 2004), Granada, Spain, March, 2004
【非特許文献２】中野、平井、日本語固有表現抽出における文節情報の利用、情報処理学会論文誌、Ｖｏｌ．４５  Ｎｏ．３、ｐ９３４−９４１、Ｍａｒ．２００４
【非特許文献３】平、春野、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅによるテキスト分類における属性選択、情報処理学会論文誌、Ｖｏｌ．４５  Ｎｏ．４、ｐ１１１３−１１２３、Ａｐｒ．２００４
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の機械学習装置は、被処理データの属性とは無関係に、当該機械学習装置が保持する全ての学習データを用いて当該被処理データから固有表現を抽出するため、被処理データの属性と類似度が低い学習データが用いられることにより、固有表現抽出の信頼性が低くなるという問題がある。
同様の問題は、上述した遺伝子解析システム以外の機械学習装置にもある。
【０００４】
本発明は上述した従来技術の問題点を解決するために、複数の学習データを用いて被処理データに処理を施す場合に、その処理の信頼性を高めることができるデータ処理方法、データ処理装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明のデータ処理方法は、被学習データを基に生成した学習データを用いて、被処理データを機械学習処理するデータ処理方法であって、複数の前記学習データの各々について、当該学習データを生成するために用いた前記被学習データと、前記被処理データとの類似度を示す類似度データを生成する第１の工程と、前記第１の工程で生成した前記類似度データを基に、前記複数の学習データのうち一部の学習データを選択する第２の工程と、前記第２の工程で選択した前記学習データを用いて、前記被処理データを機械学習処理する第３の工程とを有する。
【０００６】
第２の観点の発明のデータ処理方法は、被学習データを構成する複数の処理単位データの各々に属性データを付した学習データを用いて、被処理データに前記属性データを機械学習により付加するデータ処理装置が実行するデータ処理方法であって、複数の前記学習データの各々について、当該学習データの前記被学習データを構成する前記処理単位データと、前記被処理データを構成する前記処理単位データとの類似度を示す類似度データを生成する第１の工程と、前記第１の工程で生成した前記類似度データを基に、前記複数の学習データの前記被学習データのうち、前記被処理データとの間の類似度が所定の基準を満たす前記被学習データを特定し、当該特定した前記被学習データに対応する前記学習データを選択する第２の工程と、前記第２の工程で選択した前記学習データを用いて、前記被処理データを構成する前記処理単位データに前記属性データを機械学習により付加する第３の工程とを有する。
【０００７】
第３の観点の発明のデータ処理装置は、被学習データを基に生成した学習データを用いて、被処理データを機械学習処理するデータ処理装置であって、複数の前記学習データの各々について、当該学習データを生成するために用いた前記被学習データと、前記被処理データとの類似度を示す類似度データを生成する類似度データ生成手段と、前記類似度データ生成手段が生成した前記類似度データを基に、前記複数の学習データのうち一部の学習データを選択する選択手段と、前記選択手段が選択した前記学習データを用いて、前記被処理データを機械学習処理する処理手段とを有する。
【０００８】
第３の観点の発明のデータ処理装置の作用は以下のようになる。
類似度データ生成手段が、複数の前記学習データの各々について、当該学習データを生成するために用いた前記被学習データと、前記被処理データとの類似度を示す類似度データを生成する。
次に、選択手段が、前記類似度データ生成手段が生成した前記類似度データを基に、前記複数の学習データのうち一部の学習データを選択する。
次に、処理手段が、前記選択手段が選択した前記学習データを用いて、前記被処理データを機械学習処理する。
【０００９】
第４の観点の発明のプログラムは、被学習データを基に生成した学習データを用いて、被処理データを機械学習処理するデータ処理装置が実行するプログラムであって、複数の前記学習データの各々について、当該学習データを生成するために用いた前記被学習データと、前記被処理データとの類似度を示す類似度データを生成する第１の手順と、前記第１の手順で生成した前記類似度データを基に、前記複数の学習データのうち一部の学習データを選択する第２の手順と、前記第２の手順で選択した前記学習データを用いて、前記被処理データを機械学習処理する第３の手順とを有する。
【発明の効果】
【００１０】
本発明のデータ処理方法、データ処理装置およびそのプログラムによれば、複数の学習データを用いて被処理データに処理を施す場合に、その処理の信頼性を高めることができるデータ処理方法、データ処理装置およびそのプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態に係わる機械学習装置について説明する。
なお、以下の実施形態において、第２実施形態は、第１実施形態の機械学習システムを、論文等の学習処理を行う機械学習システムに適用した本発明の一例としての実施形態である。
また、第３実施形態は、第１実施形態の機械学習システムを、インターネット上のコンテンツへのアクセス制御を行う機械学習システムに適用した本発明の一例としての実施形態である。
【００１２】
＜第１実施形態＞
図１は、本発明の第１実施形態の機械学習システムの構成図である。
図１に示すように、本実施形態の機械学習システムは、例えば、類似学習データ生成機２と、機械学習機３とを有する。
類似学習データ生成機２は、例えば、類似度計算部３および類似学習データ生成部４を有する。
本実施形態の機械学習システムは、正答例集合（学習データＳＤｑ）の中から、解きたい問題（問題データＴＤ）との類似度が所定の条件を満たす部分集合（類似学習データＳＳＤｑ）を選択し、学習機に対する学習データとすることによって、学習速度と精度の向上を図るものである。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
図１等に示す問題データＴＤが本発明の被処理データに対応し、学習データＳＤｑが本発明の学習データに対応している。
また、に示す被学習データＲｑが本発明の被学習データに対応している。
また、本実施形態の語が、本発明の処理単位データに対応している。
また、本実施形態の類似度データＢＡ（ｑ）が本発明の類似度データに対応している。
図１に示す類似度計算部３が第３の観点の発明の類似データ生成手段に対応し、類似学習データ生成部４が第３の観点の発明の選択手段に対応し、機械学習機５が第３の観点の発明の処理手段に対応している。
また、図１に示す類似度計算部３、類似学習データ生成部４および機械学習機５の機能をプログラムとして記述し、処理回路で実行することが可能であり、その場合に当該プログラムが第４の観点の発明のプログラムに対応する。
【００１３】
［類似度計算部３］
類似度計算部３は、ｎ個の学習データＳｑの被学習データＲｑの各々について、当該被学習データＲｑと、問題データＴＤとの類似度を計算する。
本実施形態において、被学習データＲｑおよび問題データＴＤは、ＰＯＳ(Point Of Sale)データ、テキストデータおよびマルチメディアデータなどである。
これらのデータは、複数の処理単位データを組み合わせて構成されている。
類似度計算部３は、複数の被学習データＲｑの各々について、当該被学習データＲｑを構成する処理単位データと、問題データＴＤを構成する処理単位データとの類似度を示す類似度データを生成し、これを類似学習データ生成部４に出力する。
具体的には、類似度計算部３は、被学習データＲｑおよび問題データＴＤの各々について、各データを構成する処理単位データを基に各データの特徴を、予め決められ特徴評価座標系内で規定したベクトルデータを生成する。
そして、類似度計算部３は、上記生成したベクトルデータを基に、類似度データを生成する。
【００１４】
類似度計算部３は、例えば、（Ｘ，Ｙ，Ｚ）で示される上記ベクトルデータを生成し、
A1： d(x,y)≧0
A2： d(x,y)=d(y,x)
A3： d(x,y)=0 となる必要十分条件は x=y である
A3'： d(x,x)=0
A4： d(x,z)≦ d(x,y) + d(y,z)
とし、
B1: A1,A2,A3,A4
B2: A1,A2,A3',A4
B3: A1,A2,A3
B4: A1,A2,A3'
B5: A1,A2
とした場合に、
上記B1,B2,B3,B4,B5のいずれかを満たす測度（測定した値）を示す関数d() を用いる、もしくは、類似度が増加することに対して、距離が単調に減少する類似度計算式によって距離を計算し、当該距離を示す前記類似度データを生成する。
ここで、上記B1が、いわゆる「距離」に相当する。例えば、３次元空間であればユークリッド距離であり、「d(x,y)={(x1-y1)^2+(x2-y2)^2+(x3-y3)^2}^(1/2)」となる。
【００１５】
また、類似度計算部３は、数の被学習データＲｑの各々について、当該被学習データＲｑを構成する処理単位データと、問題データＴＤを構成する処理単位データとの距離を所定の座標系で示す類似度データを生成してもよい。
この場合、類似度計算部３は、距離計算方法として、ユークリッド距離やユークリッド平方距離、標準化ユークリッド距離、ミンコフスキー距離、もしくはカーネル法による距離計算による評価手法を用いる。
【００１６】
また、類似度計算部３は、一つの被学習データＲｑあるいは問題データＴＤに対して問題とする処理単位データ群に対して求まる複数の距離、ないしは類似度に対して、距離に関しては別途与えられた類似度への変換式を用いて変換を行った後、類似度ベクトルとして表現し、別途定義する選択関数によってスカラー値に変換し、これを類似度データとしてもよい。
また、類似度計算部３は、複数の類似度を要素として持つ類似度ベクトルに対して、各要素の和、二乗和、最大値の選択、最小値の選択等によってスカラーに変換する計算を行ってもよい。また、類似度計算部３は、上記生成した距離データにゼロでない正数を加え、逆数を取ったものを類似度データとしてもよい。
【００１７】
［類似学習データ生成部４］
類似学習データ生成部４は、ｎ個の被学習データＲｑのうち、類似度計算部３で生成した類似度データが示す類似度が所定のしきい値を超える被学習データＲｑの学習データＳＤｑを選択し、これを類似学習データＳＳＤｑとして機械学習機５に出力する。
ここで、学習データＳＤｑは、図１に示すように、被学習データＲｑと、その属性データＰＤとを含んでいる。
ここで、属性データＰＤは、被学習データＲｑを構成する処理単位データの各々について、その属性を示している。
当該属性は、例えば、被学習データＲｑおよび問題データＴＤが電子メールである場合には、迷惑メールであるか否かを示す情報であり、被学習データＲｑおよび問題データＴＤが文書データである場合には、語の品詞を示す情報である。
【００１８】
［機械学習機５］
機械学習機５は、類似学習データ生成部４から入力した類似学習データＳＳＤｑを用いて、問題データＴＤの処理を行う。
具体的には、機械学習機５は、類似学習データＳＳＤｑを用いて、問題データＴＤを構成する処理単位データに属性データＰＤを付加する。
機械学習機５は、例えば、ＳＶＭ(Support Vector Machine)、Artificial Neural Network、遺伝的アルゴリズムなど、教師有り学習処理を行う。
機械学習機５の学習で用いる学習ルールは、Support Vector Machine においてはデータ分離を行う超平面を記述するパラメータ群となり、Artificial Neural Network では、各ニューロンに対する重みベクトルになる。
機械学習機５は、機械学習法として、上記ＳＭＶなどの他に、決定リスト、類似度に基づく方法、シンプルベイズ法、最大エントロピー法、決定木、ニューラルネット、判別分析等の手法を用いてもよい。
【００１９】
以下、機械学習機５が一例として採用するＳＶＭについて説明する。
ＳＶＭは、例えば、前述した非特許文献３等に開示されている。
機械学習機５は、問題データＴＤを超空間上で正例集合へと分離する際、マージンを最大にすることによって最適な分離超平面を得るＳＶＭに基づく学習処理を行う。
ＳＶＭは、最小の汎化誤差を保証する仮説を見つける構造的リスク最小化に基づく手法である。
ＳＶＭは、例えば、入力ベクトル（問題データＴＤ）をｘとした場合に、下記式（２）の関数が仮説ｈを示すとする。
【００２０】
【数２】
2006252333.tif 000003
【００２１】
上記式（２）において、ｗ、ｂは、パラメータである。入力ベクトルｘの次元ｎとＶＣ次元λの関係については以下の補助定理が知られている。
【００２２】
補助定理：
仮説ｈ（ｘ）として超平面ｈ（ｘ）＝ｓｉｇｎ｛ｗ・ｘ＋ｂ｝を仮定する。ｌ個の訓練データ（本実施形態では、類似学習データＳＳＤｑ）ｘ＝ｘｉ（ｉは１〜ｌまでの整数）全てを含む半径Ｒの球が存在し、各ｘｉに対して下記式（３）が成り立つならば、||ｗ||をｗのノルムとした場合、ＶＣ次元λについて下記式（４）が成り立つ。
【００２３】
【数３】
2006252333.tif 000004
【００２４】
【数４】
2006252333.tif 000005
【００２５】
上記式（４）から、ＶＣ次元は、||ｗ||に依存する場合がある。
ＳＶＭは、上記訓練データを正例と負例とにわけ、正負例間のマージンが最大、すなわち、||ｗ||が最小になる超平面を特定する。
機械学習機５は、上記超平面の特定を、例えば、ラグランジェ乗数を用いて２次最適化問題として処理する。
【００２６】
以上説明したように、本実施形態の機械学習システムによれば、ｎ個の学習データＳＤｑのうち問題データＴＤとの間の類似度が高いもののみを選択して用いて、機械学習機５において問題データＴＤの学習処理を行う。
そのため、問題データＴＤの学習に、問題データＴＤとの間の類似度が低い学習データＳＤｑは用いられなくなり、処理済データＴＲの信頼性が高まる。
その結果、処理済データＴＲの信頼性を高めることができる。
【００２７】
また、本実施形態の機械学習システムによれば、処理の信頼性向上の他に、学習に用いるデータ量を削減し、学習に要する時間の短縮、並びにマシンリソースの低減という効果が得られる。
【００２８】
本実施形態において、問題データＴＤとしてテキストデータを入力し、個々の単語に対して、品詞情報、単語尾部スペル、語の種類を属性データとして、テキストデータ内から所望の単語を抽出する課題を設定して、システム提示を行う。ここで、入力や課題設定はこれに限られたものではなく、いろいろな応用ができることは明白である。例えば、図４に示すように、問題データＴＤとして、Point Of Sale データや、音楽、音声、テレビ番組、ビデオ映像などのマルチメディアデータ等を指定することができ、また、課題設定として、売り上げパターンの解析や、迷惑メールやニュース番組等のフィルタリングや、ユーザが所望する映像クリップを抽出することなどができる。
本実施形態は、ＰＯＳデータからの顧客動向抽出や、テキストデータやマルチメディアデータの分類、及び情報抽出を行うシステムに適用可能である。
また、本実施形態の処理単位データは、商品種とその売り上げ個数、入荷日、売上日、年齢、性別、家族構成等の購買顧客情報などを含む Point Of Sales 情報や、メール文章、論文、特許、HP文書、番組表、歌詞等の文書、ないしは文章や単語へ分解したもの、楽譜データ、音楽等の時系列データ、ガスクロマトグラフィーによる出力結果や等のスペクトルデータ、ニュース番組やドラマ、ビデオ画像などの映像情報など、ある構成単位を定義し、これの組み合わせや重ね合わせ、合成、シーケンスとして構成する、ないしは構成されているものとして解析を行ったデータ、および、データを何らかの付加手続きを用いて加工したデータを付加して用いることもできる。
【００２９】
＜第２実施形態＞
第２実施形態は、第１実施形態の機械学習システムを、論文等の学習処理を行う機械学習システムに適用した実施形態である。
【００３０】
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
図３等に示す問題データＴＤが本発明の被処理データに対応し、学習データＳＤｑが本発明の学習データに対応している。
また、図４等に示す被学習データＲｑが本発明の被学習データに対応している。
また、本実施形態の語が、本発明の処理単位データに対応している。
また、本実施形態の類似度データＢＡ（ｑ）が本発明の類似度データに対応している。
また、式（６）に示す、指標データＴＦ（ｉ，ｊ）が本発明の指標データに対応している。
図１３に示すステップＳＴ２が第１の観点の発明の第１の工程に対応し、ステップＳＴ３が第２の工程に対応し、ステップＳＴ５が第３の工程に対応している。
また、図５に示す類似学習データ選択部１１の類似度計算部３３が第３の観点の発明の類似データ生成手段に対応し、学習データ選択部３４が第３の観点の発明の選択手段に対応し、図１２に示すＩＯＢ付加部２２のＩＯＢ判定部７２が第３の観点の発明の処理手段に対応している。
【００３１】
図３は、本発明の実施形態に係わる機械学習装置１の全体構成図である。
図３に示すように、機械学習装置１は、例えば、メモリ９、類似学習データ選択部１１、タグ付加部１３、ＩＯＢ判定データ生成部１５、タグ付加部２１、並びにＩＯＢ付加部２２を有する。
機械学習装置１の各構成要素は、例えば、電子回路などのハードウェアにより構成される。
また、後述する当該各構成要素を構成する要素も、それぞれ電子回路などのハードウェアを用いて構成される。
なお、本発明は、図３に示す機械学習装置１の各構成要素、並びにその要素の一部あるいは全部をＣＰＵ(Central Processing Unit)がプログラムを実行することで実現してもよい。
【００３２】
先ず、図３に示すメモリ９に記憶され、類似学習データ選択部１１に入力される学習データＳＤｑ（ＳＤ１〜ＳＤｎ）を説明する。
図４は、学習データＳＤｑ（ＳＤ１〜ＳＤｎ）を説明するための図である。
図４に示すように、学習データＳＤｑは、予め被学習データＲｑ内の全ての語の各々について、その属性タグデータＩＯＢを対応付けたデータである。
ここで、属性タグデータＩＯＢは、所定の用語（例えば、蛋白質の名称）を構成する先頭の語に対して“Ｂ”を示している。
また、属性タグデータＩＯＢは、先頭の語に続く語であって、上記所定の語を構成する語に対して”Ｉ“を示している。
また、属性タグデータＩＯＢは、上記所定の語を構成しない語に対して“Ｏ”を示している。
なお、本実施形態において、被学習データＲｑおよび問題データＴＤは、例えば、蛋白質の名称を含むような英語の論文データであり、例えば、スペースを区切り文字とし、文末のピリオドとその直前の語は分割することを当該英文を語に分割するルールとする。
また、本実施形態では、機械学習装置１は、ｎ個の学習データＳＤｑが利用可能である。
【００３３】
以下、図３に示す各構成要素を説明する。
［類似学習データ選択部１１］
図５は、図３に示す類似学習データ選択部１１の構成図である。
図５に示すように、類似学習データ選択部１１は、入力部３１、入力部３２、類似度計算部３３、学習データ選択部３４、並びに出力部３５を有する。
入力部３１は、例えば、機械学習装置１が備えるメモリ（図示せず）あるいは機械学習装置１の外部から、図４に示すｎ個の学習データＳＤｑを入力する。
また、入力部３２は、機械学習装置１の外部から図６に示す問題データＴＤを入力する。
【００３４】
類似度計算部３３は、入力部３１が入力した図４に示すｎ個の学習データＳＤｑ内の被学習データＲｑの各々につて、当該被学習データＲｑと、問題データＴＤとの類似度を計算する。
以下、当該類似度の計算方法について説明する。
ここで、ｎ個の学習データＳＤｑにそれぞれ対応したｎ個の被学習データＲｑと、問題データＴＤとに含まれる語の種類の数をｋとする。
また、“ｉ”は１〜ｋの整数、“ｊ”はｎ個の被学習データＲｑと１個の問題データＴＤとに付した識別子とする。
【００３５】
類似度計算部３３は、下記式（５）により、指標データＴＦ（ｉ，ｊ）を計算する。
【００３６】
［数５］
ＴＦ（ｉ，ｊ）＝（語ｉが被学習データＲｊ（問題データＴＤ）に出現する回数）／（被学習データＲｊ（問題データＴＤ）に含まれる語の総数）
…（５）
【００３７】
また、類似度計算部３３は、下記式（６）により、ＤＦ（ｉ）を特定する。
【００３８】
［数６］
ＤＦ（ｉ）＝（ｎ個の被学習データＲｑと、問題データＴＤとのうち、語ｉが出現するものの数）
…（６）
【００３９】
また、類似度計算部３３は、被学習データＲｑと問題データＴＤとの各々について、全ての語ｉとの間のｗ（ｉ，ｊ）を下記式（７），（８）により計算する。
【００４０】
［数７］
ＩＤＦ（ｉ）＝ｌｏｇ［（Ｎ＋１）／ＤＦ（ｉ）］
…（７）
【００４１】
［数８］
ｗ（ｉ，ｊ）＝ＴＦ（ｉ，ｊ）＊ＩＤＦ（ｉ）
…（８）
【００４２】
上記ＩＤＦ（ｉ）は、問題データＴＤおよび被学習データＲｑのうち、語ｉを含むものの数が多くなるに従って指数関数的にその値を小さくする。
このようなＩＤＦ（ｉ）をＴＦ（ｉ，ｊ）に乗じてｗ（ｉ，ｊ）を生成することで、「ａ」，「ｔｈｅ」，「ｔｈｉｓ」，「ｔｈａｔ」などの抽出すべき固有表現ではない、当該データの属性とは無関係の語が類似度に与える影響を殆どなくすことができる。
【００４３】
そして、類似度計算部３３は、被学習データＲｑと問題データＴＤとの各々について、下記（９），（１０）によりベクトルＤ（ｑ），Ｄ（Ｍ）を規定する。
【００４４】
［数９］
Ｄ（ｑ）＝（ｗ（１，ｑ），ｗ（２，ｑ），．．．．，ｗ（ｋ，ｑ）
…（９）
【００４５】
［数１０］
ＤＭ＝（ｗ（１，Ｍ），ｗ（２，Ｍ），．．．．，ｗ（ｋ，Ｍ））
…（１０）
【００４６】
そして、類似度計算部３３は、全ての被学習データＲｑについて、下記（１１）に示す類似度データＢＡ（ｑ）を計算する。
【００４７】
【数１１】
2006252333.tif 000006
【００４８】
類似度計算部３３は、類似度データＢＡ（ｑ）を学習データ選択部３４に出力する。
【００４９】
学習データ選択部３４は、入力部３１が入力したｎ個の学習データＳＤｑのうち、類似度計算部３３から入力した類似度データＢＡ（ｑ）が所定の基準値を超えるもののみを選択して類似学習データＳＳＤｑとして出力部３５に出力する。
なお、学習データ選択部３４は、入力部３１から入力したｎ個の学習データＳＤｑのうち、類似度データＢＡ（ｑ）が示す類似度が高いものから所定数分だけ選択して出力部３５に出力してもよい。
図５に示す例では、学習データ選択部３４は、学習データＳＤ１，３，１０を類似学習データＳＳＤｑとして出力部３５に出力する。
【００５０】
出力部３５は、学習データ選択部３４から入力した類似学習データＳＳＤｑを、図３に示すタグ付加部１３に出力する。
【００５１】
［タグ付加部１３］
図３に示すタグ付加部１３は、図７に示すように、類似学習データ選択部１１から入力した類似学習データＳＳＤｑの被学習データＲｑを構成する各語について、その品詞データと、ｓｕｆｆｉｘデータとを付加して新たな類似学習データＳＳＤＡｑを生成する。
【００５２】
図８は、図３にタグ付加部１３の構成図である。
図８に示すように、タグ付加部１３は、例えば、入力部４１、品詞タガー部４２、Ｓｕｆｆｉｘタガー部４３、並びに出力部４４を有する。
入力部４１は、図３に示す類似学習データ選択部１１から類似学習データＳＳＤｑを入力し、これを品詞タガー部４２に出力する。
品詞タガー部４２は、入力部４１から入力した図７に示す類似学習データＳＳＤｑ内の各語に、その品詞を示す品詞データを付加し、これをＳｕｆｆｉｘタガー部４３に出力する。
Ｓｕｆｆｉｘタガー部４３は、図７に示すように、品詞タガー部４２から入力した品詞データが付加された類似学習データの各語に、そのｓｕｆｆｉｘ（接尾辞）データをさらに付加して類似学習データＳＳＤＡｑを生成し、これを出力部４４に出力する。
本実施形態では、Ｓｕｆｆｉｘタガー部４３は、３ｇｒａｍのｓｕｆｆｉｘを付加する。
出力部４４は、Ｓｕｆｆｉｘタガー部４３から入力した類似学習データＳＳＤＡｑを図３に示すＩＯＢ判定データ生成部１５に出力する。
【００５３】
［ＩＯＢ判定データ生成部１５］
ＩＯＢ判定データ生成部１５は、タグ付加部１３から入力した図７に示す類似学習データＳＳＤＡｑを用いて、ＩＯＢ付加部２２における解析に用いるＩＯＢ判定データ（素性データ）ＳＰを生成し、これをＩＯＢ付加部２２に出力する。
【００５４】
図９は、図３に示すＩＯＢ判定データ生成部１５の構成図である。
図９に示すように、ＩＯＢ判定データ生成部１５は、例えば、入力部５１、ＳＶＭ学習部５２および出力部５３を有する。
入力部５１は、タグ付加部１３から類似学習データＳＳＤＡｑを入力し、これをＳＶＭ学習部５２に出力する。
ＳＶＭ学習部５２は、入力部５１から入力した図７に示す類似学習データＳＳＤＡｑを基に、各語の属性タグデータＩＯＢが、Ｉ，Ｏ，Ｂの何れであるかを判断するために、例えば、各語の前後２語ずつの品詞データおよびｓｕｆｆｉｘデータを用いてＳＶＭ(Support Vector Machines)方式で図１０に示すＩＯＢ判定データＳＰを生成する。
ＳＶＭ学習部５２は、当該ＳＶＭ方式による学習処理において、例えば、カーネル関数として多項式カーネルを用い、多値分類拡張手法としてベアワイズを用い、解析方向を文の先頭から後ろとする。
ＳＶＭ学習部５２による学習処理としては、例えば、第１実施形態で説明したＳＶＭが用いられる。
ＳＶＭ学習部５２は、ＩＯＢ判定データＳＰを出力部５３に出力する。
出力部５３は、ＳＶＭ学習部５２から入力したＩＯＢ判定データＳＰをＩＯＢ付加部２２に出力する。
【００５５】
なお、ＩＯＢ判定データ生成部１５は、ＳＶＭ方式以外の学習方式、例えば、決定リスト方式、類似度に基づく方式、シンプルベイズ方式、最大エントリピー方式、決定木方式、ニューラルネット方式、判別分析方式等を用いてもよい。
【００５６】
［タグ付加部２１］
図３に示すタグ付加部２１は、図６に示すように、機械学習装置１の外部から入力した問題データＴＤを構成する各語について、その品詞データと、ｓｕｆｆｉｘデータとを付加して新たな問題データＴＤａを生成する。
【００５７】
図１１は、図３にタグ付加部２１の構成図である。
図１１に示すように、タグ付加部２１は、例えば、入力部６１、品詞タガー部６２、Ｓｕｆｆｉｘタガー部６３、並びに出力部６４を有する。
入力部６１は、図３に示す機械学習装置１の外部から問題データＴＤを入力し、これを品詞タガー部６２に出力する。
品詞タガー部６２は、入力部６１から入力した図６に示す問題データＴＤ内の各語に、その品詞を示す品詞データを付加し、これをＳｕｆｆｉｘタガー部６３に出力する。
Ｓｕｆｆｉｘタガー部６３は、図６に示すように、品詞タガー部６２から入力した品詞データが付加された被処理データの各語に、そのｓｕｆｆｉｘ（接尾辞）データをさらに付加して問題データＴＤａを生成し、これを出力部６４に出力する。
出力部６４は、Ｓｕｆｆｉｘタガー部６３から入力した問題データＴＤａを図３に示すＩＯＢ付加部２２に出力する。
【００５８】
［ＩＯＢ付加部２２］
図１２は、図３に示すＩＯＢ付加部２２の構成図である。
図１２に示すように、ＩＯＢ付加部２２は、例えば、入力部７１、ＩＯＢ判定部７２および出力部７３を有する。
入力部７１は、ＩＯＢ判定データ生成部１５から入力したＩＯＢ判定データＳＰをＩＯＢ判定部６２に出力する。
ＩＯＢ判定部７２は、入力部６１から入力したＩＯＢ判定データＳＰを基に、タグ付加部２１から入力した図６に示す問題データＴＤａの各語に、属性タグデータＩＯＢを付加して図６に示す処理済データＴＲを生成する。
ここで、問題データＴＤを解くべき問題とすると、処理済データＴＲが解くべき問題の解となる。
ＩＯＢ判定部７２は、テスト結果データＴＤａを出力部６３に出力する。
出力部７３は、ＩＯＢ判定部７２から入力した処理済データＴＲを機械学習装置１の外部に出力する。
【００５９】
以下、図３に示す機械学習装置１の動作例を説明する。
図１３は、当該動作例を説明するためのフローチャートである。
以下、図１３に示す各ステップを説明する。
ステップＳＴ１：
図３に示すタグ付加部２１は、図６に示すように、機械学習装置１の外部から入力した問題データＴＤを構成する各語について、その品詞データと、ｓｕｆｆｉｘデータとを付加して新たな問題データＴＤａを生成し、これをＩＯＢ付加部２２に出力する。
【００６０】
ステップＳＴ２：
図５に示す類似学習データ選択部１１の類似度計算部３３は、入力部３１が入力した図４に示すｎ個の学習データＳＤｑ内の被学習データＲｑの各々につて、当該被学習データＲｑと、問題データＴＤとの類似度を計算して類似度デ.ータＢＡ（ｑ）を生成し、これを学習データ選択部３４に出力する。
ステップＳＴ３：
図５に示す学習データ選択部３４は、入力したｎ個の学習データＳＤｑのうち、類似度計算部３３から入力した類似度データＢＡ（ｑ）が所定の基準値を超えるもののみを選択して類似学習データＳＳＤｑとして図３に示すタグ付加部１３に出力する。
【００６１】
ステップＳＴ４：
図３に示すタグ付加部１３は、図７に示すように、類似学習データ選択部１１から入力した類似学習データＳＳＤｑの被学習データＲｑを構成する各語について、その品詞データと、ｓｕｆｆｉｘデータとを付加して新たな類似学習データＳＳＤＡｑを生成し、これをＩＯＢ判定データ生成部１５に出力する。
ステップＳＴ５：
図３に示すＩＯＢ判定データ生成部１５は、タグ付加部１３から入力した図７に示す類似学習データＳＳＤＡｑを用いて、ＩＯＢ付加部２２における解析に用いるＩＯＢ判定データ（素性データ）ＳＰを生成し、これをＩＯＢ付加部２２に出力する。
ステップＳＴ１６：
図３に示すＩＯＢ付加部２２は、ステップＳＴ５で入力したＩＯＢ判定データＳＰを基に、タグ付加部２１から入力した図６に示す問題データＴＤａの各語に、属性タグデータＩＯＢを付加して図６に示す処理済データＴＲを生成する。
なお、機械学習装置１は、処理済データＴＲに付された属性タグデータＩＯＢを基に、問題データＴＤ内の固有表現（遺伝子名）を抽出する。
【００６２】
以上説明したように、機械学習装置１によれば、メモリ９に記憶されたｎ個の学習データＳＤｑのうち問題データＴＤとの間の類似度が高いもののみを選択して用いて、ＩＯＢ付加部２２における問題データＴＤａへの属性タグデータＩＯＢの付加を行う。
そのため、問題データＴＤａへの属性タグデータＩＯＢの付加において、問題データＴＤとの間の類似度が低い学習データＳＤｑは用いられなくなり、処理済データＴＲの信頼性が高まる。
その結果、処理済データＴＲから、所望の固有表現（遺伝子名）を高い信頼性で抽出することが可能になる。
また、本実施形態の機械学習１によれば、処理の信頼性向上の他に、学習に用いるデータ量を削減し、学習に要する時間の短縮、並びにマシンリソースの低減という効果が得られる。
【００６３】
＜第３実施形態＞
第３実施形態は、第１実施形態の機械学習システムを、インターネット上のコンテンツへのアクセス制御を行う機械学習システムに適用した実施形態である。
図１４は、本発明の第３実施形態の機械学習システム１０１を説明するための図である。
機械学習システム１０１では、インターネット１１１上のサーバ（図示せず）が記憶する複数のＷｅｂページデータＷ１を学習データ生成部１１２がダウンロードする。
学習データ生成部１１２は、予め決められたルールに従って、上記ダウンロードしたＷｅｂページデータＷ１に、コンテンツの分類（属性）を示すタグデータＴＧを付加して学習データ（教師データ）ＳＤｑを生成し、これを類似学習データ選択部１１５に出力する。
タグデータＴＧとしては、例えば、視聴制限の有無、制限年齢以下の禁止、暴力的表現有りなどの情報を示している。
【００６４】
類似学習データ選択部１１５は、インターネット１１１を介してダウンロードされた被処理データであるＷｅｂページデータＷ２と、学習データＳＤｑのＷｅｂページデータＷ１との類似関係を基に、類似度が所定の基準を満たした学習データＳＤｑを類似学習データＳＳＤｑとして選択して機械学習機１１６に出力する。
当該類似関係は、第１実施形態で説明した手法等を用いて生成した類似度データに基づいて判断する。
【００６５】
機械学習機１１６は、類似学習データ選択部１１５から入力した類似学習データＳＳＤｑを用いてＷｅｂページデータＷ２の学習処理を行い、タグデータＴＧが付された処理済ＷｅｂページデータＷ３をキャッシュメモリ１１８および／またはフィルタ１２５に出力する。
機械学習機１１６による学習処理としては、例えば、第１実施形態で説明したＳＶＭが用いられる。
【００６６】
キャッシュメモリ１１８は、処理済ＷｅｂページデータＷ３を記憶する。
キャッシュ探索部１２３は、コンピュータ上で動作するユーザ・インタフェース１２１などを用いてユーザが出した閲覧要求を入力すると、その閲覧要求に応じた処理済ＷｅｂページデータＷ３をキャッシュメモリ１１８から読み出してフィルタ１２５に出力する。
キャッシュ探索部１２３は、上記閲覧要求に応じた処理済ＷｅｂページデータＷ３がキャッシュメモリ１１８に記憶されていない場合に、コンテンツローダ１３１に対してその処理済ＷｅｂページデータＷ３に対応したＷｅｂページデータを要求するダウンロード要求を出力する。
コンテンツローダ１３１は、インターネット１１１を介して、上記ダウンロード要求をサーバに送信する。
これにより、上記閲覧要求に係わるＷｅｂページデータＷ１が学習データ生成部１１２にダウンロードされる。
【００６７】
フィルタ１２５は、所定のサーバあるいはユーザが使用するコンピュータ内に機能として組み込まれ、予め保持したフィルタルールに従って、入力した処理済ＷｅｂページデータＷ３のタグデータＴＧを検証し、所定の条件を満たす処理済ＷｅｂページデータＷ３を、そのタグデータＴＧを除去してユーザ・インタフェース１２１に出力する。
なお、図１４の例において、キャッシュ探索部１２３は、特に必須ではない。
【００６８】
以上説明したように、機械学習システム１０１によれば、類似学習データ選択部１１５において、被処理データのＷｅｂページデータＷ２と属性が類似した学習データＳＤｑのみを類似学習データＳＳＤｑとして類似学習データ選択部１１５に出力する。
これにより、類似学習データ選択部１１５において、ＷｅｂページデータＷ２に高い信頼性のタグデータＴＧを付けることができ、フィルタ１２５におけるフィルタ処理を適切に行うことができる。
また、本実施形態の機械学習システム１０１によれば、処理の信頼性向上の他に、学習に用いるデータ量を削減し、学習に要する時間の短縮、並びにマシンリソースの低減という効果が得られる。
【００６９】
本発明は上述した実施形態には限定されない。
上述した実施形態では、本発明の被処理データおよび被学習データＲｑとして、遺伝子分野の論文（文献）データを例示したが、それ以外のデータであってもよい。
例えば、本発明は、蛋白質表現の抽出、固有表現抽出(人名，地名など)、モダリティ表現の翻訳、格解析，格変換、並びに多義性解消等の機械学習処理にも適用可能である。
【産業上の利用可能性】
【００７０】
本発明は、学習データを用いて、所定の用語を抽出すための属性データを被処理データを構成する処理単位データに付加するデータ処理システムに適用可能である。
【図面の簡単な説明】
【００７１】
【図１】図１は、本発明の第１実施形態の機械学習システムの構成図である。
【図２】図２は、本発明の第１の実施形態の機械学習システムを説明するための図である。
【図３】図３は、本発明の第２実施形態に係わる機械学習装置の構成図である。
【図４】図４は、本発明の第２実施形態の被学習データＲｑおよび学習データＳＤｑを説明するための図である。
【図５】図５は、図３に示す類似学習データ選択部の構成図である。
【図６】図６は、本発明の第２実施形態の被処理データ等を説明するための図である。
【図７】図７は、本発明の第２実施形態の類似学習データを説明するための図である。
【図８】図８は、本発明の第２実施形態のタグ付加部の構成図である。
【図９】図９は、本発明の第２実施形態のＩＯＢ判定データ生成部の構成図である。
【図１０】図１０は、本発明の第２実施形態のＩＯＢ判定データを説明するための図である。
【図１１】図１１は、本発明の第２実施形態のタグ付加部を説明するための図である。
【図１２】図１２は、本発明の第２実施形態のＩＯＢ付加部を説明するための図である。
【図１３】図１３は、図３に示す機械学習装置の動作例を説明するための図である。
【図１４】本発明の第３実施形態を説明するための図である。
【符号の説明】
【００７２】
１…機械学習装置、２…類似学習データ生成機、３…類似度計算部、４…類似学習データ生成部、１１…類似学習データ選択部、１３…タグ付加部、１５…ＩＯＢ判定データ生成部、２１…タグ付加部、２２…ＩＯＢ付加部、３１…入力部、３２…入力部、３３…加算回路、３４…学習データ選択部、３５…出力部、４１…入力部、４２…品詞タガー部、４３…Ｓｕｆｆｉｘタガー部、４４…出力部、５１…入力部、５２…ＳＶＭ学習部、５３…出力部、６１…入力部、６２…品詞タガー部、６３…Ｓｕｆｆｉｘタガー部、６４…出力部、７１…入力部、７２…ＩＯＢ判定部、７３…出力部
【図１】
2006252333.tif 000008
【図２】
2006252333.tif 000009
【図３】
2006252333.tif 000010
【図４】
2006252333.tif 000011
【図５】
2006252333.tif 000012
【図６】
2006252333.tif 000013
【図７】
2006252333.tif 000014
【図８】
2006252333.tif 000015
【図９】
2006252333.tif 000016
【図１０】
2006252333.tif 000017
【図１１】
2006252333.tif 000018
【図１２】
2006252333.tif 000019
【図１３】
2006252333.tif 000020
【図１４】
2006252333.tif 000021