(57)【要約】【課題】  ある分野について記載された文を分類するための機械学習用データから、他の分野について記載された文を分類するための機械学習用データを生成することを可能にする。【解決手段】  １または複数の単語を含む機械学習用データが入力される入力手段と、前記入力手段へ入力された機械学習用データに含まれている１または複数の単語の各々について、所定の分野について記載された複数の文中での出現頻度を特定する特定手段と、前記特定手段によって特定された出現頻度が所定の閾値を超えているか否かを判定する判定手段と、前記入力手段へ入力された機械学習データから、前記特定手段によって特定された出現頻度が前記所定の閾値以下であると前記判定手段によって判定された単語を削除して出力する出力手段と、を有するデータ処理装置を提供する。【選択図】      図５
2006092198.tif 000002
【特許請求の範囲】
【請求項１】
１または複数の単語を含む機械学習用データが入力される入力手段と、
前記入力手段へ入力された機械学習用データに含まれている１または複数の単語の各々について、所定の分野について記載された複数の文中での出現頻度を特定する特定手段と、
前記特定手段によって特定された出現頻度が所定の閾値を超えているか否かを判定する判定手段と、
前記入力手段へ入力された機械学習用データから、前記特定手段によって特定された出現頻度が前記所定の閾値以下であると前記判定手段によって判定された単語を削除して出力する出力手段と、
を有するデータ処理装置。
【請求項２】
前記所定の分野について記載された複数の文から抽出された単語毎に該複数の文中での出現頻度を表すデータが記憶された記憶手段を備え、
前記特定手段は、
前記入力手段へ入力される機械学習用データに含まれている１または複数の単語の各々について、前記所定の分野について記載された複数の文中での出現頻度を前記記憶手段の記憶内容を参照して特定する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記所定の分野について記載された複数の文の各々を表す文データが記憶された記憶手段を備え、
前記特定手段は、
前記入力手段へ入力された機械学習用データに含まれている１または複数の単語の各々について、前記所定の分野について記載された複数の文中での出現頻度を前記記憶手段の記憶内容を参照して特定する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項４】
前記記憶手段に記憶されている文データの表す文に含まれている単語を抽出し、各文データ毎に単語の集合を生成する生成手段を備え、
前記出力手段は、
前記特定手段によって特定された出現頻度が前記所定の閾値を超えていると前記判定手段によって判定された単語について、その単語と、前記入力手段へ入力された機械学習用データにその単語とともに含まれている単語と、からなる集合が前記生成手段により生成された集合の何れとも類似しない場合には、その単語をその機械学習用データから削除して出力する
ことを特徴とする請求項３に記載のデータ処理装置。
【請求項５】
前記入力手段へ入力される機械学習用データは、前記所定の分野とは異なる分野向けに作成されているとともに、該異なる分野についての専門用語が複数記憶された記憶手段を備え、
前記出力手段は、
前記特定手段によって特定された出現頻度が前記所定の閾値を超えていると前記判定手段によって判定された単語について、前記記憶手段に記憶されている専門用語と一致する場合には、前記入力手段へ入力された機械学習用データからその単語を削除して出力する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
分野を問わずに一般に利用される用語である一般用語が複数記憶された記憶手段を備え、
前記出力手段は、
前記特定手段によって特定された出現頻度が前記所定の閾値以下であると判定された単語であっても、前記記憶手段に記憶されている一般用語と一致する場合には、前記入力手段へ入力された機械学習用データからその単語を削除せずに出力する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項７】
コンピュータ装置に、
１または複数の単語を含む機械学習用データが入力された場合に、その機械学習用データに含まれている１または複数の単語の各々について、所定の分野について記載された複数の文中での出現頻度を特定する第１の処理と、
前記第１の処理によって特定された出現頻度が所定の閾値を超えているか否かを判定する第２の処理と、
前記入力された機械学習用データから、前記第１の処理にて特定された出現頻度が前記所定の閾値以下であると前記第２の処理にて判定された単語を削除して出力する第３の処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
分類済みの複数のデータに基づいてコンピュータ装置に新たなデータの分類を行わせる技術に関する。
【背景技術】
【０００２】
近年、データの特徴に応じてそのデータを分類する技術である機械学習が注目を集めている。機械学習とは、予め分類された多数のサンプルデータの各々の特徴とその分類結果との相関を表すデータ（以下、「機械学習用データ」）をコンピュータ装置に記憶させておき、未分類の新たなサンプルデータが入力された場合に、その特徴と上記機械学習用データとに基づいてその分類を上記コンピュータ装置に特定させる技術である。例えば、非特許文献１には、上記機械学習に用いられるアルゴリズムの一例として、サポートベクトルマシンアルゴリズム（以下、「ＳＶＭアルゴリズム」）が開示されている。また、上記機械学習の応用例としては、特許文献１に開示された技術が挙げられる。この特許文献１には、自然言語処理についての機械学習の応用例として、文の特徴（例えば、文に含まれている名詞）とその文についての分類結果との相関を表す機械学習用データが記憶されている文書処理装置に、新たに入力された文の分類をその特徴と上記機械学習用データとに基づいて特定させる技術が開示されている。
【非特許文献１】Fabrizio Sebbastian,                     "Machine Learning in Automated Text Categorization",                      ACM Computing Surveys,Vol1.34，No.1, pp.1-47(2002)
【特許文献１】特開平０７−０２１１６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、機械学習によって新たなデータの分類を特定する際の特定精度は、その機械学習を行うコンピュータ装置に記憶されている機械学習用データの質が良いほど高く、また、その量が多いほど高いことが一般に知られている。ここで、機械学習用データの質が良いとは、機械学習用データの表す相関（すなわち、サンプルデータについての分類結果とそのサンプルデータの特徴との相関）が高いことを意味している。このため、特許文献１に開示された技術を用いて、ある分野について記載された文を機械学習によって適切に分類するためには、その分野に属するサンプルデータ（すなわち、その分野について記載された文）を大量に用意しておくとともに、さらに、それらサンプルデータを適切に分類して機械学習用データを生成しておく必要がある。つまり、精度の高い分類を行うためには、分類対象のデータの属する分野毎にその分野向きの機械学習用データを作成しておかなければならない。しかしながら、機械学習用データの作成作業は人手で行われることが一般的であり、特に、上記分類作業に膨大な作業工数を用してしまいうといった問題点があった。
【０００４】
本発明は、上記課題に鑑みて為されたものであり、ある分野について記載された文を分類するための機械学習用データから、他の分野について記載された文を分類するための機械学習用データを生成することを可能にする技術を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、１または複数の単語を含む機械学習用データが入力される入力手段と、前記入力手段へ入力された機械学習用データに含まれている１または複数の単語の各々について、所定の分野について記載された複数の文中での出現頻度を特定する特定手段と、前記特定手段によって特定された出現頻度が所定の閾値を超えているか否かを判定する判定手段と、前記入力手段へ入力された機械学習用データから、前記特定手段によって特定された出現頻度が前記所定の閾値以下であると前記判定手段によって判定された単語を削除して出力する出力手段と、を有するデータ処理装置を提供する。このようなデータ処理装置によれば、１または複数の単語を含む機械学習用データが入力されると、その機械学習用データに含まれている１または複数の単語のうちから、所定の分野について記載された複数の文中での出現頻度が所定の閾値以下である単語を削除した機械学習用データが出力される。このため、上記閾値に適切な値を設定しておけば、上記所定の分野について記載された文中での出現頻度が高い単語のみを含んだ機械学習用データが上記データ処理装置から出力される。
【０００６】
より好ましい態様においては、前記所定の分野について記載された複数の文から抽出された単語毎に該複数の文中での出現頻度を表すデータが記憶された記憶手段を備え、前記特定手段は、前記入力手段へ入力される機械学習用データに含まれている１または複数の単語の各々について、前記所定の分野について記載された複数の文中での出現頻度を前記記憶手段の記憶内容を参照して特定することを特徴とする。このような態様にあっては、上記入力手段へ入力された機械学習用データに含まれている１または複数の単語の各々について、上記記憶手段の記憶内容を参照して上記複数の文中での出現頻度が特定される。
【０００７】
また、別の好ましい態様においては、前記所定の分野について記載された複数の文の各々を表す文データが記憶された記憶手段を備え、前記特定手段は、前記入力手段へ入力された機械学習用データに含まれている１または複数の単語の各々について、前記所定の分野について記載された複数の文中での出現頻度を前記記憶手段の記憶内容を参照して特定することを特徴とする。このような態様にあっても、上記入力手段へ入力された機械学習用データに含まれている１または複数の単語の各々について、上記記憶手段の記憶内容を参照して上記複数の文中での出現頻度が特定される。
【０００８】
より好ましい態様においては、前記記憶手段に記憶されている文データの表す文に含まれている単語を抽出し、各文データ毎に単語の集合を生成する生成手段を備え、前記出力手段は、前記特定手段によって特定された出現頻度が前記所定の閾値を超えていると前記判定手段によって判定された単語について、その単語と、前記入力手段へ入力された機械学習用データにその単語とともに含まれている単語と、からなる集合が前記生成手段により生成された集合の何れとも類似しない場合には、その単語をその機械学習用データから削除して出力することを特徴とする。このような態様にあっては、上記所定の分野について記載された文中での出現頻度が高くても、共に用いられる単語が類似していないことを根拠に異なる意味の単語であると推測される単語を削除することが可能になる。
【０００９】
より好ましい態様においては、前記入力手段へ入力される機械学習用データは、前記所定の分野とは異なる分野向けに作成されているとともに、該異なる分野についての専門用語が複数記憶された記憶手段を備え、前記出力手段は、前記特定手段によって特定された出現頻度が前記所定の閾値を超えていると前記判定手段によって判定された単語について、前記記憶手段に記憶されている専門用語と一致する場合には、前記入力手段へ入力された機械学習用データからその単語を削除して出力することを特徴とする。このような態様にあっては、入力された機械学習用データから、その機械学習用データの属する分野における専門用語を表す単語が削除されて出力される。
【００１０】
また、別の好ましい態様においては、分野を問わずに一般に利用される用語である一般用語が複数記憶された記憶手段を備え、前記出力手段は、前記特定手段によって特定された出現頻度が前記所定の閾値以下であると判定された単語であっても、前記記憶手段に記憶されている一般用語と一致する場合には、前記入力手段へ入力された機械学習用データからその単語を削除せずに出力することを特徴とする。このような態様にあっては、入力された機械学習用データに含まれている１または複数の単語のうち、一般用語である単語については削除されることなくその機械学習用データが出力される。
【００１１】
また、上記課題を解決するために、本発明は、コンピュータ装置に、１または複数の単語を含む機械学習用データが入力された場合に、その機械学習用データに含まれている１または複数の単語の各々について、所定の分野について記載された複数の文中での出現頻度を特定する第１の処理と、前記第１の処理によって特定された出現頻度が所定の閾値を超えているか否かを判定する第２の処理と、前記入力された機械学習用データから、前記第１の処理にて特定された出現頻度が前記所定の閾値以下であると前記第２の処理にて判定された単語を削除して出力する第３の処理とを実行させるプログラムを提供する。また、本発明の別の態様にあっては、コンピュータ装置読み取り可能な記録媒体に上記プログラムを書き込んで提供する、としても良い。このようなプログラムによれば、係るプログラムにしたがってコンピュータ装置を作動させることによって、そのコンピュータ装置に機械学習用データが入力された場合に、その機械学習用データに含まれている１または複数の単語のうちから、所定の分野について記載された複数の文中での出現頻度が上記閾値以下である単語を削除した機械学習用データが出力される。
【発明の効果】
【００１２】
本発明によれば、ある分野向けに作成された機械学習用データから、他の分野向けの機械学習用データを生成することが可能になる、といった効果を奏する。また、本発明によれば、機械学習用データを作成する際に必須であった人手による分類作業を行う必要がないため、機械学習用データの作成に要する作業工数を削減させることが可能になる、といった効果も奏する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しつつ本発明を実施する際の最良の形態について説明する。
（Ａ：構成）
（Ａ−１：システム構成）
図１は、本発明の１実施形態に係るコンピュータシステム１０の構成例を示すブロック図である。図１に示されているように、このコンピュータシステム１０は、例えばハードディスクである記憶装置１００および記憶装置２００と、これら２つの記憶装置に接続されたデータ処理装置３００と、を含んでいる。
【００１４】
図１の記憶装置１００には、ある特定の分野についての記載内容を有する文を前述したＳＶＭアルゴリズムにしたがって分類する際に用いられる機械学習用データが記憶されている。本実施形態では、記憶装置１００には、ある特定の企業（以下、「企業Ａ」とする）で利用されている文書に記載されている文のうち、何らかの金額を表す文字列を含んでいる文をその金額の勘定項目（例えば、「交通費」や「宿泊費」、「物品購入費」など）毎に分類するための機械学習用データが記憶されている。
【００１５】
図２は、記憶装置１００に記憶されている機械学習用データの一例を示す図である。図２に示すように、この機械学習用データには、上記勘定項目を示す文字列である分類データと、その勘定項目に属する金額表現とともに用いられる頻度が高い単語（名詞、記号または略号、以下、「素性」ともいう）を表す１または複数の素性データとが含まれている。例えば、図２（ａ）は「東京から名古屋までの新幹線の特急料金として７９８０円を請求します」という文に基づいて生成された機械学習用データである。この機械学習用データには、図２（ａ）に示すように、上記の文に含まれている金額表現（すなわち、“７９８０円”）の分類が“交通費”であることを表す分類データと、その文に含まれている名詞（“東京”、“名古屋”、“新幹線”、“特急”、“料金”および“請求”）がその文（または、その文に含まれている金額表現）の特徴を表す素性データとして含まれている。
【００１６】
そして、記憶装置１００に記憶されている機械学習用データは、以下に述べる２つのグループに分けることができる。第１に、一般的な単語を表す素性データのみを含んでいる機械学習用データのグループであり、この第１のグループに属する機械学習用データの一例としては、図２（ａ）、図２（ｂ）および図２（ｃ）に示す機械学習用データが挙げられる。これに対して、第２のグループに属する機械学習用データには、上記企業Ａ内でのみ利用されている単語を表す素性データが含まれている。この第２のグループに属する機械学習用データの一例としては、図２（ｄ）および図２（ｅ）に示す機械学習用データが挙げられる。例えば、上記第２のグループに属している機械学習用データに含まれている素性データのうち、「○○」は企業Ａが開発している製品のコードネームであり、「△△」は企業Ａにて利用されているコンピュータシステムのシステム名である。また、図２の「××」は、企業Ａが遂行しているプロジェクトのプロジェクト名である。
【００１７】
このように、記憶装置１００に記憶されている機械学習用データの中には、上記企業Ａ内でのみ利用されている単語（つまり、図２の、「○○」や「△△」、「××」）を表す素性データを含んでいるものがある。このため、企業Ａとは異なる企業Ｂにて利用されている文書に記載されている文のうち、何らかの金額を表す文字列を含んでいる文を、記憶装置１００に記憶されている機械学習用データをそのまま用いて分類したとしても、誤った分類が為される虞がある。そこで、図１に示すコンピュータシステム１０では、記憶装置１００に記憶されている機械学習用データを、企業Ｂでの利用が可能な機械学習用データに変換して記憶装置２００へ出力する処理をデータ処理装置３００に行わせるようになっている。以下では、データ処理装置３００を中心に説明する。
【００１８】
（Ａ−２：データ処理装置３００の構成）
まず、図３を参照しつつデータ処理装置３００の構成について説明する。
図３は、データ処理装置３００のハードウェア構成の一例を示すブロック図である。図３に示すように、このデータ処理装置３００は、制御部３１０と、インタフェイス部３２０と、記憶部３３０と、これら構成要素間のデータ授受を仲介するバス３４０と、を備えている。
【００１９】
制御部３１０は、例えばＣＰＵ（Central Processing Unit）であり、後述する記憶部３３０に記憶されている各種ソフトウェアを実行することによって、データ処理装置３００の各部を制御するものである。インタフェイス部３２０は、記憶装置１００や記憶装置２００に接続されており、これら記憶装置と制御部３１０との間のデータ授受を仲介するためのものである。より詳細に説明すると、このインタフェイス部３２０は、制御部３１０からの指示に応じて記憶装置２００からデータを読み出し、そのデータを制御部３１０へ引渡すとともに、制御部３１０から引渡されたデータを制御部３１０からの指示に応じて記憶装置２００へ出力し記憶させることができる。
【００２０】
記憶部３３０は、図３に示されているように、揮発性記憶部３３０ａと不揮発性記憶部３３０ｂとを含んでいる。揮発性記憶部３３０ａは、例えばＲＡＭ（Random Access Memory）であり、後述する各種ソフトウェアにしたがって作動している制御部３１０によってワークエリアとして利用される。一方、不揮発性記憶部３３０ｂは、例えば、ハードディスクであり、各種データや各種ソフトウェアが格納されている。
【００２１】
不揮発性記憶部３３０ｂに格納されているデータの一例としては、図４に示す出現頻度辞書が挙げられる。図４に示すように、この出現頻度辞書には、単語を表す文字列と、所定の分野について記載された複数の文中でのその単語の出現頻度を表す値とが各単語毎に登録されている。この出現頻度辞書は、以下のようにして生成される。まず、所定の分野について記載された複数の文の各々について、各文を構成している単語を形態素解析などにより抽出する。その結果、Ｎｗ個の単語が抽出されたとすると、それら単語ｎ（ｎ＝１、２…Ｎｗ）の各々について上記複数の文中での出現頻度Ｗｎ（ｎ＝１、２…Ｎｗ）を集計し、各単語を表す文字列にその出現頻度の値とを対応付けて不揮発性記憶部３３０ｂへ書き込むことによって上記出現頻度辞書が生成される。本実施形態では、上記企業Ｂにて用いられている複数の文に基づいて生成された出現頻度辞書が不揮発性記憶部３３０ｂに格納されている。詳細については後述するが、この出現頻度辞書は、記憶装置１００に記憶されている機械学習用データから企業Ｂでの出現頻度が低い単語を表す素性データを削除して、企業Ｂ向けの機械学習用データを生成する際に用いられる。
【００２２】
一方、不揮発性記憶部３３０ｂに格納されているソフトウェアの一例としては、オペレーティングシステム（Operating System 以下、「ＯＳ」）を制御部３１０に実現させるためのＯＳソフトウェアや、データ変換ソフトウェアが挙げられる。ここで、データ変換ソフトウェアとは、既に作成済みの機械学習用データを上記出現頻度辞書を参照して他の分野向けの機械学習用データに変換して出力する処理を制御部３１０に実行させるためのソフトウェアである。以下、これらソフトウェアを実行することによって制御部３１０に付与される機能について説明する。
【００２３】
データ処理装置３００の電源（図示省略）が投入されると、制御部３１０は、まず、ＯＳソフトウェアを不揮発性記憶部３３０ｂから読み出し、これを実行する。ＯＳソフトウェアにしたがって作動しＯＳを実現している状態の制御部３１０には、データ処理装置３００の各部を制御する機能や、他のソフトウェアを不揮発性記憶部３３０ｂから読み出して実行する機能などが付与される。本実施形態では、上記ＯＳソフトウェアの実行を完了し、ＯＳを実現している状態の制御部３１０は、即座に、上記データ変換ソフトウェアを不揮発性記憶部３３０ｂから読み出し、これを実行する。このデータ変換ソフトウェアにしたがって作動している制御部３１０には、以下に述べる３つの機能が付与される。
【００２４】
第１に、インタフェイス部３２０を介して入力された機械学習用データに含まれている素性データの各々について、所定の分野について記載された複数の文中での出現頻度を特定する特定機能である。本実施形態では、制御部３１０は、インタフェイス部３２０を介して入力された機械学習用データに含まれている素性データの表す単語について、企業Ｂ内で利用されている文中での出現頻度を上記出現頻度辞書を参照して特定する。第２に、上記特定機能によって特定された出現頻度が所定の閾値を超えているか否かを判定する判定機能である。そして、第３に、上記機械学習用データから、上記特定機能によって特定された出現頻度が上記所定の閾値以下であると上記判定機能によって判定された単語を削除してインタフェイス部３２０を介して記憶装置２００へ出力する出力機能である。
【００２５】
以上に説明したように、本実施形態に係るデータ処理装置３００のハードウェア構成は一般的なコンピュータ装置と同一であり、不揮発性記憶部３３０ｂに格納されている各種ソフトウェアにしたがって制御部３１０を作動させることによって、本発明に係るデータ処理装置に特有な機能が実現される。このように、本実施形態では、本発明に係るデータ処理装置に特有な機能をソフトウェアモジュールで実現する場合について説明したが、これらの機能を担っているハードウェアモジュールで本発明に係るデータ処理装置を構成するとしても良いことは勿論である。具体的には、既存の機械学習用データが入力される入力手段と、上記特定機能を担っている特定手段と、上記判定機能を担っている判定手段と、上記出力機能を担っている出力手段と、を夫々ハードウェアモジュールで実現し、これらハードウェアモジュールを組み合わせて、本発明に係るデータ処理装置を構成するとしても良い。
【００２６】
（Ｂ：動作）
次いで、データ処理装置３００が行う動作のうち、本発明に係るデータ処理装置の特徴を顕著に示す動作について図を参照しつつ説明する。なお、以下に説明する動作例では、その前提として、図２に示す機械学習用データ（すなわち、企業Ａ向けに作成された機械学習用データ）が記憶装置１００に記憶されているとともに、企業Ｂにて用いられている複数の文書に基づいて生成された出現頻度辞書がデータ処理装置３００の不揮発性記憶部３３０ｂに格納されているものとする。そして、この出現頻度辞書には、図２の第１のグループに属する機械学習用データに含まれている素性データの表す単語（例えば、「東京」、「新幹線」など）は全て登録されているものの、「○○」や「△△」、「××」など図２の第２のグループに属する機械学習用データに含まれている素性データの表す単語のなかには登録されていないものもある。これら「○○」や「△△」、「××」は、企業Ａ内でのみ用いられている単語だからである。
【００２７】
上記データ変換ソフトウェアにしたがって作動している制御部３１０は、まず、記憶装置１００に記憶されている機械学習用データを１つづつ読み出すことをインタフェイス部３２０へ指示し、このインタフェイス部３２０を介して機械学習用データが入力されると、図５に示すフローチャートにしたがった処理を行う。
【００２８】
図５は、インタフェイス部３２０を介して機械学習用データが入力された場合に、制御部３１０が行うデータ変換処理の流れを示すフローチャートである。図５に示すように、制御部３１０は、まず、インタフェイス部３２０を介して入力された機械学習用データを揮発性記憶部３３０ａに書き込む（ステップＳＡ１）。そして、制御部３１０は、揮発性記憶部３３０ａに記憶されている機械学習用データに含まれている素性データの各々の表す素性（すなわち、単語）の出現頻度を出現頻度辞書を参照して特定する（ステップＳＡ２）。具体的には、制御部３１０は、上記素性データの表す単語と同一の単語が上記出現頻度辞書に登録されている場合には、その単語に対応付けて出現頻度辞書に登録されている値をその素性の出現頻度を表す値として特定する。逆に、その素性データの表す単語が上記出現頻度辞書に登録されていない場合には、制御部３１０は、企業Ｂではその単語が全く利用されていないことを表す値（例えば、“０”）をその単語の出現頻度を表す値として特定する。例えば、企業Ａ内でのみ用いられている単語である「○○」や「△△」、「××」については、上記出現頻度辞書に該当する単語が登録されていないため、その出現頻度を表す値として“０”が特定される。
【００２９】
次いで、制御部３１０は、揮発性記憶部３３０ａに記憶されている機械学習用データに含まれている素性データの全てについて、上記ステップＳＡ２にて特定した出現頻度の値が所定の閾値を超えている否かを判定する（ステップＳＡ３）。そして、制御部３１０は、上記ステップＳＡ３の判定結果が“Ｎｏ”である場合には、後述するステップＳＡ４の処理を実行し、逆に、上記ステップＳＡ３の判定結果が“Ｙｅｓ”である場合には、後述するステップＳＡ５の処理を実行する。なお、以下では、図２の第１のグループに属する機械学習用データについては、上記ステップＳＡ３の判定結果は“Ｙｅｓ”になるものとする。これに対して、「○○」や「△△」、「××」などの単語を表す素性データについては、上記ステップＳＡ２にてその出現頻度を表す値として“０”が特定されるため、これらの素性データを含む機械学習用データ（すなわち、図２の第２のグループに属する機械学習用データ）については、上記ステップＳＡ３の判定結果は“Ｎｏ”になる。
【００３０】
上記ステップＳＡ３の判定結果が“Ｎｏ”である場合に後続して実行されるステップＳＡ４では、制御部３１０は、揮発性記憶部３３０ａに記憶されている機械学習用データから、ステップＳＡ２にて特定した出現頻度の値が上記閾値以下である素性データを全て削除する。例えば、図２の第２のグループに属する機械学習用データについては、「○○」や「△△」、「××」などの単語を表す素性データが削除される。そして、ステップＳＡ３の判定結果が“Ｙｅｓ”である場合、または、上記ステップＳＡ４に後続して実行されるステップＳＡ５では、制御部３１０は、揮発性記憶部３３０ａに記憶されている機械学習用データをインタフェイス部３２０を介して出力し、その機械学習用データを記憶装置２００に記憶させる。なお、ステップＳＡ５にて、揮発性記憶部３３０ａに記憶されている機械学習用データに素性データが１つも含まれていない場合には、その機械学習用データを記憶装置２００へ出力しないようにしても良いことは勿論である。
【００３１】
以降、制御部３１０は、記憶装置１００に記憶されている全ての機械学習用データについて、上記ステップＳＡ１からステップＳＡ５の処理を繰り返し実行する。その結果、記憶装置２００には、図６に示す機械学習用データが記憶されることになる。図２に示す機械学習用データとの比較から明らかなように、図６に示す機械学習用データには、企業Ａ内でのみ用いられていた単語を表す素性データは含まれておらず、一般的な単語を表す素性データのみが含まれている。このように、本実施形態に係るデータ処理装置によれば、ある特定の企業向けに作成された機械学習用データから、他の企業向けの機械学習用データを生成することが可能になる。
【００３２】
（Ｃ：変形例）
以上、本発明の１実施形態について説明したが、係る実施形態を以下のように変形しても良いことは勿論である。
（Ｃ−１：変形例１）
上述した実施形態では、記憶装置１００および２００とデータ処理装置３００とを夫々個別のハードウェアで実現する場合について説明したが、同一のハードウェアで実現するとしても勿論良い。具体的には、データ処理装置３００の不揮発性記憶部３３０ｂに、出現頻度辞書の他に、作成済みの機械学習用データを記憶させておくとともに、新たに生成した機械学習用データもその不揮発性記憶部３３０ｂへ出力するようにすれば良い。
【００３３】
（Ｃ−２：変形例２）
上述した実施形態では、ある企業Ａ向けに作成された機械学習用データから、その企業Ａとは異なる企業Ｂ向けの機械学習用データを生成する場合について説明した。しかしながら、既存の機械学習用データが、ある分野（以下、分野１）について記載された複数の文の各々についての分類結果と各文の特徴を表す素性データとを含んでおり、さらに、その分野１とは異なる分野（以下、分野２）について記載された複数の文に含まれている各単語のそれら複数の文中での出現頻度に基づいて、上記機械学習用データを更新して新たな機械学習用データを生成する態様であれば、分野１や分野２はどのような分野であっても構わないことは勿論である。
【００３４】
（Ｃ−３：変形例３）
上述した実施形態では、既存の機械学習用データに含まれている１または複数の単語の各々について、所定の分野について記載された複数の文中での出現頻度をデータ処理装置に特定させるための出現頻度辞書がデータ処理装置に記憶されている場合について説明した。しかしながら、上記出現頻度辞書を生成する際に用いられるデータ（すなわち、上記複数の文の各々を表す文データ）を不揮発性記憶部３３０ｂに記憶させておき、それら文データの表す文中での出現頻度をその都度算出させるようにしても良い。
【００３５】
（Ｃ−４：変形例４）
上述した実施形態では、既存の機械学習用データに含まれている１または複数の単語の各々について、所定の分野について記載された複数の文中での出現頻度を特定し、その出現頻度が所定の閾値以下である単語をその機械学習用データから削除する場合について説明した。しかしながら、既存の機械学習用データにその機械学習用データの属する分野における専門用語である単語が含まれている場合には、その単語の出現頻度に拘わらず削除するとしても良い。このようなことは、以下のようにして実現される。すなわち、データ記憶装置の不揮発性記憶部に、上記既存の機械学習用データの属する分野についての専門用語を表すデータ（例えば、その専門用語に対応する文字列データ、以下、専門用語データ）を予め記憶させておく。そして、上記不揮発性記憶部３３０ｂに記憶されている専門用語データの表す文字列と一致する単語については、所定の分野について記載された複数の文中での出現頻度が上記所定の閾値を超えている場合であっても機械学習用データから削除させるようにすれば良い。このようにすると、以下に述べるような効果を奏する。すなわち、上述の如き専門用語が上記所定の分野において別の意味で頻繁に用いられている場合（すなわち、上記所定の分野における出現頻度が高い場合）に、上記所定の分野内での出現頻度のみを根拠に機械学習用データからの削除を行わないようにしてしまうと、誤った機械学習用データが生成されてしまう虞がある。しかしながら、本変形例に係る態様であれば、上述の如き専門用語は確実に削除されるため、誤った機械学習用データが生成されることがない、といった効果を奏する。
【００３６】
また、既存の機械学習用データに含まれている単語が一般用語である場合には、その単語の出現頻度が上記閾値以下であっても削除しないようにするとしても良い。このようなことは、上述の如き一般用語を表すデータ（例えば、その一般用語に対応する文字列データ、以下、一般用語データ）を不揮発性記憶部３３０ｂに予め記憶させておくとともに、その一般用語データの表す文字列と一致する単語については、所定の分野について記載された複数の文中での出現頻度が上記所定の閾値以下であっても、機械学習用データから削除しないようにすれば良い。
【００３７】
（Ｃ−５：変形例５）
上述した実施形態では、既存の機械学習用データに含まれている１または複数の単語の各々について、所定の分野について記載された複数の文中での出現頻度を特定し、その出現頻度が所定の閾値以下である単語をその機械学習用データから削除する場合について説明した。しかしながら、係る出現頻度が上記閾値を超えている場合であっても、その単語が上記所定の分野において異なる意味で用いられている場合には、係る単語をそのまま機械学習用データに残しておくことは好ましくない。そこで、上記出現頻度が高い単語であっても上記所定の分野における意味が異なっていると推定される単語については、機械学習用データから削除するようにしても良い。このようなことは以下のようにして実現される。すなわち、上記実施形態にて説明したデータ処理装置の不揮発性記憶部に、上記出現頻度辞書に替えてその出現頻度辞書を生成する際に用いられる複数の文の各々を表す文データを格納しておくとともに、上記各文データの表す文に含まれている単語を抽出し、各文データ毎に単語の集合を生成する生成手段を上記データ処理装置に設けておく。そして、出現頻度が所定の閾値を超えている単語であっても、その単語とその単語とともに機械学習用データに含まれている単語とからなる集合が、上記生成手段により生成された集合の何れとも類似しない場合には、その単語を削除させるようにすれば良い。なお、このような単語の集合同士の類非を判定する手法としては、ベクトル空間法などの周知技術を用いることによって実現される。
【００３８】
（Ｃ−６：変形例６）
上述した実施形態では、既存の機械学習用データから、その機械学習用データの属する分野とは異なる分野に属する機械学習用データを生成する場合について説明した。しかしながら、このようにして生成された機械学習用データをデータ処理装置に記憶させ、その機械学習用データを用いて、そのデータ処理装置に機械学習を行わせるようにしても良いことは勿論である。そして、その機械学習によって新たに分類されたデータのうち、その分類の確度（最尤度）が最も高いデータについての分類結果と、そのデータの特徴を表す素性データとを対応付けて新たな機械学習用データをデータ処理装置に生成させ記憶させるとしても勿論良い。
【００３９】
（Ｃ−７：変形例７）
上述した各実施形態では、本発明に係るデータ処理装置に特有な機能を制御部に実現させるためのソフトウェアを不揮発性記憶部に予め記憶させておく場合について説明した。しかしながら、例えばＣＤ−ＲＯＭ（Compact Disk- Read Only Memory）やＤＶＤ（Digital Versatile Disk）などのコンピュータ装置読み取り可能な記録媒体に、上記ソフトウェアを記録しておき、このような記録媒体を用いて一般的なコンピュータ装置に上記ソフトウェアをインストールするとしても良いことは勿論である。このようにすると、一般的なコンピュータ装置を本発明に係るデータ処理装置として機能させることが可能になるといった効果を奏する。
【図面の簡単な説明】
【００４０】
【図１】本発明の１実施形態に係るデータ処理装置３００を有するコンピュータシステムの全体構成の一例を示す図である。
【図２】同コンピュータシステム１０に含まれている記憶装置１００に記憶されている機械学習用データの一例を示す図である。
【図３】同データ処理装置３００のハードウェア構成の一例を示す図である。
【図４】同データ処理装置３００の不揮発性記憶部３３０ｂに記憶されている出現頻度辞書のデータフォーマットを表す図である。
【図５】同データ処理装置３００の制御部３１０がデータ変換ソフトウェアにしたがって行うデータ変換処理の流れを示すフローチャートである。
【図６】同データ処理装置３００によって記憶装置２００へ書き込まれる機械学習用データの一例を示す図である。
【符号の説明】
【００４１】
１０…コンピュータシステム、１００，２００…記憶装置、３００…データ処理装置、３１０…制御部、３２０…インタフェイス部、３３０…記憶部、３３０ａ…揮発性記憶部、３３０ｂ…不揮発性記憶部、３４０…バス。
【図１】
2006092198.tif 000003
【図２】
2006092198.tif 000004
【図３】
2006092198.tif 000005
【図４】
2006092198.tif 000006
【図５】
2006092198.tif 000007
【図６】
2006092198.tif 000008