(57)【要約】【課題】適切に文書解析を行うための辞書を作成することが可能となる技術を提供する。【解決手段】  検索エンジン１０８に登録された単語付文書データ表６００から単語付文書データを取得して、当該データ内の単語の特徴量を計算し、特徴量が一定値以上の単語を選定する。そして、選定した単語の周辺文字列をランダムに選択した文書データから取得して正規表現を生成し、当該正規表現にマッチする文書の割合が一定値以上であれば、当該周辺文字列を定型句の候補として登録する。【選択図】  図１２
2020190975.tif 000002
【特許請求の範囲】
【請求項１】
複数の文書を分析する情報処理装置であって、
前記複数の文書から特徴語を抽出する抽出手段と、
前記抽出手段によって文書から抽出した特徴語の周辺の情報を取得する取得手段と、
前記特徴語の抽出を行った文書とは異なる文書に前記取得した特徴語の周辺の情報が含まれるかに基づいて、当該特徴語の周辺の情報を記憶する記憶手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記抽出手段は、前記文書の傾向を掴むために有効な情報ごとに特徴語を抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記文書の傾向を掴むために有効な情報が当該文書の作成者であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記文書の傾向を掴むために有効な情報がメールの送信者であることを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記記憶手段は、前記特徴語の周辺の情報が所定数以上含まれるかに基づいて、当該特徴語の周辺の情報を記憶することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記取得手段によって取得した特徴語の周辺の情報から正規表現を生成する生成手段を備え、
前記記憶手段は、前記特徴語の抽出を行った文書とは異なる文書に前記生成手段によって生成した正規表現が含まれるかに基づいて、当該正規表現の情報を記憶することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記取得手段は、ランダムに選択した文書から抽出した特徴語の周辺情報を取得することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記取得手段は、ランダムに所定回数選択した文書から抽出した特徴語の周辺情報を取得することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
文書から前記記憶手段に記憶された特徴語の周辺の情報を除いて当該文書の分析を行う分析手段を備えたことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
複数の文書を分析する情報処理装置の制御方法であって、
前記情報処理装置は、
前記複数の文書から特徴語を抽出する抽出ステップと、
前記抽出ステップによって文書から抽出した特徴語の周辺の情報を取得する取得ステップと、
前記特徴語の抽出を行った文書とは異なる文書に前記取得した特徴語の周辺の情報が含まれるかに基づいて、当該特徴語の周辺の情報を記憶する記憶ステップと、
を実行することを特徴とする情報処理装置の制御方法。
【請求項１１】
コンピュータを、
複数の文書から特徴語を抽出する抽出手段と、
前記抽出手段によって文書から抽出した特徴語の周辺の情報を取得する取得手段と、
前記特徴語の抽出を行った文書とは異なる文書に前記取得した特徴語の周辺の情報が含まれるかに基づいて、当該特徴語の周辺の情報を記憶する記憶手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書の解析方法に関する。
【背景技術】
【０００２】
近年、テキストデータに対して、単語の出現頻度や相関関係などの解析を行い、分析者が知見を得ることを支援する、テキストマイニングの技術が発展している。
【０００３】
テキストマイニングにおける基本的な解析として、テキストから単語を抽出して集計するというものがあり、集計結果は、単語の頻度ランキングなどの形式で可視化することが可能である。
【０００４】
また、このようなテキストマイニングにおいては、不要な単語や句による集計のノイズを除去することが重要である。
【０００５】
例えば、文書データ中に挨拶や文書の記入日時など、定型的な表現が毎回記入されているとする。
【０００６】
そのとき、定型的な表現中の単語は頻度が高くなり、ランキングの上位に現れる。このような単語は、分析者が知見を得る際にはほとんど役に立たず、分析においてノイズとなる。
【０００７】
テキストマイニングや他のテキスト解析の技術では、不要な単語（不要語）を処理の対象外にすることは、一般的に行われる。
【０００８】
例えば、単語の頻度ランキングを作る際に、不要語をランキングの対象外にすることが行われているが、不要語の判定は事前に作成した不要語辞書を用いることが一般的である。
【０００９】
また、不要語を自動的に選択する技術があり、例えば、文書を入力して類似の文書を検索するタスクにおいて、精度向上のために不要語を自動選択する技術が存在する（例えば、特許文献１参照）。
【００１０】
具体的には、文書データにおける出現頻度等の基準値を用いて、当該基準値より大きい値を有する単語を不要語として選定し、文書と文書の類似度を計算する際に、不要語と選定された単語を除外して計算を行う。
【００１１】
また、形態素解析や単語抽出の処理を行う際に、前処理としてテキスト中から不要な部分を除去する処理が一般的に行われている（例えば、特許文献２参照）。
【００１２】
具体的には、ＳＧＭＬなどの文書記述言語を含むテキストに対して、文書記述言語を除いた部分の形態素解析を行う手法が提案されており、テキスト中の文書記述言語を認識するために、文書記述言語である文字列を登録した制御情報辞書を用いている。
【００１３】
さらに、集計のノイズとなる定型部の影響を除去する技術が存在する（例えば、特許文献３参照）。
【００１４】
具体的には、文書データを５０件程度ランダムに選択して、それらの文書データ中で定型部を指定し、それらの定型部内で、単語の平均頻度を求め、各文書から当該単語の出現回数から平均頻度を減算してから集計を行うことで定型部の影響を除去している。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開平１１−２５９５１５号公報
【特許文献２】特開平９−１６５９４号公報
【特許文献３】特開２０１０−３９６７１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、特許文献１に記載の技術では、不要語を単語頻度ランキングから除外する場合、集計したい単語の出現と集計したくない単語の出現が区別できず、全て除外してしまうという問題がある。
【００１７】
例えば、顧客からの問い合せを要約した文書を分析することを考える。このとき、ほとんどの文書に「時刻：  ９月２０日  １２：３０」などの、問い合せを受けた時刻を示す定型句が出現する場合、ここに含まれる単語「時刻」は集計から除外したい。
【００１８】
一方で、「本体の時刻が大きくずれている」という文書に含まれる「時刻」は、分析において有益になりうるため、集計の対象にしたいが、「時刻」を不要語としてしまうと、全ての「時刻」の出現が集計対象外となってしまう。
【００１９】
このように、単語を集計する際、除外する単語出現と除外しない単語出現を区別したいという課題がある。
【００２０】
特許文献２の技術では、形態素解析や単語抽出の対象外とする句を、辞書を用いて判定することができる。ここでは、単語抽出の対象外にする句を定型句と呼ぶことにする。
【００２１】
定型句辞書を用いて定型句を除外すれば、除外する単語出現と除外しない単語出現を区別することが可能となるが、定型句辞書を人手で作成するのは、辞書編集者の負担が大きいという問題がある。
【００２２】
特許文献３の技術では、比較的少ない人手の作業量で、定型句の影響を除去した単語頻度ランキングを作成できる。
【００２３】
ただし、ランダムに選択した文書とそれ以外の文書で定型句内の単語分布が異なる場合、ランキングに表示される単語頻度と期待される頻度が異なる値になるという問題がある。
【００２４】
また、特許文献３の技術を用いると、単語頻度ランキングが単語出現回数を正確に表したものでなくなり、ランキングの解釈が難しくなる。
【００２５】
定型句辞書を用いる方式であれば、定型句の影響を除去するため基準を簡潔に示すことができる。
【００２６】
本発明では、適切な文書解析を行うための辞書を作成することが可能な仕組みを提供する。
【課題を解決するための手段】
【００２７】
上記課題を解決するための本発明は、複数の文書を分析する情報処理装置であって、前記複数の文書から特徴語を抽出する抽出手段と、前記抽出手段によって文書から抽出した特徴語の周辺の情報を取得する取得手段と、前記特徴語の抽出を行った文書とは異なる文書に前記取得した特徴語の周辺の情報が含まれるかに基づいて、当該特徴語の周辺の情報を記憶する記憶手段と、を備えたことを特徴とする。
【発明の効果】
【００２８】
本発明によれば、適切な文書解析を行うための辞書を作成することができる。
【図面の簡単な説明】
【００２９】
【図１】情報処理システムのシステム構成の一例を示す図である。
【図２】情報処理装置、ファイルサーバ、ＤＢサーバ、分析者端末、及び辞書編集者端末に適用可能なハードウェア構成の一例を示すブロック図である。
【図３】文書データ表の一例を示す図である。
【図４】項目型定義表の一例を示す図である。
【図５】定型句表の一例を示す図である。
【図６】単語付文書データ表の一例を示す図である。
【図７】単語ランキングの一例を示す図である。
【図８】定型句辞書編集画面の一例を示す図である。
【図９】単語抽出処理の一例を示すフローチャートである。
【図１０】項目特徴語計算処理の一例を示すフローチャートである。
【図１１】項目特徴語表の一例を示す図である。
【図１２】定型句候補生成処理の一例を示すフローチャートである。
【図１３】定型句候補生成処理の具体例の概要を示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００３１】
図１は、本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。尚、各装置の機能については、後述するフローチャートと合わせて説明を行う。
【００３２】
情報処理システムは、情報処理装置１００、ファイルサーバ１０１、ＤＢサーバ１０２、分析者端末１０３、及び辞書編集者端末１０４が通信可能なように接続されて構成されている。
【００３３】
情報処理装置１００は、項目特徴語計算部１０５、定型句候補生成部１０６、単語抽出部１０７、及び検索エンジン１０８を備えている。尚、検索エンジン１０８は、情報処理装置１００とは別の装置に備える構成であっても良い。
【００３４】
項目特徴語計算部１０５は、検索エンジン１０８から文書データを取得して、特徴語に関する表を作成し、定型句候補生成部１０６に渡す。
【００３５】
定型句候補生成部１０６は、項目特徴語計算部１０５から特徴語に関する表を取得し、検索エンジン１０８から文書データを取得して定型句候補を作成し、定型句候補保存部１１１に登録する。
【００３６】
単語抽出部１０７は、文書データ保存部１１２、項目型定義保存部１０９、及び定型句保存部１１０に保存されたデータを取得し、文書データ表３００の文書から単語抽出を行う。
【００３７】
その単語抽出結果を検索エンジン１０８に単語付文書データ表（図６参照）として登録する。
【００３８】
図６には、単語付文書データ表の一例が示されており、単語付文書データ表６００は、文書データ表３００に単語を追加したものである。単語は、テキスト型項目から抽出した単語を示している。
【００３９】
単語抽出部１０７は、前述した処理を定期的に（例えば毎日０時に１回）自動で行うことができる。
【００４０】
検索エンジン１０８は一般的な検索と集計の機能を持っている。単語を検索クエリで指定すると、その単語を含む単語付文書データを単語付文書データ表６００から取得し、また、カテゴリカル型項目と項目値を検索クエリで指定すると、クエリの項目及び項目値と一致する単語付文書データを単語付文書データ表６００から取得する。また、単語付文書データを全件取得することもできる。
【００４１】
さらに、そうして取得した単語付文書データに含まれる、単語の延べ出現回数やカテゴリカル型項目の出現回数をカウントし、ランキング形式で出力することもできる。尚、検索エンジン１０８には項目の型定義の情報も保存する。
【００４２】
ファイルサーバ１０１は、文書データ保存部１１２を備えており、文書データ保存部１１２は、カテゴリに分類可能なカテゴリカル型項目１つ以上とテキスト型項目１つ以上を含む文書データ表（図３参照）に係るデータを保存している。
【００４３】
図３には、文書データ表の一例が示されており、文書データ表３００は、顧客等からの問い合わせが示されたものであり、問い合わせを記入あるいは入力した人のＩＤを示す記入者ＩＤと問い合わせの内容を示す問い合せ要約を含む構成を有している。
【００４４】
尚、文書データ表は、このような顧客等からの問い合わせにかかわらず、商品の評判に関しての投稿文書であったり、あるいは、電子メールのメッセージ内容であったり、分析対象となる文書データであればどのような形態のものでもよい。
【００４５】
ＤＢサーバ１０２は、項目型定義保存部１０９、定型句保存部１１０、及び定型句候補保存部１１１を備えている。
【００４６】
項目型定義保存部１０９は、文書データにおける項目の型を定義する項目型定義表（図４参照）に係るデータを保存している。
【００４７】
図４には、項目型定義表４００の一例が示されており、項目型定義表４００は、項目の名称を示す項目名、文書の型（例えば、カテゴリカル型やテキスト型）の種別を示す型を含む構成を有している。
【００４８】
定型句保存部１１０は、文書データにおける定型句とみなす定型句表（図５参照）を保存している。
【００４９】
図５には、定型句表の一例が示されており、定型句表５００は、定型句とする文字列を示す定型句文字列、定型句の種別（例えば、テキスト、正規表現）を示す定型句種別、文書に特徴が表れやすい項目（例えば、文書の作成者、作成日、文書の送信者（メールアドレス等）を示す有効項目には、文書データのカテゴリカル型項目名または無選択を登録する。
【００５０】
有効項目値は、有効項目が無選択の場合には空欄としておき、一方、有効項目に項目名が登録されている場合には、その項目における値を登録する。
【００５１】
定型句候補保存部１１１には、定型句候補表５１０（不図示）が定型句表５００と同じ形式で保存されている。
【００５２】
情報処理装置１００は、検索エンジン１０８から単語付文書データを取得し、定型句候補を生成したうえで、定型句候補保存部１１１に定型句候補表５１０を保存する。
【００５３】
情報処理装置１００は、前述の処理を定期的に（例えば毎日１時に１回）自動で行うことができる。
【００５４】
分析者端末１０３は、検索エンジン１０８から取得した単語ランキング（図７参照）が表示される。
【００５５】
図７には、単語ランキングの一例が示されており、単語ランキング７００には、単語とその出現頻度（検索エンジン１０８に登録された全ての文書に対する出現頻度）が含まれている。
【００５６】
分析者は単語ランキング７００を閲覧することで、文書データ中にどのような話題が多いか分析することができる。
【００５７】
辞書編集者端末１０４は、定型句辞書編集画面（図８参照）を表示する。
【００５８】
図８には、定型句辞書編集画面の一例が示されており、定型句辞書編集画面８００は、追加する定型句を表示、編集するための定型句追加表示領域８０１、及び定型句候補を表示するための定型句候補表示領域８０２を備えている。
【００５９】
定型句追加表示領域８０１は、定型句の文字列を入力するための定型句入力欄８０３、定型句入力欄８０３に入力された定型句の定型句種別を選択するための定型句種別選択欄８０４、有効項目を選択するための有効項目選択欄８０５、及び有効項目選択欄８０５で選択された有効項目に対する値を入力するための有効項目値入力欄８０６を備えている。
【００６０】
定型句が登録されている定型句辞書の編集者がこれらの項目に対して入力を行った後、定型句追加表示領域８０１に備えられた追加ボタン８０７を押下すると、各項目に入力された定型句データを定型句保存部１１０に登録する。
【００６１】
定型句候補表示領域８０２は、定型句候補保存部１１１から取得した定型句候補表５１０の各項目をそれぞれ表示する。
【００６２】
定型句候補表示領域８０２は、定型句候補の文字列を表示するための定型句表示欄８０８、定型句表示欄８０８に表示された定型句の定型句種別を表示選択するための定型句種別選択欄８０９、有効項目を表示選択するための有効項目選択欄８１０、及び有効項目選択欄８１０で選択された有効項目に対する値を編集するための有効項目値入力欄８１１を備えている。
【００６３】
編集者がこれらの定型句候補に対応する項目に対して入力を行った後、定型句候補表示領域８０２に備えられた追加ボタン８１２を押下すると、各項目に入力された定型句データを定型句保存部１１０に登録する。
【００６４】
これにより、定型句辞書に登録する候補となる定型句候補を、編集者に提示し、編集者は、提示された候補を追加するかどうか選択するだけで、定型句辞書を作成することができるので、編集者の辞書作成の支援をすることが可能である。
【００６５】
図２は、本発明の実施形態における情報処理装置１００、ファイルサーバ１０１、ＤＢサーバ１０２、分析者端末１０３、及び辞書編集者端末１０４のハードウェア構成の一例を示すブロック図である。
【００６６】
尚、ファイルサーバ１０１、ＤＢサーバ１０２、分析者端末１０３、及び辞書編集者端末１０４は、情報処理装置１００と同等の構成を備えるので説明を省略する。
【００６７】
図２に示すように、情報処理装置１００は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、及び通信Ｉ／Ｆコントローラ２０８が接続される。
【００６８】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００６９】
ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
【００７０】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【００７１】
入力コントローラ２０５は、キーボード２０９や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。
【００７２】
入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
【００７３】
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
【００７４】
ビデオコントローラ２０６は、ディスプレイ２１０などの外部出力装置への表示を制御する。
【００７５】
ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。
【００７６】
なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
【００７７】
メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。
【００７８】
通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続、通信するものであり、ネットワークでの通信制御処理を実行する。
【００７９】
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００８０】
次に図９に示すフローチャートを用いて、本発明の実施形態における単語抽出処理について説明する。尚、本処理は、単語抽出部１０７によって処理が実行される。
【００８１】
＜単語抽出処理＞
ステップＳ９０１では、単語抽出部１０７が、文書データ保存部１１２から取得した文書データ表３００に含まれる全ての文書データについて繰り返す処理を開始することを示している。
【００８２】
ステップＳ９０２では、文書データ内のテキスト型項目の値を単語抽出対象テキストとして取り出す。尚、どの項目がテキスト型であるかは、項目型定義表４００を用いて判断する。
【００８３】
ステップＳ９０３では、単語抽出対象テキスト中から定型句表５００に含まれるいずれの定型句にマッチする部分を除去する。
【００８４】
まずは、当該文書データに対して、それぞれの定型句を利用するかどうか判定する。定型句の有効項目が無選択である場合、無条件でその定型句を利用し、定型句の有効項目にカテゴリカル型が指定されている場合、文書データの当該項目の値が、定型句の有効項目値と一致した場合に、その定型句を利用する。それ以外の場合、その定型句は利用しない。
【００８５】
利用すると判定された各定型句について、単語抽出対象テキストからの部分文字列を除去する処理を行う。
【００８６】
定型句種別がテキストである定型句の場合、定型句文字列と完全一致する単語抽出対象テキスト中の部分文字列を除去する。その後、残った文字列を新たな単語抽出対象テキストとする。
【００８７】
定型句種別が正規表現である定型句の場合、定型句文字列を正規表現と解釈し、単語抽出対象テキスト中でその正規表現にマッチする部分文字列を除去する。その後、残った文字列を新たな単語抽出対象テキストとする。
【００８８】
尚、テキストが複数の定型句にマッチしており、それらの定型句文字列に重複があるとき、除去する順番により最終的に残る単語抽出対象テキストが変化する場合がある。
【００８９】
そのため、定型句は優先度を計算できるようにしておき、優先度の降順に除去していく。優先度計算方法の一例としては、以下のようなものがある。
【００９０】
まず、定型句種別がテキストである定型句を正規表現よりも優先度を大きくする。定型句種別が同じ定型句の間では、定型句文字列がより長い定型句の優先度を大きくする。
【００９１】
ステップＳ９０４では、定型句によって除去されなかった単語抽出対象テキストに対して、形態素解析を行い、単語を抽出する。
【００９２】
形態素解析は、公知の形態素解析器により行う。形態素解析した結果の形態素列のうち、品詞が特定の品詞である形態素のみを単語として抽出する。例えば、名詞、動詞、形容詞のみを単語として抽出することができる。
【００９３】
さらに、抽出した単語は単語抽出対象テキストにおける表記ではなく、原形表記に変換してもよい。
【００９４】
ステップＳ９０５では、文書データに抽出された単語を付与し、検索エンジン１０８に単語付文書データ表６００のエントリとして登録する。また、項目の型情報も検索エンジン１０８に登録する。
【００９５】
ステップＳ９０６では、全ての文書データについて処理を実行した場合、本フローチャートの処理を終了する。
【００９６】
一方、未実行の文書データが残っている場合は、未実行の文書データについて処理を行うため、ステップＳ９０１に処理を戻す。
【００９７】
＜単語抽出処理の具体例＞
単語抽出処理の具体例として、文書データ表３００と項目型定義表４００と定型句表５００とが入力された場合の処理について説明する。
【００９８】
文書データ表３００の各文書データについて繰り返し処理を行う（ステップＳ９０１）。
【００９９】
最初の文書データとして、記入者ＩＤがＡＡＡ、問い合せ要約が１０／４  ２０：３０受電＼ｎ  突然映像が映らなくなったため、修理してほしいの文書データが選ばれる。尚、＼ｎは改行コードを表す。以降のテキスト例においても同様である。
【０１００】
この文書データから、単語抽出対象テキストを取り出す（ステップＳ９０２）。
【０１０１】
項目型定義表４００を参照すると、問い合せ要約がテキスト型である。そのため、単語抽出対象テキストは問い合せ要約部分の１０／４  ２０：３０  受電＼ｎ  突然映像が映らなくなったため、修理してほしいとなる。
【０１０２】
この単語抽出対象テキストから、定型句を除去する（ステップＳ９０３）。
【０１０３】
図５の定型句表５００の中で、利用する定型句は２つある。
【０１０４】
１つは有効項目が無選択である、よろしくお願いします。の定型句である。もう１つは、有効項目が記入者ＩＤ、有効項目値が文書データと一致するＡＡＡである、＼ｄ＋／＼ｄ＋  ＼ｄ＋：＼ｄ＋  受電の定型句である。
【０１０５】
なお、正規表現中の＼ｄは、数字１文字にマッチするメタ文字である。また、正規表現中の＋は、直前の１文字を一回以上繰り返すときにマッチするメタ文字である。これらは以降の正規表現例においても同様である。
【０１０６】
これらの定型句を、単語抽出対象テキスト、１０／４  ２０：３０  受電＼ｎ  突然映像が映らなくなったため、修理してほしいから除去する。
【０１０７】
よろしくお願いします。の定型句は、単語抽出対象テキストと一致しないため、何もしない。
【０１０８】
＼ｄ＋／＼ｄ＋ ＼ｄ＋：＼ｄ＋  受電の定型句は、正規表現として解釈すると、単語抽出対象テキスト中の１０／４  ２０：３０  受電の部分にマッチする。
【０１０９】
そのため、その部分を除いた突然映像が映らなくなったため、修理してほしいという文字列を新たな単語抽出対象テキストとする。尚、文字列先頭および末尾にある、改行コードやスペースは除去する。
【０１１０】
こうして残った単語抽出対象テキストから、単語抽出をする（ステップＳ９０４）。
【０１１１】
単語抽出対象テキスト、突然映像が映らなくなったため、修理してほしいに対して形態素解析を行い、名詞、動詞、形容詞を抽出して、原形に変換する処理を行う。その結果、映像、映らない、修理という単語のリストを抽出できる。
【０１１２】
単語抽出結果を、検索エンジン１０８の単語付文書データ表６００に登録する（ステップＳ９０５）。
【０１１３】
元の文書データと抽出した単語を用いて、記入者ＩＤがＡＡＡ、問い合せ要約が１０／４ ２０：３０  受電  ＼ｎ  突然映像が映らなくなったため、修理してほしい、単語が映像、映らない、修理というエントリを登録する。
【０１１４】
さらに、記入者ＩＤはカテゴリカル型であり、問い合せ要約はテキスト型である、という型定義情報も検索エンジン１０８に登録しておく。
【０１１５】
上記の処理を、文書データ表３００の各文書データに対して行う（ステップＳ９０６）。
【０１１６】
以上のようにして、検索エンジン１０８の単語付文書データ表６００が作成される。
【０１１７】
なお、説明の都合上、以降では単語付文書データ表６００の例としては図６を用いる。
【０１１８】
図６は、定型句表５００に何もエントリがなかったときの文書データ表３００からの単語抽出結果である。
【０１１９】
１０／４  ２０：３０  受電などの部分文字列が除去されなかったため、受電などの単語が登録されている。
【０１２０】
＜定型句候補の生成に関する処理概要＞
続いて、定型句候補の生成に関する処理概要を説明する。詳細な処理については、後述する。
【０１２１】
記入者ＩＤがＡＡＡの文書データにおいて、受電という単語が特徴的に出現する場合、受電の周辺の文字列は定型句である可能性が高いと考えられる。
【０１２２】
このように、特定の項目値において特徴的に出現しやすい単語およびその周辺文字列を、定型句候補とみなす。
【０１２３】
処理としては、まず項目特徴語計算部１０５において、特徴語を計算する。特徴語の計算には、特定の項目値において単語がどれだけ特徴的に出現するかを表す、特徴量という指標を用いる。
【０１２４】
この処理により、記入者ＩＤがＡＡＡの文書データでは、特徴量が５．４の特徴語、受電と、特徴量が２．１の特徴語、修理がある、といった結果が得られる。
【０１２５】
その後、定型句候補生成部１０６において、特徴語の周辺文字列から定型句候補を生成する。
【０１２６】
定型句候補の生成には、実際のテキストにおける、受電の周辺の文字列を用いる。例えば、１０／４  ２０：３０  受電  ＼ｎ  突然映像が映らなくなったため、修理してほしいというテキストの受電の周辺の文字列から、＼ｄ＋／＼ｄ＋  ＼ｄ＋：＼ｄ＋  受電という正規表現を生成できる。
【０１２７】
ただし、自動生成した正規表現には、定型句としてふさわしくないものも含まれる。
そのため、正規表現がマッチする文書データの割合によって、正規表現が定型句候補としてふさわしいかどうかの判定を行う。
【０１２８】
正規表現を定型句にするかどうか、最終的には辞書編集者の判断にゆだねる。定型句候補は定型句候補保存部１１１に登録して辞書編集者端末１０４に表示できるようにしておき、辞書編集者が定型句保存部１１０への登録の可否を判断する。
【０１２９】
ただし、辞書編集者の操作を介さず、自動的に定型句保存部１１０に定型句として登録する構成も可能である。
【０１３０】
図１０に示すフローチャートを用いて項目特徴語計算処理について説明する。尚、本処理は、項目特徴語計算部１０５によって処理が行われる。
【０１３１】
＜項目特徴語計算処理＞
ステップＳ１００１では、検索エンジン１０８の単語付文書データ表６００からカテゴリカル型の全項目および各項目の項目値一覧を取得する。
【０１３２】
ステップＳ１００２では、ステップＳ１００１において取得した全ての項目について繰り返す処理を開始する。
【０１３３】
ステップＳ１００３では、検索エンジン１０８から、処理対象である項目における単語一覧を取得する。
【０１３４】
現在処理対象としている項目値を検索クエリとして検索し、検索エンジン１０８の単語付文書データ表６００から、その項目値を持つ単語付文書データを取得し、その単語付文書データから、全ての異なり単語を取得する。
【０１３５】
ステップＳ１００４では、各単語について繰り返す処理を開始する。
【０１３６】
ステップＳ１００５では、当該項目における単語の特徴量を計算する。特徴量として、例えば一般的な統計量であるｌｉｆｔ値を用いることができる。ｌｉｆｔ値は以下のように計算できる。
項目値をｖ、単語をｗとおく。
Ｐ（ｖ，ｗ)＝（項目値がｖであり、かつ単語ｗが出現する文書エントリ数)／（全文書エントリ数)とする。
Ｐ（ｖ)＝（項目値がｖである文書エントリ数)／（全文書エントリ数)とする。
Ｐ（ｗ)＝（単語ｗが出現する文書エントリ数)／（全文書エントリ数)とする。
このとき、ｌｉｆｔ値はＰ（ｖ，ｗ)／（Ｐ（ｖ)＊Ｐ（ｗ))と計算できる。ｖとｗが同じ文書データ内で出現しやすいとき、ｌｉｆｔ値は１より大きな値をとる。もちろん、ｌｉｆｔ値と異なる特徴量の計算方法を使ってもよい。
【０１３７】
ステップＳ１００６では、項目特徴語表１１００（図１１参照）に項目特徴語のエントリを登録する。なお、登録するエントリにおける特徴語は、現在の単語である。
【０１３８】
なお、事前にシステムに設定されたしきい値に基づき、特徴量がしきい値以上であるときのみ項目特徴語のエントリを登録してもよい。
【０１３９】
図１１には、項目特徴語表１１００の構成が示されており、項目特徴語表１１００は、項目、項目値、特徴語、及び特徴量を有する表である。
【０１４０】
特徴量は実数値であり、値が大きいほど特徴語がその項目値において特徴的に出現することを示す。
【０１４１】
ステップＳ１００７では、当該項目における全ての単語について処理を実行した場合、ステップＳ１００８に進み、一方、未実行の単語が残っている場合は、ステップＳ１００４に処理を戻す。
【０１４２】
ステップＳ１００８では、全ての項目について処理を実行した場合、本フローチャートの処理を終了し、一方、未実行の項目や項目値が残っている場合は、ステップＳ１００２に処理を戻す。
【０１４３】
＜項目特徴語計算処理の具体例＞
項目特徴語計算処理の具体例として、図６に示す単語付文書データ表６００が登録された検索エンジン１０８を入力に利用した場合の処理について説明する。ただし、項目、記入者ＩＤがカテゴリカル型項目であるとする。
【０１４４】
また、特徴量が２．０以上であるときのみ項目特徴語表１１００に登録するという閾値の設定がされているとする。
【０１４５】
まず、検索エンジン１０８の単語付文書データ表６００から、項目が記入者ＩＤに対して、項目値がＡＡＡ、ＢＢＢ、ＣＣＣという項目値の一覧を取得する（ステップＳ１００１）。
【０１４６】
これらの項目、項目値について、繰り返し処理を行う（ステップＳ１００２）。
【０１４７】
最初は、項目が記入者ＩＤと項目値がＡＡＡとが選択される。
【０１４８】
項目が記入者ＩＤに対して項目値がＡＡＡである単語付文書データを検索エンジン１０８の単語付文書データ表６００から検索してくる（ステップＳ１００３）。
【０１４９】
すると、１０／４  ２０：３０  受電  ＼ｎ  突然映像が映らなくなったため、修理してほしいと、１０／４  １７：５５  受電  ＼ｎ  エラーが発生したので、修理をお願いしますとの２文書が取得できる。
【０１５０】
これらに含まれる単語の一覧は、受電、映像、映らない、修理、エラー、発生、お願いとなる。
【０１５１】
これらの単語について、繰り返し処理を行う（ステップＳ１００４）。
【０１５２】
最初は、受電が選択される。
【０１５３】
単語、受電について、項目が記入者ＩＤに対する項目値がＡＡＡであるときの特徴量を計算する（ステップＳ１００５）。
【０１５４】
具体的な計算は省略するが、結果として特徴量５．４が得られたとする。
【０１５５】
特徴量がしきい値２．０を上回るため、項目が記入者ＩＤ、項目値がＡＡＡ、特徴語が受電、特徴量が５．４というエントリを項目特徴語表１１００に登録する（ステップＳ１００６）。
【０１５６】
上記の処理を、単語が、受電、映像、映らない、修理、エラー、発生、お願いの全てについて繰り返す（ステップＳ１００７）。
【０１５７】
ここで、単語が映像では、特徴量１．３が、単語が修理では、特徴量２．１が得られたとする。
【０１５８】
このとき、特徴量をしきい値２．０と比較すると、項目特徴語表１１００に修理は登録するが、映像は登録しないと判断できる。
【０１５９】
さらに、上記の処理を記入者ＩＤがＡＡＡ、記入者ＩＤがＢＢＢ、記入者ＩＤがＣＣＣという全ての項目、項目値の組み合わせについて繰り返す（ステップＳ１００８）。
【０１６０】
こうして、図１１のような項目特徴語表１１００が作成される。
【０１６１】
さらに、図１２に示すフローチャートを用いて定型句候補生成処理について説明する。尚、本処理は、定型句候補生成部１０６によって処理が行われる。
【０１６２】
＜定型句候補生成処理＞
ステップＳ１２０１では、項目特徴語表１１００の各項目特徴語エントリについて繰り返す処理を開始する。
【０１６３】
ステップＳ１２０２では、項目特徴語エントリの項目及び項目値に一致し、特徴語を含む、文書データを取得する。
【０１６４】
取得する際、項目と項目値と特徴語をクエリとして、検索エンジン１０８から検索を行う。
【０１６５】
ステップＳ１２０３では、システムで設定された所定の回数繰り返す処理を開始する。繰り返しを行う理由は、定型句を見逃す可能性を減らすためである。
【０１６６】
このステップ以降の処理で、文書データ及び特徴語の周辺文字列をランダムに選択する。
【０１６７】
そのとき、偶然定型句として適切でない周辺文字列を選択してしまうと、適切な定型句を見逃してしまう。
【０１６８】
そのため、ランダムに選択する処理を複数回行うことで、定型句を見逃す可能性を減らしている。
【０１６９】
ステップＳ１２０４では、特徴語の周辺文字列を取得する。
【０１７０】
まず、取得した文書データから、１つの文書データをランダムに選択する。選ばれた文書データから周辺文字列を取得する方法としては、例えば、以下のような方法がありうる。
【０１７１】
文書データのテキスト型項目値のうち、特徴語を含み、改行コード、句読点、文字列先頭、または文字列末尾に囲まれた部分文字列を周辺文字列とする。
【０１７２】
尚、１つの文書データに特徴語が２回以上出現する場合、それらの出現のうち１つをランダムに選択する。
【０１７３】
ステップＳ１２０５では、周辺文字列から正規表現を生成する。正規表現を生成する方法としては、以下のような方法がありうる。
【０１７４】
基本的には周辺文字列をそのまま用いる。但し、周辺文字列の中に数字列があれば、  ＼ｄ＋  に置き換える。
【０１７５】
また、周辺文字列の中に正規表現のメタ文字として解釈される部分があれば、エスケープする。
【０１７６】
ステップＳ１２０６では、選択された以外の文書で、テキストが正規表現にマッチする割合が一定以上であるか判定する。
【０１７７】
ステップＳ１２０２において取得した文書データのうち、ランダムに選択された１文書データ以外の文書データを対象として処理を行う。
【０１７８】
生成された正規表現を、文書データのテキスト型項目にマッチするかどうか判定する。マッチする割合を（マッチした文書データ数)  ／  （判定した文書データ数)で求める。
【０１７９】
マッチする割合が、事前にシステムに設定されたしきい値以上であれば、Ｙｅｓと判定する。そうでなければＮｏと判定する。Ｙｅｓと判定された場合、ステップＳ１２０７に処理を移し、Ｎｏと判定された場合、ステップＳ１２０８に処理を移す。
【０１８０】
ステップＳ１２０７では、定型句候補保存部１１１の定型句候補表５１０に定型句候補のエントリを登録する。
【０１８１】
そのエントリの有効項目と有効項目値は、項目特徴語エントリの項目と項目値を用いる。定型句文字列は生成した正規表現とし、定型句種別は正規表現とする。
【０１８２】
ただし、正規表現を生成する元となった周辺文字列に数字が含まれていなかった場合、正規表現にする必要がない。その場合は、定型句文字列はその周辺文字列とし、定型句種別はテキストとする。
【０１８３】
尚、すでに全く同じ定型句候補のエントリが登録されている場合、登録はしない。
【０１８４】
ステップＳ１２０８では、所定回数の処理を繰り返し実行した場合、ステップＳ１２０９に進め、一方、所定回数に達していない場合は、ステップＳ１２０３に処理を戻す。
【０１８５】
ステップＳ１２０９では、全ての項目特徴語エントリについて実行した場合、処理を終了し、一方、所定回数に達していない場合は、ステップＳ１２０１に処理を戻す。
【０１８６】
本発明における定型句辞書は、正規表現を扱えるようにすることで、定型句内で日付部分の数字が文書ごとに異なるといった、細かい差異を吸収して、定型句を除去できるようになる。
【０１８７】
さらに、本発明における定型句辞書は、特定のカテゴリカル型項目が特定の値をとる文書のみを対象にして定型句を除去する、というルールを設定できるようにしているため、文書の記入者ごとに定型句の書き方が異なるという、記入者の癖のようなものを考慮した定型句の設定ができる。
【０１８８】
＜定型句候補生成処理の具体例＞
定型句候補生成処理の具体例として、図６の単語付文書データ表６００が登録された検索エンジン１０８と図１１の項目特徴語表１１００を入力に利用した場合の処理について説明する。図１３は、この具体例における処理の概要を図示したものである。
【０１８９】
項目特徴語表１１００の各エントリについて繰り返し処理を行う（ステップＳ１２０１）。
【０１９０】
最初に、項目名が記入者ＩＤ、項目値がＡＡＡ、特徴語が受電、特徴量が５．４のエントリが選ばれる。
【０１９１】
検索エンジン１０８の単語付文書データ表６００から、記入者ＩＤがＡＡＡであり、かつ単語が受電を含む文書データを検索してくる。（ステップＳ１２０２）。
【０１９２】
文書データから、ランダムに１文書を選択し、特徴語の周辺文字列を取得する（ステップＳ１２０４）。
【０１９３】
例えば、１０／４  ２０：３０  受電  ＼ｎ  突然映像が映らなくなったため、修理してほしいという問い合せ要約テキストから特徴語の周辺文字列を取得することを考える。
【０１９４】
このとき、特徴語が受電を含み、改行コード（＼ｎ)と文字列先頭に囲まれた、１０／４ ２０：３０  受電の部分が特徴語の周辺文字列となる。
【０１９５】
その周辺文字列から、正規表現を生成する（ステップＳ１２０５）。
【０１９６】
周辺文字列が１０／４  ２０：３０  受電から、数字列を＼ｄ＋に置き換えることで、正規表現が＼ｄ＋／＼ｄ＋ ＼ｄ＋：＼ｄ＋  受電が生成される。
【０１９７】
こうして生成された正規表現が、選択された以外の文書のテキスト部分にマッチするか判定する（ステップＳ１２０６）。
【０１９８】
例えば、選択された以外の文書のテキスト部分が１０／４  １７：５５  受電  ＼ｎ  エラーが発生したので、修理をお願いします、１０／２  １２：０２  受電  ＼ｎ  リモコンをなくしてしまった、９／２４  ９：０１  受電  ＼ｎ  たまに録画に失敗することがあるというものだったとする。
【０１９９】
このとき、正規表現が＼ｄ＋／＼ｄ＋  ＼ｄ＋：＼ｄ＋  受電は全てにマッチし、マッチする割合は１である。
【０２００】
マッチする割合が０．５以上のとき定型句候補保存部１１１に登録するというしきい値が設定されている場合、この正規表現を定型句候補として登録する（ステップＳ１２０７）。
【０２０１】
特徴語が受電について、上記の処理をシステムで決められた回数である３回繰り返す（ステップＳ１２０３、ステップＳ１２０８）。
【０２０２】
ただし、２回目以降は、正規表現が＼ｄ＋／＼ｄ＋  ＼ｄ＋：＼ｄ＋  受電は登録しない。
【０２０３】
上記の処理を、項目特徴語表１１００に登録された全エントリについて繰り返す（ステップＳ１２０９）。
【０２０４】
図１３では、記入者ＩＤがＡＡＡのときの特徴語「修理」の例も示している。
【０２０５】
この例では、周辺文字列が修理をお願いしますから、変換なしで正規表現が修理をお願いしますが生成されている。元テキストとしては、エラーが発生したので、修理をお願いしますといったものが考えられる。
【０２０６】
選択された以外の文書のテキスト部分で、正規表現が修理をお願いしますにマッチする割合は１／３である。
【０２０７】
この割合がしきい値が０．５より小さいため、修理をお願いしますは定型句候補には登録しない。
【０２０８】
このようにして、定型句として適切である可能性が高いもののみを、定型句候補として登録できる。
【０２０９】
以上により、分析者は、分析対象となる文書に関して、定型句保存部１１０に保存されている定型句表５００（定型句辞書）の有効項目及び有効項目値に該当する箇所を除いて分析を行った結果を分析者端末１０３へ表示することで、分析を適切に行うことが可能である。
【０２１０】
以上により、本発明によれば、適切に文書解析を行うための辞書を作成することが可能となる。
【０２１１】
尚、本発明は、例えば、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用する以外にも、一つの機器からなる装置に適用しても良い。
【０２１２】
また、本発明におけるプログラムは、図９、１０、及び１２に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図９、１０、及び１２の処理方法をコンピュータが実行可能なプログラムが記憶されている。
【０２１３】
なお、本発明におけるプログラムは図９、１０、及び１２の各装置の処理方法ごとのプログラムであってもよい。
【０２１４】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【０２１５】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【０２１６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【０２１７】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２１８】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２１９】
また、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０２２０】
１００    情報処理装置
１０１    ファイルサーバ
１０２    ＤＢサーバ
１０３    分析者端末
１０４    辞書編集者端末
【図１】
2020190975.tif 000003
【図２】
2020190975.tif 000004
【図３】
2020190975.tif 000005
【図４】
2020190975.tif 000006
【図５】
2020190975.tif 000007
【図６】
2020190975.tif 000008
【図７】
2020190975.tif 000009
【図８】
2020190975.tif 000010
【図９】
2020190975.tif 000011
【図１０】
2020190975.tif 000012
【図１１】
2020190975.tif 000013
【図１２】
2020190975.tif 000014
【図１３】
2020190975.tif 000015