(57)【特許請求の範囲】
【請求項１】
特定の品詞の単語が連なる第１文字列と、特定の品詞の単語が連なる文字列のうち、前記第１文字列に類似する第２文字列とを含む第１の組に対し、前記第１文字列に含まれ、かつ、前記第２文字列に含まれない第３文字列、及び、前記第２文字列に含まれ、かつ、前記第１文字列に含まれない第４文字列を抽出し、前記第３文字列と前記第４文字列とを含む第２の組と前記第１の組とを関連付けする第１の抽出手段と、
前記第２の組に関連付けられた前記第１の組の種類数に基づき、前記第２の組が、区別されて使用されている語句を表す区別語の組か否かを判定する判定手段と、
前記区別語の組のうち、単語の同義関係または類義関係に基づいて複数の単語間における関連を表す一般概念情報が記述された辞書において、前記第３文字列および前記第４文字列が同義関係または類義関係にある前記区別語の組を抽出する第２の抽出手段と、
前記第２の抽出手段によって抽出された前記区別語の組の出現頻度を、所定の単位で区切られた、文書の範囲ごとに算出し、該出現頻度に基づいて前記文書の範囲毎の汎用度を推定する推定手段と、
を備える文書汎用度推定装置。
【請求項２】
前記判定手段は、前記区別語の組と判定された前記第２の組のうち、前記第３文字列および前記第４文字列の一方が他方を含む前記第２の組を、前記区別語の組から除外する、
請求項１に記載の文書汎用度推定装置。
【請求項３】
前記判定手段は、前記区別語の組と判定された前記第２の組のうち、前記第３文字列および前記第４文字列のそれぞれを、形態素解析処理を行うことにより得られる、前記第３文字列の読みおよび前記第４文字列の読みが同じである、該第３文字列および該第４文字列を含む前記第２の組を、前記区別語の組から除外する、
請求項１または２に記載の文書汎用度推定装置。
【請求項４】
前記判定手段は、
前記文書において前記第１文字列の出現回数を示す第１回数と、前記文書において前記第２文字列の出現回数を示す第２回数とを求め、
前記区別語の組と判定された前記第２の組のうち、前記第２の組に関連付けられた前記第１の組に含まれる第１文字列の第１回数を、該第２の組に含まれる前記第３文字列毎に累計した第３回数と、前記第２の組に関連付けられた前記第１の組に含まれる第２文字列の第２回数を、該第２の組に含まれる前記第４文字列毎に累計した第４回数と、に基づいて、前記第２の組が前記区別語の組であるか否かを判定する、
請求項１から３のいずれかに１項に記載の文書汎用度推定装置。
【請求項５】
前記判定手段は、前記第２の組に関連付けられた前記第１の組の種類数が所定の種類数以上である場合、該第２の組が前記区別語の組であると判定する、
請求項１から４のいずれか１項に記載の文書汎用度推定装置。
【請求項６】
前記文書に対し形態素解析処理を行い、該形態素解析処理によって特定された品詞に基づき、前記特定の品詞の単語が連なる文字列を抽出し、抽出した文字列同士の類似する程度を表す類似度に基づき、前記第１文字列と、前記第２文字列とを抽出し、前記第１文字列と、前記第２文字列とを含む前記第１の組を作成する作成手段をさらに備える請求項１から５のいずれか１項に記載の文書汎用度推定装置。
【請求項７】
前記推定手段は、前記出現頻度、前記出現頻度を、該出現頻度を算出した範囲内に含まれる文字数で除した割合、前記出現頻度を、該出現頻度を算出した前記区別語の組の前記文書全体における出現頻度で除した割合、の少なくとも１つを前記汎用度として推定する、
請求項１から６のいずれか１項に記載の文書汎用度推定装置。
【請求項８】
前記汎用度を示す情報を前記文書の所定の範囲単位に画面に表示させる表示制御手段を更に備える、
請求項１から７のいずれか１項に記載の文書汎用度推定装置。
【請求項９】
コンピュータが、
特定の品詞の単語が連なる第１文字列と、特定の品詞の単語が連なる文字列のうち、前記第１文字列に類似する第２文字列とを含む第１の組に対し、前記第１文字列に含まれ、かつ、前記第２文字列に含まれない第３文字列、及び、前記第２文字列に含まれ、かつ、前記第１文字列に含まれない第４文字列を抽出し、前記第３文字列と前記第４文字列とを含む第２の組と前記第１の組とを関連付けし、
前記第２の組に関連付けられた前記第１の組の種類数に基づき、前記第２の組が、区別されて使用されている語句を表す区別語の組か否かを判定し、
前記区別語の組のうち、単語の同義関係または類義関係に基づいて複数の単語間における関連を表す一般概念情報が記述された辞書において、前記第３文字列および前記第４文字列が同義関係または類義関係にある前記区別語の組を抽出し、
前記抽出された区別語の組の出現頻度を、所定の単位で区切られた、文書の範囲ごとに算出し、該出現頻度に基づいて前記文書の範囲毎の汎用度を推定する、
文書汎用度推定方法。
【請求項１０】
特定の品詞の単語が連なる第１文字列と、特定の品詞の単語が連なる文字列のうち、前記第１文字列に類似する第２文字列とを含む第１の組に対し、前記第１文字列に含まれ、かつ、前記第２文字列に含まれない第３文字列、及び、前記第２文字列に含まれ、かつ、前記第１文字列に含まれない第４文字列を抽出し、前記第３文字列と前記第４文字列とを含む第２の組と前記第１の組とを関連付けする処理と、
前記第２の組に関連付けられた前記第１の組の種類数に基づき、前記第２の組が、区別されて使用されている語句を表す区別語の組か否かを判定する処理と、
前記区別語の組のうち、単語の同義関係または類義関係に基づいて複数の単語間における関連を表す一般概念情報が記述された辞書において、前記第３文字列および前記第４文字列が同義関係または類義関係にある前記区別語の組を抽出する処理と、
前記抽出された区別語の組の出現頻度を、所定の単位で区切られた、文書の範囲ごとに算出し、該出現頻度に基づいて前記文書の範囲毎の汎用度を推定する処理と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書の記載事項が汎用的か否かを文書の箇所ごとに評価する文書汎用度推定装置、文書汎用度推定方法、及びプログラムに関する。
【背景技術】
【０００２】
システム開発における設計書、仕様書等の専門的な文書には、専門用語が多く含まれている。そのため、同義で使われているのか、区別して使われているのかが判別しにくい用語や記述不足になりがちな表現など、文書を作成するにあたり、留意すべき事項が多い。そのような留意すべき事項を用語リストや記述不足が発生しやすい単語のリスト等を用いて共有することが望ましいが、このようなリストを人手で作成するのは手間がかかる。そのため、情報処理装置等を用いて文書から自動的に上記単語や用語を抽出するシステムが開発されている。
【０００３】
例えば、文書から専門用語情報を抽出する技術の一例が特許文献１に開示されている。
【０００４】
また、特許文献２には、表記ゆれ候補を抽出する装置が記載されている。
【０００５】
また、特許文献３には、音声テキストを形態素解析して文字列を取得し、該文字列を用いて読み上げ音声の修正を行う装置が記載されている。
【０００６】
また、特許文献４には、ブログから特徴語を抽出して、特徴語の出現数から地域特性辞書を生成する方法が記載されている。
【０００７】
また、特許文献５には、対訳文書全体から翻訳パターンの抽出を行う装置が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平９−１６５９３号公報
【特許文献２】特開２０１１−１８６９７６号公報
【特許文献３】特開２０１４−２４０８８４号公報
【特許文献４】特開２０１０−１６０５３４号公報
【特許文献５】特開平１１−４５２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
自然言語解析などで文書から、上述のような同義で使われているのか、区別して使われているのかが判別しにくい用語等の知識を獲得する場合、入力する文書の汎用度を考慮しないと、得られた知識の活用範囲が不適切になる。
【００１０】
たとえば、案件特有の用語が多く含まれている箇所は、汎用度が低い箇所といえる。このような汎用度の低い箇所からは案件特有の知識が抽出できる。一方、幅広い案件に共通する用語が多く含まれている箇所は、汎用度が高い箇所といえる。このような汎用度の高い箇所からは、案件に共通する知識が抽出できる。
【００１１】
しかしながら、特許文献１に記載の技術では、専門用語を抽出するにとどまり、文書の箇所毎の汎用度を把握することができない。また、特許文献２から５も、文書の箇所毎の汎用度を把握することについては、何ら開示されていない。
【００１２】
したがって、上述した各特許文献に記載の技術では、取得した知識の活用範囲を明確にすることができない。
【００１３】
（発明の目的）
本発明の主たる目的は、文書の汎用度を文書の箇所ごとに推定することができる技術を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の一態様に係る文書汎用度推定装置は、特定の品詞の単語が連なる第１文字列と、特定の品詞の単語が連なる文字列のうち、前記第１文字列に類似する第２文字列とを含む第１の組に対し、前記第１文字列に含まれ、かつ、前記第２文字列に含まれない第３文字列、及び、前記第２文字列に含まれ、かつ、前記第１文字列に含まれない第４文字列を抽出し、前記第３文字列と前記第４文字列とを含む第２の組と前記第１の組とを関連付けする第１の抽出手段と、前記第２の組に関連付けられた前記第１の組の個数に基づき、前記第２の組が、区別されて使用されている語句を表す区別語の組か否かを判定する判定手段と、前記区別語の組のうち、単語の同義関係または類義関係に基づいて複数の単語間における関連を表す一般概念情報が記述された辞書において、前記第３文字列および前記第４文字列が同義関係または類義関係にある前記区別語の組を抽出する第２の抽出手段と、前記第２の抽出手段によって抽出された前記区別語の組の出現頻度を、所定の単位で区切られた、文書の範囲ごとに算出し、該出現頻度に基づいて前記文書の範囲毎の汎用度を推定する推定手段と、を備える。
【００１５】
また、本発明の一態様に係る文書汎用度推定方法は、特定の品詞の単語が連なる第１文字列と、特定の品詞の単語が連なる文字列のうち、前記第１文字列に類似する第２文字列とを含む第１の組に対し、前記第１文字列に含まれ、かつ、前記第２文字列に含まれない第３文字列、及び、前記第２文字列に含まれ、かつ、前記第１文字列に含まれない第４文字列を抽出し、前記第３文字列と前記第４文字列とを含む第２の組と前記第１の組とを関連付けし、前記第２の組に関連付けられた前記第１の組の個数に基づき、前記第２の組が、区別されて使用されている語句を表す区別語の組か否かを判定し、前記区別語の組のうち、単語の同義関係または類義関係に基づいて複数の単語間における関連を表す一般概念情報が記述された辞書において、前記第３文字列および前記第４文字列が同義関係または類義関係にある前記区別語の組を抽出し、前記抽出された区別語の組の出現頻度を、所定の単位で区切られた、文書の範囲ごとに算出し、該出現頻度に基づいて前記文書の範囲毎の汎用度を推定する。
【００１６】
なお、上記各装置または方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。
【発明の効果】
【００１７】
本発明によれば、文書の箇所ごとの汎用度を推定できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る文書汎用度推定装置が有する構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態に係る文書汎用度推定装置における動作の一例を示すフローチャートである。
【図３】表記ゆれ候補ペア情報の一例と、差分ペア情報の一例とを概念的に表す図である。
【図４】表記ゆれ候補ペア情報の他の例と、差分ペア情報の他の例とを概念的に表す図である。
【図５】差分ペア毎に、該差分ペアに含まれる差分の語の出現回数の累積を、該差分ペアに関連付けた情報の一例を概念的に表す図である。
【図６】表記ゆれ候補ペア情報の更に他の例と、差分ペア情報の更に他の例とを概念的に表す図である。
【図７】区別語ペア情報の一例と、概念辞書の一例と、特異用法語ペア情報の一例とを概念的に表す図である。
【図８】出力部が出力する情報を表示した画面の一例を表す図である。
【図９】本発明の第２の実施形態に係る文書汎用度推定装置が有する構成の一例を示すブロック図である。
【図１０】第２の実施形態に係る文書汎用度推定装置における処理の流れの一例を示すフローチャートである。
【図１１】本発明の各実施形態に係る文書汎用度推定装置を実現可能な計算処理装置のハードウェア構成例を、概略的に示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、図面を参照して詳細に説明する。尚、すべての図面において、同等の構成要素には同じ符号を付し、適宜説明を省略する。
【００２０】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る文書汎用度推定装置１０が有する構成の一例を示すブロック図である。尚、図１において、実線にて示された構成要素は、第１の実施形態に係る文書汎用度推定装置１０が有する構成要素であることを表す。また、点線にて示された構成要素は、第１の実施形態に係る文書汎用度推定装置１０が有してもよい構成要素であることを表す。
【００２１】
図１に示す通り、文書汎用度推定装置１０は、入力部１０１、表記ゆれ候補抽出部（作成部）１０３、差分抽出部１０４、区別語選定部１０５、特異用法語抽出部１０７、文書汎用度推定部１０８、出力部（表示制御部）１０９および記憶部１１０を有する。記憶部１１０には、形態素辞書１０２および概念辞書１０６が格納されている。なお、本実施形態では、形態素辞書１０２と概念辞書１０６とが同じ記憶部１１０に格納されていることを例に説明を行うが、形態素辞書１０２と概念辞書１０６とは異なる記憶部に格納されるものであってもよい。また、記憶部１１０は、文書汎用度推定装置１０とは別個の記憶装置によって実現されるものであってもよい。
【００２２】
入力部１０１は、表記ゆれを抽出する対象である文書（以降、文書データ、入力文書とも呼ぶ）を受け取る。入力部１０１は、受け取った入力文書を表記ゆれ候補抽出部１０３および文書汎用度推定部１０８に入力する。
【００２３】
記憶部１１０に格納された形態素辞書１０２は、形態素解析処理にて参照される辞書（情報）であり、少なくとも、単語とその品詞とが関連付けされた辞書である。尚、形態素辞書１０２の単語には、該単語の読みを表す読み情報が更に関連付けされていてもよい。
【００２４】
表記ゆれ候補抽出部１０３は、入力部１０１から入力文書を受け取る。表記ゆれ候補抽出部１０３は、たとえば、後述するような抽出手順に従い、入力文書の中から表記ゆれであると推定される候補（すなわち、１つ以上の単語、文字列、複合語）のペア（以降、「表記ゆれ候補ペア」と表す）を抽出する。以降、表記ゆれであると推定される候補を、「表記ゆれ候補」と表す。
【００２５】
表記ゆれ候補抽出部１０３が行う表記ゆれ候補ペアを抽出する抽出手順の例について説明する。表記ゆれ候補抽出部１０３は、たとえば、形態素辞書１０２を参照しながら入力文書に対し、形態素解析処理を行うことにより、入力文書における文章を単語（形態素、すなわち、意味を成す最小の文字列）に区切るとともに、該単語の品詞を特定する。次に、表記ゆれ候補抽出部１０３は、得られた単語及び該単語の品詞のうち、あらかじめ指定された品詞が連続している単語をつなぎ合わせることにより複合語を抽出する。なお、表記ゆれ候補抽出部１０３は、あらかじめ指定された品詞が複数ある場合は、指定された品詞のいずれかが連続している単語をつなぎ合わせることにより複合語を入力文書から抽出する。その後、表記ゆれ候補抽出部１０３は、抽出した１以上の複合語からなる、複合語の一覧から任意の２つの複合語をペア（組）として取り出す。そして、表記ゆれ候補抽出部１０３は、取り出した複合語のペア（複合語ペアと呼ぶ）ごとに、編集距離、文字列の類似度、または、複合語の出現回数の偏りの度合い等に基づき、表記ゆれの度合いを算出する。次に、表記ゆれ候補抽出部１０３は、算出した表記ゆれの度合いが予め指定した閾値以上か否かを判定し、表記ゆれの度合いが閾値以上の複合語ペアを表記ゆれ候補ペアとして抽出する。表記ゆれ候補抽出部１０３は、以上のような抽出手順によって、入力文書から表記ゆれ候補ペアを抽出する。そして、表記ゆれ候補抽出部１０３は、１以上の、抽出した表記ゆれ候補ペアを含む情報である表記ゆれ候補ペア情報を出力し、該表記ゆれ候補ペア情報が差分抽出部１０４に入力される。
【００２６】
なお、上記では、表記ゆれ候補を、複合語として説明を行ったが、上述したとおり、表記ゆれ候補は、１つ以上の単語または文字列であってもよい。この場合、表記ゆれ候補抽出部１０３は、１つ以上の単語のペアまたは文字列のペアを、表記ゆれ候補ペアとして抽出する。
【００２７】
差分抽出部１０４は、表記ゆれ候補抽出部１０３から、表記ゆれ候補抽出部１０３が抽出した表記ゆれ候補ペアを１以上含む表記ゆれ候補ペア情報を受け取る。差分抽出部１０４は、表記ゆれ候補ペア情報に含まれる表記ゆれ候補ペアごとに、該表記ゆれ候補ペアに含まれる２つの表記ゆれ候補のそれぞれから、差分を表す構成語もしくは差分を表す文字列を抽出する。そして、差分抽出部１０４は、表記ゆれ候補ペアに含まれる２つの表記ゆれ候補のそれぞれから抽出した構成語（または文字列）を相互に関連付けすることにより、差分ペアを作成する。以降、差分抽出部１０４が作成した、１以上の差分ペアを含む情報を差分ペア情報と呼ぶ。次に、差分抽出部１０４は、作成した差分ペアと、該差分ペアを抽出した基である表記ゆれ候補ペアとを関連付けて保持する。ここで、構成語とは、複合語を構成する形態素を表す。
【００２８】
そして、差分抽出部１０４は、作成した差分ペアを１以上含む差分ペア情報を、出力する。この差分ペア情報が、区別語選定部１０５に入力される。
【００２９】
区別語選定部１０５は、差分抽出部１０４から、差分抽出部１０４が作成した差分ペアを１以上含む差分ペア情報を受け取る。区別語選定部１０５は、受け取った差分ペア情報に含まれる差分ペアに関連する（差分ペアの抽出の基になる）入力文書において、差分ペアごとに、該差分ペアに関連付けられている表記ゆれ候補ペアの種類数を集計する。次に、区別語選定部１０５は、集計した、表記ゆれ候補ペアの種類数があらかじめ指定された閾値以上か否かを判定し、閾値以上の場合、表記ゆれ候補ペアの種類数の集計の対象である差分ペアを区別語のペア（以降、「区別語ペア」と表す）として選定する。ここで、区別語とは、表記において区別されて使い分けられている、表記ゆれには該当しない語を表し、区別語ペアとは、この区別語のペアを表す。
【００３０】
なお、区別語選定部１０５は、差分ペアに関連付けられた表記ゆれ候補ペアの種類数が閾値以上の場合であっても、特定の条件を満たす場合には、該差分ペアを区別語ペアとして選定しない機能を備えていてもよい。特定の条件とは、たとえば、表記ゆれ候補ペアにおける一方の語が他方の語を包含するという条件、及び、表記ゆれ候補ペアにおける２つの語の読みが一致しているという条件等である。また、特定の条件とは、たとえば、差分ペアに関連付けられた表記ゆれ候補ペアにおける２つの語に関して、入力文書内において出現する出現回数の偏りが大きいという条件などであってもよい。
【００３１】
区別語選定部１０５は、選定した区別語ペアを１以上含む区別語ペア情報を出力し、該区別語ペア情報が特異用法語抽出部１０７に入力される。
【００３２】
記憶部１１０に格納された概念辞書１０６は、複数の単語間における関連を表す一般概念情報が記憶されているシソーラスである。この一般概念情報とは、ある単語に対して同義関係を有する単語（同義語）または類義関係を有する単語（類義語）と、上記ある単語との関連を表す。
【００３３】
特異用法語抽出部１０７は、区別語選定部１０５から、区別語選定部１０５で選定された区別語ペアを含む区別語ペア情報を受け取る。特異用法語抽出部１０７は、受け取った区別語ペア情報に含まれる区別語ペアの中で、該区別語ペア（差分ペア）の単語（差分の語）間の関係が概念辞書１０６において同義関係、もしくは類義関係である区別語ペアを、特異用法語のペアとして抽出する。以下、特異用法語のペアを、特異用法語ペアと表す。ここで、特異用法語とは、特に使用方法が異なっている語である。
【００３４】
特異用法語抽出部１０７は、抽出した特異用法語ペアを１以上含む特異用法語ペア情報を出力し、該特異用法語ペア情報が文書汎用度推定部１０８に入力される。
【００３５】
文書汎用度推定部１０８は、特異用法語抽出部１０７から特異用法語ペア情報を受け取る。また、入力部１０１から入力文書を受け取る。
【００３６】
文書汎用度推定部１０８は、入力文書を指定された単位（例えば、章、ページ、段落、文、文字数等）で区切る。そして、文書汎用度推定部１０８は、区切った範囲ごとに、特異用法語ペア情報に含まれる特異用法語ペアの出現頻度を求める。具体的には、文書汎用度推定部１０８は、区切った範囲ごとに、特異用法語ペアに含まれる一方の特異用法語（区別語）と、他方の特異用法語とが、同時に、該範囲に出現する頻度（出現回数）を求める。
【００３７】
例えば、特異用法語ペアが３組である場合、文書汎用度推定部１０８は、それぞれのペアに対して、出現頻度（出現回数）を、範囲毎に求める。そして、文書汎用度推定部１０８は、範囲毎に、出現頻度を集計する。
【００３８】
そして、文書汎用度推定部１０８は、求めた出現頻度に基づいて、入力文書の汎用度を、出現頻度を求めた範囲毎に推定する。この汎用度は、例えば、求めた特異用法語ペアの出現回数そのものであってもよいし、特異用法語ペアの出現回数を前記範囲の文字数で除した割合であってもよい。また、汎用度は、特異用法語ペアの出現回数を文書全体の特異用法語ペアの出現回数で除した割合であってもよい。また、文書汎用度推定部１０８は、推定した、範囲毎の汎用度に基づいて、更に、入力文書全体の汎用度を推定してもよい。
【００３９】
文書汎用度推定部１０８は、推定した入力文書の汎用度と、汎用度を推定した範囲を示す範囲情報とを、出力し、該汎用度および範囲情報が出力部１０９に入力される。
【００４０】
出力部１０９は、文書汎用度推定部１０８から、文書汎用度推定部１０８が推定した汎用度と、該汎用度を推定した範囲を示す範囲情報とを受け取る。そして、出力部１０９は、汎用度を示す情報を、範囲情報によって示される範囲ごとに、たとえば、ユーザが判別可能な態様（例えば、ユーザインタフェース（ＵＩ：Ｕｓｅｒ  Ｉｎｔｅｒｆｅｃｅ））で、例えば、図示しない表示装置の画面に表示させるよう、該表示装置に出力する。出力部１０９は、たとえば、ユーザインタフェースとして、ユーザが認識可能な汎用度の一覧を生成して、生成した一覧を図示しない表示装置の画面に表示させてもよい。また、出力部１０９は、例えば、汎用度を、図示しない外部装置に適した様態に変更して、該外部装置への情報提供を行ってもよい。
【００４１】
図２を参照しながら、第１の実施形態に係る文書汎用度推定装置１０における動作について説明する。図２は、本発明の第１の実施形態に係る文書汎用度推定装置１０における動作の一例を示すフローチャートである。
【００４２】
図２に示す通り、まず、入力部１０１は、汎用度を推定する対象である文書（入力文書）を受け取る（ステップＳ１０１）。その後、表記ゆれ候補抽出部１０３は、上述したような表記ゆれ候補ペアの抽出手順に従い、入力文書から表記ゆれ候補ペアを抽出する（ステップＳ１０２）。
【００４３】
そして、差分抽出部１０４は、表記ゆれ候補抽出部１０３が抽出した表記ゆれ候補ペアごとに、該表記ゆれ候補ペアに含まれる２つの表記ゆれ候補のそれぞれから差分を表す構成語、もしくは、差分を表す文字列を抽出する。そして、差分抽出部１０４は、抽出した構成語（または文字列）を、相互に関連付けすることにより、差分ペアを作成する（ステップＳ１０３）。次に、差分抽出部１０４は、差分ペアと、該差分ペアを抽出した基である表記ゆれ候補ペアとを関連付けて保持する。
【００４４】
区別語選定部１０５は、ステップＳ１０３で作成された差分ペアのうち、関連付けられた表記ゆれ候補ペアの種類数が、あらかじめ指定された閾値以上である差分ペアを、区別語ペアとして選定する（ステップＳ１０４）。このとき、区別語選定部１０５は、ある差分ペアに関連付けられた表記ゆれ候補ペアの種類数が閾値以上であっても、特定の条件に当てはまる場合には、該差分ペアを区別語ペアとして選定しなくてもよい。
【００４５】
特異用法語抽出部１０７は、ステップＳ１０４で選定された区別語ペアのうち、該区別語ペアに含まれる単語間の関係が概念辞書１０６において同義関係、もしくは類義関係である区別語ペアを特異用法語ペアとして抽出する（ステップＳ１０５）。
【００４６】
文書汎用度推定部１０８は、入力文書を指定された単位ごとに区切り、区切った範囲内の特異用法語ペアの出現頻度を算出する。そして、文書汎用度推定部１０８は算出した出現頻度に基づいて、入力文書の範囲毎の汎用度を推定する（ステップＳ１０６）。
【００４７】
出力部１０９は、前記範囲ごとの汎用度を示す情報を出力する（ステップＳ１０７）。
【００４８】
以上により、文書汎用度推定装置１０は、文書汎用度推定処理を終了する。
【００４９】
次に、本発明の第１の実施形態に係る文書汎用度推定装置１０の動作の具体例について、図３、図４、図５、図６、図７及び図８を参照して説明する。
【００５０】
まず、図２のステップＳ１０２からステップＳ１０４までの処理の具体例について、図３、図４及び図５を参照して説明する。
【００５１】
図３は、表記ゆれ候補ペア情報の一例と、差分ペア情報の一例とを概念的に表す図である。図３における表記ゆれ候補ペア情報Ｔ１は、表記ゆれ候補抽出部１０３がステップＳ１０２において抽出する表記ゆれ候補ペアを含む。図３に示す表記ゆれ候補ペア情報Ｔ１は、説明の便宜上、１行に１つの表記ゆれ候補ペアが含まれる表として説明を行う。この表には、表記ゆれ候補ペアに含まれる一方の表記ゆれ候補を左側の列に、他方の表記ゆれ候補を右側の列に記載している。なお、表記ゆれ候補ペア情報Ｔ１の表現方法はこれに限定されるものではない。
【００５２】
差分抽出部１０４は、ステップＳ１０３において、表記ゆれ候補ペアを、形態素解析処理等を行うことにより、構成語（または文字列）を作成する。次に、差分抽出部１０４は、構成語（または文字列）単位で、表記ゆれ候補の文字列を比較し、異なる構成語を差分として抽出する。たとえば、図３に示す表記ゆれ候補ペア情報Ｔ１の１行目には、「返納処理」と「返品処理」という表記ゆれ候補ペアが含まれる。以降、表記ゆれ候補ペアを、斜線「／」を用いて、例えば、「返納処理／返品処理」と表記する。表記ゆれ候補ペアが「返納処理／返品処理」の場合、差分抽出部１０４は、該表記ゆれ候補ペアに含まれる構成語を比較することにより、「返納」と「返品」という差分を抽出する。もしくは、たとえば、差分抽出部１０４は、該表記ゆれ候補ペアに対して文字列単位にて文字コードを基に比較することにより、「納」と「品」という差分を抽出してもよい。
【００５３】
そして、差分抽出部１０４は、差分として抽出された構成語（または文字列）を相互に関連付けすることにより、差分ペアを作成する。さらに、差分抽出部１０４は、差分ペアと、該差分ペアを作成した基である表記ゆれ候補ペアとを関連付けする。差分抽出部１０４は、他の表記ゆれ候補に対しても同様に差分ペアを作成する。これにより、図３の右側に示すような、差分抽出部１０４が作成した１以上の差分ペアを含む差分ペア情報が生成される。なお、図３では、差分ペアから向けられた矢印は、該差分ペアに関連付けられた、該差分ペアの作成の際に差分を抽出した元である表記ゆれ候補ペアを示している。また、差分ペアも表記ゆれ候補ペアと同様に、ペアとなる語を斜線「／」を用いてつなげることにより、差分ペアを表現する。
【００５４】
区別語選定部１０５は、差分ペアのうち、該差分ペアに関連付けられた表記ゆれ候補ペアの種類数が、指定された閾値以上のペアを区別語ペアとして選定する。図３に示す例では、「返納／返品」の差分ペアに関連付けられている表記ゆれ候補ペアは、「返納処理／返品処理」、「返納情報／返品情報」、及び、「一部返納／一部返品」の３種類である。これにより、区別語選定部１０５は、「返納／返品」の差分ペアに対する、表記ゆれ候補ペアの種類数を集計した結果である「３」を得る。そして、区別語選定部１０５は、他の差分ペアについても同様に、該差分ペアに関連付けられた表記ゆれ候補ペアの種類数を集計する。
【００５５】
そして、たとえば、あらかじめ指定された閾値が２である場合、区別語選定部１０５は、表記ゆれ候補ペアの種類数が２以上となる差分ペアを、区別語ペアとして選定する。図３に示す例の場合、区別語選定部１０５は、「返納／返品」、「決済／決裁」、「設計／設置」、及び、「実績／成績」の差分ペアを、区別語ペアとして選定する。なお、図３では、差分ペアのうち、区別語選定部１０５が区別語ペアとして選定した差分ペアを太枠で表している。
【００５６】
また、区別語選定部１０５は、差分ペアに関連付けられた表記ゆれ候補ペアの種類数が閾値以上の場合であっても、特定の条件を満たす場合には、該差分ペアを区別語ペアとして選定しなくてもよい。これを、図４を用いて説明する。図４は、表記ゆれ候補ペア情報の他の例と、差分ペア情報の他の例とを概念的に表す図である。図４に示す表記ゆれ候補ペア情報Ｔ２は、図３に示す表記ゆれ候補ペア情報Ｔ１に含まれる表記ゆれ候補ペアと同様の表記ゆれ候補ペアを含む情報である。更に、表記ゆれ候補ペア情報Ｔ２に含まれる各表記ゆれ候補ペアの表記ゆれ候補には、該表記ゆれ候補の入力文書内における出現回数が関連付けられている。なお、図４に示す表記ゆれ候補ペア情報に含まれる表記ゆれ候補ペアには、図３に示す表記ゆれ候補ペアに、更に、「購入額／購入金額」の表記ゆれ候補ペアを含んでいる。図４に示す表記ゆれ候補ペア情報Ｔ２は、説明の便宜上、１行に１つの表記ゆれ候補ペアが含まれる表として説明を行う。
【００５７】
たとえば、特定の条件が「差分ペアにおいて、一方の語が他方の語を包含している」である場合、図４の差分ペアのうち、「額／金額」は、この特定の条件を満たす。したがって、区別語選定部１０５は、この差分ペア「額／金額」を区別語ペアとして選定しない。
【００５８】
また、たとえば、特定の条件が「差分ペアにおいて、２つの語の読みが一致している」である場合、図４の差分ペアのうち、「決済／決裁」と「精算／清算」とは、この条件を満たす。したがって、区別語選定部１０５は、この差分ペア「決済／決裁」と「精算／清算」とを、区別語ペアとして選定しない。尚、各語の読みは、たとえば、形態素辞書１０２等における読み情報として定義されているとする。
【００５９】
また、たとえば、特定の条件が「差分ペアに関連付けられている表記ゆれ候補ペアの出現回数に偏りがある」である場合、区別語選定部１０５は、差分ペアに関連付けられた表記ゆれ候補ペアに含まれる各表記ゆれ候補の出現回数の偏りを評価する。区別語選定部１０５は、たとえば、差分ペアに対して表記ゆれ候補ペアが１つのみ関連付けられている場合、該表記ゆれ候補ペアに含まれる各表記ゆれ候補の出現回数の偏りを評価すればよい。差分ペアに対して複数の表記ゆれ候補ペアが関連付けられている場合、区別語選定部１０５が行う出現回数の偏りを評価する際に用いる情報は、たとえば、以下の（１）または（２）に示すものが挙げられる。
（１）ある差分ペアに関連付けられている表記ゆれ候補ペアに含まれる表記ゆれ候補の出現回数を、差分の語ごとに累積した結果、
（２）ある差分ペアに関連付けられている表記ゆれ候補ペアの種類ごとの出現回数。
【００６０】
また、区別語選定部１０５が行う出現回数の偏りを評価する処理は、たとえば、以下の（３）から（５）の何れかに示す処理である。
（３）差分ペアに関連付けられている表記ゆれ候補ペアのうち、一方の表記ゆれ候補の出現回数が第１の所定の閾値以下であり、かつ、他方の表記ゆれ候補の出現回数が第２の所定の閾値以上の場合に、偏りがあると判定する処理、
（４）差分ペアに関連付けられている表記ゆれ候補ペアにおいて、出現回数が多い方の表記ゆれ候補の出現回数に対する、出現回数が少ない方の表記ゆれ候補の出現回数の割合が閾値以下である場合に、偏りがあると判定する処理、
（５）上記（３）及び上記（４）に示す判定方法が組み合わせられた方法（たとえば、すくなくとも一方を満たす等）に従い、偏りがあるか否かを判定する処理。
【００６１】
なお、上記（３）において、第２の所定の閾値は、第１の所定の閾値より大きい数である。また、ある差分ペアに関連付けられている表記ゆれ候補ペアが複数ある場合、区別語選定部１０５は、上記（３）の処理として、以下の（ａ）および（ｂ）を満たす場合に、偏りがあると判定する。
（ａ）ある差分ペアに関連付けられている表記ゆれ候補ペアのうち、一方の表記ゆれ候補群に含まれる表記ゆれ候補の出現回数が第１の所定の閾値以下、
（ｂ）他方の表記ゆれ候補群に含まれる表記ゆれ候補の出現回数が第２の所定の閾値以上。
なお、上記（ａ）および（ｂ）において、表記ゆれ候補群とは、表記ゆれ候補に含まれる差分の語が同じものである複数の表記ゆれ候補である。
【００６２】
以下では、上記（３）において、第１の所定の閾値が２であり、第２の所定の閾値が２０であるとして説明する。ある差分ペアに関連付けられている表記ゆれ候補ペアにおいて、一方の表記ゆれ候補（または表記ゆれ候補群）の出現回数が２以下であり、かつ、他方の表記ゆれ候補の出現回数が２０以上である場合、区別語選定部１０５は、出現回数の偏りがあると判定する。この具体的な処理の一例について説明する。
【００６３】
まず、差分ペアに対して複数の表記ゆれ候補ペアが関連付けられている場合、区別語選定部１０５が出現回数の偏りを評価する情報を、上記（１）を用いるとする。この場合、区別語選定部１０５は、差分ペアに対して、表記ゆれ候補群に含まれる複数の表記ゆれ候補の出現回数の累積を求める。複数の表記ゆれ候補のそれぞれには、差分ペアに含まれる２つの差分の語の何れかが含まれる。したがって、上記区別語選定部１０５による累積を求める処理は、差分ペア毎に、該差分ペアに関連付けられた複数の表記ゆれ候補ペアのそれぞれの表記ゆれ候補の出現回数を差分の語ごとに累積する処理であるとも言える。
【００６４】
例えば、図４に示す差分ペア「返納／返品」には、「返納処理／返品処理」、「返納情報／返品情報」、及び、「一部返納／一部返品」の３種類の表記ゆれ候補ペアが関連付けられている。そして、図４に示す通り、「返納処理／返品処理」の表記ゆれ候補である「返納処理」の出現回数は３であり、「返品処理」の出現回数は４である。同様に、「返納情報／返品情報」の表記ゆれ候補である「返納情報」の出現回数は２９であり、「返品情報」の出現回数は３４である。また、「一部返納／一部返品」の表記ゆれ候補である「一部返納」の出現回数は１６であり、「一部返品」の出現回数は３８である。
【００６５】
区別語選定部１０５は、これらの表記ゆれ候補ペアに関連付けられた差分ペアに含まれる差分の語ごとに、出現回数を累積する。つまり、区別語選定部１０５は、差分の語である「返納」を含む表記ゆれ候補「返納処理」、「返納情報」および「一部返納」の出現回数を累積し、累積結果４８を得る。同様に、区別語選定部１０５は、差分の語である「返品」を含む表記ゆれ候補「返品処理」、「返品情報」および「一部返品」の出現回数を累積し、累積結果７６を得る。
【００６６】
図５は、差分ペア毎に、区別語選定部１０５によって求められた、該差分ペアに含まれる差分の語の出現回数の累積を、該差分ペアに関連付けた情報の一例を概念的に表す図である。以下では、この情報を、差分ペア情報Ｔ３とする。なお、図５に示す差分ペア情報Ｔ３には、説明の便宜上、差分ペアに関連付けられた表記ゆれ候補ペアに含まれる表記ゆれ候補も表示している。
【００６７】
図５に示す通り、区別語選定部１０５が、差分ペアに対して、表記ゆれ候補ペアに関連付けられた差分ペアに含まれる差分の語ごとに出現回数を累積した結果が含まれる。図５の差分ペア情報Ｔ３に示す通り、例えば、差分ペア「返納／返品」に含まれる差分の語である「返納」の出現回数（出現回数累積）は、表記ゆれ候補「返納処理」、「返納情報」および「一部返納」の出現回数の合計である４８である。また、差分ペア「返納／返品」に含まれる差分の語である「返品」の出現回数は、「返品処理」、「返品情報」および「一部返品」の出現回数の合計である７６である。
【００６８】
その後、区別語選定部１０５は、差分ペアごとに、該差分ペアに含まれる一方の差分の語を含む表記ゆれ候補の出現回数が２以下であり、かつ、他方の差分の語を含む表記ゆれ候補の出現回数が２０以上である差分ペアを抽出する。そして、区別語選定部１０５は、抽出した差分ペアを、該差分ペアに関連付けられた表記ゆれ候補ペアの出現回数に偏りがある差分ペアであると判定する。
【００６９】
図５に示す差分ペア情報Ｔ３を参照すると、差分ペアを抽出する基となる表記ゆれ候補ペア情報に含まれる表記ゆれ候補の、差分の語ごとの出現回数に偏りがある差分ペアは、Ｒ２４にて示される「清算／精算」と、Ｒ２６にて示される「実績／成績」である。したがって、区別語選定部１０５は、差分ペア「清算／精算」と、差分ペア「実績／成績」とを、表記ゆれ候補の出現回数に偏りがある差分ペアであると評価し、これらを区別語ペアから除外する。
【００７０】
次に、区別語選定部１０５が上記（３）の処理を行う場合に用いる情報が、上記（２）である場合の区別語選定部１０５の処理の一例について説明する。区別語選定部１０５が、偏りがあると判定する際に用いる情報である出現回数は、例えば、図４に示す出現回数である。区別語選定部１０５は、表記ゆれ候補ペア情報Ｔ２を参照し、差分ペアごとに、該差分ペアに関連付けられた表記ゆれ候補ペアに含まれる一方の表記ゆれ候補の出現回数が２以下であり、かつ、他方の表記ゆれ候補の出現回数が２０以上である差分ペアを抽出する。そして、区別語選定部１０５は、Ｒ５、Ｒ９、Ｒ１０、および、Ｒ１１で示される表記ゆれ候補ペアを、出現回数の偏りがあると判定する。
【００７１】
図４に示す通り、Ｒ５にて示される表記ゆれ候補ペア「精算時処理／清算時処理」は、差分ペア「精算／清算」に関連付けられている。Ｒ９にて示される表記ゆれ候補ペア「実績情報／成績情報」およびＲ１１にて示される表記ゆれ候補ペア「実績別／成績別」は、差分ペア「実績／成績」に関連付けられている。Ｒ１０にて示される表記ゆれ候補ペア「決済額／決裁額」は、差分ペア「決済／決裁」に関連付けられている。
【００７２】
差分ペア「精算／清算」、「実績／成績」および「決済／決裁」のうち、区別語ペアとして選定される可能性がある差分ペアは、差分ペアに関連付けられた表記ゆれ候補ペアの種類数が２以上である「実績／成績」および「決済／決裁」である。
【００７３】
ここで、差分ペア「決済／決裁」に関連付けられた表記ゆれ候補ペアは、表記ゆれ候補ペアＲ２と、表記ゆれ候補ペアＲ１０とである。これらの表記ゆれ候補ペアのうち、表記ゆれ候補ペアＲ１０は、該表記ゆれ候補ペアに含まれる表記ゆれ候補の出現回数に偏りがあると判定されている。
【００７４】
また、差分ペア「実績／成績」に関連付けられた表記ゆれ候補ペアは、表記ゆれ候補ペアＲ９と、表記ゆれ候補ペアＲ１１とである。これらの表記ゆれ候補ペアは、ともに、表記ゆれ候補ペアに含まれる表記ゆれ候補の出現回数に偏りがあると判定された表記ゆれ候補ペアである。
【００７５】
ある差分ペアに関連付けられた複数の表記ゆれ候補ペアの全てが、表記ゆれ候補の出現回数に偏りがある場合、区別語選定部１０５は、該差分ペアを、区別語ペアとして選定しなくてもよい。また、ある差分ペアに関連付けられた表記ゆれ候補ペアのうち、表記ゆれ候補の出現回数に偏りがあると判定された表記ゆれ候補ペアの数が指定した閾値以上である場合に、区別語選定部１０５は、該差分ペアを、区別語ペアとして選定しなくてもよい。
【００７６】
前者の場合、区別語選定部１０５は、差分ペア「決済／決裁」を、区別語ペアとして選定し、差分ペア「実績／成績」を、区別語ペアとして選定しない。
【００７７】
後者の場合、閾値が１であるとき、ある差分ペアに関連付けされた複数の表記ゆれ候補ペアのうち、表記ゆれ候補の出現回数に偏りがあると判定された表記ゆれ候補ペアが少なくとも１つある場合には、区別語選定部１０５は、該差分ペアを、区別語ペアとして選定しない。したがって、後者の場合、上述した例において、区別語選定部１０５は、差分ペア「決済／決裁」と、差分ペア「実績／成績」とを、区別語ペアとして選定しない。
【００７８】
次に、図２のステップＳ１０５からステップＳ１０７までの処理の具体例について図６、図７及び図８を参照して説明する。
【００７９】
図６は、表記ゆれ候補抽出部１０３が入力文書から抽出した表記ゆれ候補ペアを含む表記ゆれ候補ペア情報の他の例と、差分ペア情報の他の例とを概念的に表す図である。図６に示す表記ゆれ候補ペア情報Ｔ４は、表記ゆれ候補ペア情報Ｔ１と同様に、１行に１つの表記ゆれ候補ペアが含まれる表として説明を行う。また、図７は、図６の差分ペア情報に含まれる差分ペアから区別語選定部１０５が抽出した区別語ペアを含む区別語ペア情報の一例と、概念辞書１０６の一例と、特異用法語抽出部１０７が抽出した特異用法語ペアを含む特異用法語ペア情報の一例とを概念的に示す図である。
【００８０】
図６に示す差分ペア情報に含まれる差分ペアは、図６に示す複数の表記ゆれ候補ペアから差分抽出部１０４が抽出したものである。区別語選定部１０５は、この差分ペアに関連付けられた表記ゆれ候補ペアの数を集計し、表記ゆれ候補ペアの数が２以上の場合に、該差分ペアを区別語ペアとして選定する。図７に示す区別語ペア情報に含まれる各区別語ペアは、区別語選定部１０５が選定した区別語ペアである。図７では、説明の便宜上、この区別語ペアを表形式で表している。
【００８１】
図７に示す概念辞書１０６は、説明の便宜上、同じ行に、ある単語と、このある単語の類義語を含めている。例えば、ある単語が「時間」の場合、この「時間」の類義語である「時刻」、「時」および「刻限」が「時間」と同じ行に含まれる。
【００８２】
特異用法語抽出部１０７は概念辞書１０６を参照し、区別語ペアの中で概念辞書１０６上、類義関係である語を特異用法語ペアとして抽出する。図７に示す概念辞書１０６の例では、下線で示した「時間」と「時刻」、「部署」と「部門」、「審査」と「考査」は類義関係であり、「昇進」と「昇給」は類義関係ではないことがわかる。よって、特異用法語抽出部１０７は、区別語ペアのうち、「時間／時刻」、「部署／部門」および「審査／考査」を特異用法語ペアとして抽出する。これら特異用法語ペアを含む特異用法語ペア情報は、図７の右上側に示すものとなる。
【００８３】
図８は、出力部１０９が入力文書の範囲ごとの汎用度を示す情報を、図示しない表示装置に出力した場合の、表示画面の一例である。汎用度推定部１０８は、入力文書を指定された単位で区切り、区切った単位ごとに汎用度を推定する。図８の例では、指定された単位を１ページとしている。そして汎用度推定部１０８は、範囲（１ページ）ごとに、特異用法語がペアで出現した回数をカウントする。文書汎用度推定部１０８は、図７の例の場合、「時間／時刻」、「部署／部門」、「審査／考査」が各ページ内に対で出現した回数をカウントする。
【００８４】
文書汎用度推定部１０８は、この出現回数をそのまま汎用度としてもよいし、割合を汎用度としてもよいし、その両方でもよい。図８の例では、文書汎用度推定部１０８は、出現回数と、出現回数を、出現回数の合計で除した割合の両方を汎用度としている。
【００８５】
出力部１０９は、区切った範囲毎（図８の例ではページ毎）に、推定された汎用度を示す情報を、図８に示すような一覧の形式にし、図示しない表示装置の表示画面に表示させるよう、該表示装置に出力する。これにより、表示装置は、図８に示すような、ページ毎の汎用度の一覧を表示させることができる。
【００８６】
（効果）
以上のように、本実施形態に係る文書汎用度推定装置１０の差分抽出部１０４は、２つの表記ゆれ候補（第１文字列および第２文字列）を含む表記ゆれ候補ペア（第１の組）から差分の語（第３文字列および第４文字列）を抽出する。そして、差分抽出部１０４は、抽出した２つの差分の語を含む差分ペア（第２の組）と、表記ゆれ候補ペアとを関連付ける。その後、区別語選定部１０５は、差分ペアに関連付けられた表記ゆれ候補ペアの個数が所定の個数以上か否かを確認し、所定の個数以上の場合、当該第２の組が、区別されて使用されている語句を表す区別語のペアであると判定する。そして、特異用法語抽出部１０７が、区別語ペアのうち、概念辞書１０６において、差分の語同士が、同義関係または類義関係にある区別語ペアを特異用法語ペアとして抽出する。その後、文書汎用度推定部１０８が、特異用法語ペアの出現頻度を、所定の単位で区切られた、文書の範囲ごとに算出し、該出現頻度に基づいて前記文書の汎用度を推定する。
【００８７】
このように、文書汎用度推定部１０８が、表記ゆれではない文字列のペアであって、特に区別されている文字列のペアの、文書の所定の単位における出現頻度を算出する。例えば、文書内で区別して使い分けられており、且つ、概念辞書１０６内での意味が類似している語の組の出現頻度が、文書内のある特定の範囲でのみ高い場合、この箇所は汎用度が低い（専門的な文書である）可能性が高い。したがって、文書汎用度推定装置１０は、文書全体の所定の単位ごとに、その文書の汎用度を推定することができる。これにより、同義で使われているのか、区別して使われているのかが判別しにくい用語等の知識の活用範囲を明確にすることができる。
【００８８】
また、区別語選定部１０５は、区別語ペアのうち、一方の区別語が、他方の区別語を含む場合、このペアを、区別語ペアから除外する。更に、区別語選定部１０５は、は、区別語ペアのうち、両方の区別語の読みが一致する場合、このペアを、区別語ペアから除外する。これにより、区別語選定部１０５は、より精度よく、表記ゆれの文字列を特定し、特異用法語抽出部１０７以降の処理で使用する文字列に表記ゆれの文字列を含めないようにすることができる。これにより、より精度よく、文書の汎用度を算出することができる。
【００８９】
また、区別語選定部１０５は、入力文書において、表記ゆれ候補ペアに含まれる各表記ゆれ候補の出現回数を算出し、区別語ペアのうち、該区別語ペアに関連する表記ゆれ候補ペアの表記ゆれ候補の出現回数を、差分の語ごとに累計する。そして、この累計された、差分の語ごとの出現回数の偏りが、所定の値より大きい場合、例えば、一方の出現回数が第１の所定の閾値以下であり、他方の出現回数が第２の所定の閾値以上の場合、該差分の語を含む差分ペアを区別語ペアから除外する。出現回数の偏りがある場合、この２つの語は、表記ゆれ語である可能性が高い。したがって、区別語選定部１０５は、特異用法語抽出部１０７以降の処理で使用する文字列に表記ゆれの文字列を含めないようにすることができる。これにより、より精度よく、文書の汎用度を算出することができる。
【００９０】
＜第２の実施形態＞
次に、図９と図１０とを参照しながら、第２の実施形態に係る文書汎用度推定装置２０１について説明する。図９は、本発明の第２の実施形態に係る文書汎用度推定装置２０１が有する構成の一例を示すブロック図である。図１０は、第２の実施形態に係る文書汎用度推定装置２０１における処理の流れの一例を示すフローチャートである。以下では、図９に示す各部の機能を、図１０に示すフローチャートを用いながら説明を行う。
【００９１】
第２の実施形態に係る文書汎用度推定装置２０１は、図９に示す通り、第１の抽出部２０２と、判定部２０３と、第２の抽出部２０４と、推定部２０５とを有する。
【００９２】
文書汎用度推定装置２０１は、例えば、外部装置から第１の組３０１を受信する。
【００９３】
第１の組３０１は、特定の品詞の単語が連なる文字列のうち、相互に類似する２つの文字列を含む。たとえば、この文字列は、第１の実施形態に例示するように、文書に対し、形態素解析処理を行うことにより、文書内の文章を単語に区切り、該単語の品詞を特定し、特定の品詞が連続する単語を抽出することにより求められる。相互に類似する２つの文字列は、たとえば、複数の文字列に関して、編集距離等を用いて文字列間が類似する程度を表す類似度を求め、類似度が所定の値以上であるか否かに応じて求められる。
【００９４】
このように、第１の組３０１は、上述した第１の実施の形態における表記ゆれ候補ペアであり、第１の組３０１に含まれる２つの文字列は、表記ゆれ候補である。
【００９５】
以降においては、説明の便宜上、第１の組３０１が含む２つの文字列を、第１文字列と、第２文字列と呼ぶ。この第１の文字列と第２の文字列とは互いに関連付けられている。
【００９６】
第１の抽出部２０２は、上述した第１の実施の形態における差分抽出部１０４に相当する。
【００９７】
第１の抽出部２０２は、第１の組３０１に含まれる第１文字列と、第２文字列とを読み取り、該第１文字列と、該第２文字列との差分を求め、差分の文字列を含む組を第２の組とする（図１０のステップＳ２０１）。ここで、差分を表す文字列を第３文字列、及び、第４文字列と表す。第３文字列は、第１文字列に含まれるが第２文字列には含まれない文字列である。第４文字列は、第２文字列に含まれるが第１文字列には含まれない文字列である。すなわち、第１の抽出部２０２は、第１文字列と第２文字列とから、第３文字列と第４文字列とを抽出する。そして、差分抽出部２０２は、該第３文字列と、該第４文字列と含む組を第２の組とする。この第２の組は、上述した第１の実施の形態に係る差分ペアである。
【００９８】
次に、第１の抽出部２０２は、第２の組と、第１の組３０１とを関連付ける（図１０のステップＳ２０２）。
【００９９】
差分抽出部２０２は、複数の第１の組３０１に関して、上述した処理を実行する。そして、第１の抽出部２０２は、第２の組を示す情報を出力し、該第２の組を示す情報が判定部２０３に入力される。
【０１００】
判定部２０３は、上述した第１の実施の形態における区別語選定部１０５に相当する。
【０１０１】
判定部２０３は、第１の抽出部２０２から第２の組を示す情報を受け取る。そして、判定部２０３は、第２の組に関連付けられた第１の組の個数を求める。判定部２０３は、求めた個数に基づき、第２の組が区別語の組であるか否かを判定する（図１０のステップＳ２０３）。ここで、区別語とは、区別されて使用されている語句を表す。たとえば、判定部２０３は、第２の組に関連付けられた第１の組の個数が、所定の個数（たとえば、２）以上である場合、第２の組を区別語の組である（すなわち、表記ゆれ語の組ではない）と判定する。また、判定部２０３は、第２の組に関連付けられた第１の組の個数が所定の個数未満である場合に、第２の組を区別語の組ではない（すなわち、表記ゆれ語の組である）と判定する。
【０１０２】
すなわち、判定部２０３は、区別語の組であると判定された第２の組に含まれる第３文字列及び第４文字列を、区別語であると判定する。また、判定部２０３は、表記ゆれ語の組であると判定された第２の組に含まれる第３文字列及び第４文字列を、表記ゆれ語であると判定する。
【０１０３】
そして、判定部２０３は、区別語の組を示す情報を出力し、該情報が第２の抽出部２０４に入力される。
【０１０４】
第２の抽出部２０４は、上述した第１の実施の形態における特異用法語抽出部１０７に相当する。第２の抽出部２０４は、判定部２０３から、区別語の組を示す情報を受け取る。第２の抽出部２０４は、上記情報によって示される区別語の組の中で、該区別語の組に含まれる第３文字列および第４文字列の関係が、例えば、第１の実施の形態における概念辞書１０６のような辞書において同義関係または類義関係である区別語の組を抽出する（図１０のステップＳ２０４）。この辞書は、単語の同義関係または類義関係に基づいて複数の単語間における関連を表す一般概念情報が記述された辞書である。このステップＳ２０４にて抽出される区別語の組は、上述した第１の実施の形態における特異用法語ペアに相当する。
【０１０５】
第２の抽出部２０４は、抽出した区別語の組を示す情報を出力し、該情報が推定部２０５に入力される。
【０１０６】
推定部２０５は、上述した第１の実施の形態における文書汎用度推定部１０８に相当する。第２の抽出部２０４から区別語の組を示す情報を受け取る。また、推定部２０５は、自身に格納された、または、図示しない記憶部等に記憶された、所定の単位（章、ページ、段落、文、文字数等）区切られた文書を取得する。なお、所定の単位を示す情報が、推定部２０５自身、または、図示しない記憶部等に格納されており、例えば外部装置から受信した文書を、推定部２０５が上記指定された単位に区切ってもよい。
【０１０７】
推定部２０５は、このように、文書において、所定の単位で区切られた範囲ごとに、第２の抽出部２０４から受信した情報によって示される区別語の組の出現頻度（出現回数）を算定する（図１０のステップＳ２０５）。そして、推定部２０５は、算出した出現頻度に基づいて、文書の汎用度３０２を上記範囲毎に推定する（図１０のステップＳ２０６）。
【０１０８】
汎用度３０２は、例えば、第２の抽出部２０４が抽出した区別語の組の出現回数そのものであってもよい。また、汎用度３０２は、第２の抽出部２０４が抽出した区別語の組の出現回数を前記範囲の文字数で除した割合であってもよいし、第２の抽出部２０４が抽出した区別語の組の出現回数を文書全体の該区別語の組の出現回数で除した割合でもよい。なお、推定部２０５は、更に、文書全体の汎用度を算出してもよい。
【０１０９】
以上のように、本実施形態に係る文書汎用度推定装置２０１によれば、文書の汎用度を所定の範囲毎に推定することができる。この理由は、文書内で区別して使い分けられており、且つ、概念辞書上での意味が類似している語の組の文書の所定の範囲での出現頻度が高い場合、その箇所は汎用度の低い（専門的な文書である）文書である可能性が高いからである。本実施形態では、文書の指定の範囲毎に、区別語の組のうち、概念辞書上で意味が類似している区別語の組の出現頻度を用いて、文書の所定の範囲毎の出現頻度を算出しているため、より高精度に文書の汎用度を推定することができる。
【０１１０】
（ハードウェア構成例）
上述した本発明の各実施形態における文書汎用度推定装置を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、係る文書汎用度推定装置は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現してもよい。また、係る文書汎用度推定装置は、専用の装置として実現してもよい。
【０１１１】
図１１は、第１の実施形態または第２の実施形態に係る文書汎用度推定装置（１０、２０１）を実現可能な計算処理装置のハードウェア構成例を概略的に示す図である。計算処理装置２０は、中央処理演算装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、以降「ＣＰＵ」と表す）２１、メモリ２２、ディスク２３、及び、不揮発性記録媒体２４のドライブ装置２９を有する。計算処理装置２０は、さらに、通信インタフェース（以降、「通信ＩＦ」と表す。）２７、及び、ディスプレイ２８を有する。また、計算処理装置２０は、入力装置２５および出力装置２６と通信可能に接続されている。なお、計算処理装置２０は、入力装置２５および出力装置２６を内部に設ける構成であってもよい。この場合、ディスプレイ２８は、出力装置２６に含まれる構成であってもよい。計算処理装置２０は、通信ＩＦ２７を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。
【０１１２】
メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）によって実現される。
【０１１３】
ディスク２３は、ソフトウェア・プログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を格納しており、例えば、ハードディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等によって実現される。
【０１１４】
不揮発性記録媒体２４は、コンピュータが読み取り可能な、たとえば、コンパクトディスク（Ｃｏｍｐａｃｔ  Ｄｉｓｃ（ＣＤ））、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ＿Ｖｅｒｓａｔｉｌｅ＿Ｄｉｓｃ（ＤＶＤ））である。また、不揮発性記録媒体２４は、ユニバーサルシリアルバスメモリ（ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ）、ソリッドステートドライブ（Ｓｏｌｉｄ＿Ｓｔａｔｅ＿Ｄｒｉｖｅ（ＳＳＤ））等であってもよい。不揮発性記録媒体２４は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。なお、不揮発性記録媒体２４は、上述した媒体に限定されない。また、係るプログラムは、不揮発性記録媒体２４に記憶されたものに限定されず、通信ＩＦ２７がインターネット等の通信ネットワークを介して外部よりダウンロードしたものであってもよい。
【０１１５】
入力装置２５は、例えば、マウス、キーボード、内蔵のキーボタン、又は、タッチパネルなどで実現され、入力操作に用いられる。
【０１１６】
出力装置２６は、例えば、計算処理装置２０の外部に設けられたディスプレイで実現され出力を確認するために用いられる。
【０１１７】
また、ディスプレイ２８は、例えば、計算処理装置２０に内蔵された表示装置によって実現される。
【０１１８】
すなわち、ＣＰＵ２１は、ディスク２３または不揮発性記録媒体２４に記憶された各種プログラムを、実行する際にメモリ２２にコピーし、演算処理を実行する。ＣＰＵ２１は、プログラム実行に必要なデータをメモリ２２から読み取る。表示が必要な場合には、ＣＰＵ２１は、ディスプレイ２８に出力結果を表示する。外部への出力が必要な場合には、ＣＰＵ２１は、出力装置２６に出力結果を出力する。
【０１１９】
具体的には、ＣＰＵ２１は、上述したブロック図（図１、または、図９）に示す各部が表す機能（処理）に対応する、メモリ２２にコピーされた文書汎用度推定プログラムを実行する。なお、係る文書汎用度推定プログラムは、例えば、各実施の形態の説明において参照したフローチャート（図２、または、図１０）に記載した処理を実現可能なプログラムである。このように、ＣＰＵ２１は、上述した本発明の各実施形態において説明した処理を行う。
【０１２０】
すなわち、このような場合、本発明は、係る文書汎用度推定プログラムによっても成し得ると捉えることができる。さらに、係る文書汎用度推定プログラムが記録されたコンピュータ読み取り可能な不揮発性の記録媒体によっても、本発明は成し得ると捉えることができる。
【０１２１】
上述した各実施形態では、ブロック図に示した各ブロックに示す機能を、図１１に示すＣＰＵ２１が実行する一例として、ソフトウェア・プログラムによって実現する場合について説明した。しかしながら、ブロック図に示した各ブロックに示す機能は、一部または全部を、ハードウェアの回路として実現してもよい。
【０１２２】
以上、上述した実施形態を模範的な例として本発明を説明した。しかし、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【産業上の利用可能性】
【０１２３】
本発明によれば、文書の汎用度を推定し、汎用度の高い文書のみから用語リストや記述不足が発生しやすい単語リストを構築する、といった用途に適用できる。
【符号の説明】
【０１２４】
１０  文書汎用度推定装置
１０１  入力部
１０２  形態素辞書
１０３  表記ゆれ候補抽出部
１０４  差分抽出部
１０５  区別語選定部
１０６  概念辞書
１０７  特異用法語抽出部
１０８  文書汎用度推定部
１０９  出力部
１１０  記憶部
２０１  文書汎用度推定装置
２０２  第１の抽出部
２０３  判定部
２０４  第２の抽出部
２０５  推定部
３０１  第１の組
３０２  汎用度
２０    計算処理装置
２１    ＣＰＵ
２２    メモリ
２３    ディスク
２４    不揮発性記録媒体
２５    入力装置
２６    出力装置
２７    通信ＩＦ
２８    ディスプレイ
２９    ドライブ装置
【図１】
0006641749.tif 000002
【図２】
0006641749.tif 000003
【図３】
0006641749.tif 000004
【図４】
0006641749.tif 000005
【図５】
0006641749.tif 000006
【図６】
0006641749.tif 000007
【図７】
0006641749.tif 000008
【図８】
0006641749.tif 000009
【図９】
0006641749.tif 000010
【図１０】
0006641749.tif 000011
【図１１】
0006641749.tif 000012