(57)【要約】【課題】  ユーザにとってわかりやすい表現で情報の抽出が可能な自然言語処理方法、自然言語処理装置、自然言語処理プログラム及び自然言語処理プログラムが記録された記録媒体、を提供すること。【解決手段】  テキストを言語解析して形態素に分割し、該テキストから情報を抽出する自然言語処理方法において、形態素の活性に係るポイントを増減するポイント増減手順と、ポイント増減手順により増減された形態素のポイントを記憶するポイント記憶手順と、ポイント記憶手順に記憶されているポイントを参照し、該ポイントの大きさに基づいて前記テキストから情報を抽出する、ことを特徴とする自然言語処理方法を提供する。【選択図】  図４
2005339043.tif 000002
【特許請求の範囲】
【請求項１】
テキストを言語解析して形態素に分割し、該テキストから情報を抽出する自然言語処理方法において、
形態素の活性に係るポイントを増減するポイント増減手順と、
前記ポイント増減手順により増減された形態素のポイントを記憶するポイント記憶手順と、
前記ポイント記憶手順に記憶されているポイントを参照し、該ポイントの大きさに基づいて前記テキストから情報を抽出する、
ことを特徴とする自然言語処理方法。
【請求項２】
前記テキストを言語解析する際に参照する辞書と、
前記辞書の形態素を参照した日時をその都度形態素毎に記憶する形態素参照日時記憶手順と、を有し、
前記ポイント増減手順は、前記形態素参照日時記憶手順により記憶されている第１の日時と前回ポイントの増減を行った第２の日時とを比較し、
前記第１の日時が前記第２の日時よりも新しい場合、当該形態素のポイントを所定量増大させ、前記第１の日時が前記第２の日時よりも新しくない場合、当該形態素のポイントを所定量減少させる、
ことを特徴とする請求項１記載の自然言語処理方法。
【請求項３】
言語解析によりテキストを分割して得られた形態素の類義語に係る情報を参照する類義語情報参照手順を有し、
前記ポイント増減手順は、前記類義語情報参照手順が参照した類義語のポイントを増大させ、前記ポイント記憶手順により記憶させる、
ことを特徴とする請求項１又は２記載の自然言語処理方法。
【請求項４】
前記類義語のポイントを増大させるか否かを判定するための判定閾値を指定する判定閾値指定手順を、有し、
前記ポイント増減手順は、前記判定閾値指定手順により指定された前記判定閾値と前記ポイント記憶手順に記憶された前記類義語のポイントとを比較し、前記判定閾値の方が小さい場合、当該類義語のポイントを増大させる、
ことを特徴とする請求項３記載の自然言語処理方法。
【請求項５】
テキストを言語解析して形態素に分割し、該テキストから情報を抽出する自然言語処理装置において、
形態素の活性に係るポイントを増減するポイント増減手段と、
前記ポイント増減手段により増減された形態素のポイントを記憶するポイント記憶手段と、
前記ポイント記憶手段に記憶されているポイントを参照し、該ポイントの大きさに基づいて前記テキストから情報を抽出する、
ことを特徴とする自然言語処理装置。
【請求項６】
前記テキストを言語解析する際に参照する辞書と、
前記辞書の形態素を参照した日時をその都度形態素毎に記憶する形態素参照日時記憶手段と、を有し、
前記ポイント増減手段は、前記形態素参照日時記憶手段により記憶されている第１の日時と前回ポイントの増減を行った第２の日時とを比較し、
前記第１の日時が前記第２の日時よりも新しい場合、当該形態素のポイントを所定量増大させ、前記第１の日時が前記第２の日時よりも新しくない場合、当該形態素のポイントを所定量減少させる、
ことを特徴とする請求項５記載の自然言語処理装置。
【請求項７】
言語解析によりテキストを分割して得られた形態素の類義語に係る情報を参照する類義語情報参照手段を有し、
前記ポイント増減手段は、前記類義語情報参照手段が参照した類義語のポイントを増大させ、前記ポイント記憶手段により記憶させる、
ことを特徴とする請求項５又は６記載の自然言語処理装置。
【請求項８】
前記類義語のポイントを増大させるか否かを判定するための判定閾値を指定する判定閾値指定手段を、有し、
前記ポイント増減手段は、前記判定閾値指定手段により指定された前記判定閾値と前記ポイント記憶手段に記憶された前記類義語のポイントとを比較し、前記判定閾値の方が小さい場合、当該類義語のポイントを増大させる、
ことを特徴とする請求項７記載の自然言語処理装置。
【請求項９】
請求項１ないし４記載の自然言語処理方法をコンピュータに実行させる自然言語処理プログラム。
【請求項１０】
請求項９記載の自然言語処理プログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストデータを分析することが可能なテキストマイニング技術に係わり、特に、ユーザにとってわかりやすい表現で情報の抽出が可能な自然言語処理方法、自然言語処理装置、自然言語処理プログラム及び自然言語処理プログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
従来、アンケートデータやコールセンターに寄せられたデータなどの大量のテキストデータを分析することを目的としたテキストマイニングが知られている。テキストマイニングを用いれば、ユーザのクレームや意見、アンケートの自由記述回答文、インターネット上の掲示板での書き込みなどを分析できる。
【０００３】
テキストマイニングを用いた分析を行う際には、文書集合内に含まれる特徴的な概念を抽出することが大きな課題の一つとなる。概念情報を含む情報抽出技術は、大量のテキストデータから何らかの知見を見出す方法として研究が進んでいる。テキストデータから主題やトピック、書き手の意図等を表現する有益な情報を抽出することができれば、主題等に基づいた文書検索、文書解析、文書分析などの応用が実現可能となる。
【０００４】
テキストマイニング技術においては、分析したテキストデータの文書カテゴリを代表用語で表現したり、重要文のキーワードを抽出するなど、用語を用いて分析の結果を表現することが多い。 このような代表用語の選出処理は、主に例えば形態素解析など、用語辞書を利用した自然言語処理手法により、文書・文書集合内の用語の出現頻度などの統計情報が用いられることが一般的である。
【０００５】
しかしながら、出現頻度の高い用語で情報を抽出しても、その用語が専門用語や一部だけで通用するような用語であると、抽出された情報がユーザによっては難解となる。これに対し、難解な用語の意義の理解を支援する方法として、いわゆる、パラフレージング技術が提案されている(例えば、非特許文献１参照。)。パラフレージング技術とは、用語を別の用語で置き換えたり、併記することをいう。パラフレージング技術を用いれば、難解な用語などを別の言葉で表現できるので、抽出された情報の理解が容易にすることができる。
【非特許文献１】http://www.pluto.ai.kyutech.ac.jp/NLP/guide/news/file/525.html”インタラクティブパラフレーズ”、言語処理学会第7回年次大会ワークショップ（（2001年3月26日〜30日）、東中竜一郎・長尾確)
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザにとって有益な情報はユーザにより異なるため、パラフレージングされた用語がユーザにとって未知又は既知なのか、既知であるとしたらどの程度既知なのかが不明である。ユーザの立場に立てば、例えば、未知の用語や普段あまり使用しない用語により表現されても、あまり有用な情報とは感じられず、逆にユーザがよく使用する用語であれば、より有用性が感じられると考えられる。したがって、パラフレージング技術では、ユーザにとってわかりにくい表現となる可能性が生じるという問題があった。
【０００７】
本発明は、上記問題に鑑み、ユーザにとってわかりやすい表現で情報の抽出が可能な自然言語処理方法、自然言語処理装置、自然言語処理プログラム及び自然言語処理プログラムが記録された記録媒体、を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記問題に鑑み、テキストを言語解析して形態素に分割し、該テキストから情報を抽出する自然言語処理方法において、形態素の活性に係るポイントを増減するポイント増減手順と、ポイント増減手順により増減された形態素のポイントを記憶するポイント記憶手順と、ポイント記憶手順に記憶されているポイントを参照し、該ポイントの大きさに基づいて前記テキストから情報を抽出する、ことを特徴とする。本発明によれば、活性に係るポイントの大きい形態素を用いることで、ユーザにとってわかりやすい表現で情報の抽出が可能な自然言語処理方法を提供できる。
【０００９】
また、本発明の自然言語処理方法の一形態において、テキストを言語解析する際に参照する辞書と、辞書の形態素を参照した日時をその都度形態素毎に記憶する形態素参照日時記憶手順と、を有し、ポイント増減手順は、形態素参照日時記憶手順により記憶されている第１の日時と前回ポイントの増減を行った第２の日時とを比較し、第１の日時が前記第２の日時よりも新しい場合、当該形態素のポイントを所定量増大させ、第１の日時が前記第２の日時よりも新しくない場合、当該形態素のポイントを所定量減少させる、ことを特徴とする。本発明によれば、辞書を参照される頻度の高い形態素の活性に係るポイントを大きくすることができる。
【００１０】
また、本発明の自然言語処理方法の一形態において、言語解析によりテキストを分割して得られた形態素の類義語に係る情報を参照する類義語情報参照手順を有し、ポイント増減手順は、類義語情報参照手順が参照した類義語のポイントを増大させ、ポイント記憶手順により記憶させる、ことを特徴とする。本発明によれば、辞書を参照された形態素の類義語においても、活性に係るポイントを増大させることができる。
【００１１】
また、本発明の自然言語処理方法の一形態において、類義語のポイントを増大させるか否かを判定するための判定閾値を指定する判定閾値指定手順を、有し、ポイント増減手順は、判定閾値指定手順により指定された判定閾値とポイント記憶手順に記憶された類義語のポイントとを比較し、判定閾値の方が小さい場合、当該類義語のポイントを増大させる、ことを特徴とする。本発明によれば、類義語として参照しても、活性に係るポイントが判定閾値よりも低い場合には、ポイントを増大させないので、活性に係るポイントが小さい形態素で情報が抽出されることが防止できる。なお、判定の閾値は、活性の度合いが分かるものであればよいので、例えば辞書を参照した日時であってもよい。日時を閾値とした場合、形態素参照日時記憶手順により記憶されている第１の日時と比較する。
【００１２】
また、本発明は、テキストを言語解析して形態素に分割し、該テキストから情報を抽出する自然言語処理装置において、形態素の活性に係るポイントを増減するポイント増減手段と、ポイント増減手段により増減された形態素のポイントを記憶するポイント記憶手段と、ポイント記憶手段に記憶されているポイントを参照し、該ポイントの大きさに基づいて前記テキストから情報を抽出する、ことを特徴とする。本発明によれば、活性に係るポイントの大きい形態素を用いることで、ユーザにとってわかりやすい表現で情報の抽出が可能な自然言語処理装置を提供できる。
【００１３】
また、本発明の自然言語処理装置において、テキストを言語解析する際に参照する辞書と、辞書の形態素を参照した日時をその都度形態素毎に記憶する形態素参照日時記憶手段と、を有し、ポイント増減手段は、形態素参照日時記憶手段により記憶されている第１の日時と前回ポイントの増減を行った第２の日時とを比較し、第１の日時が第２の日時よりも新しい場合、当該形態素のポイントを所定量増大させ、第１の日時が前記第２の日時よりも新しくない場合、当該形態素のポイントを所定量減少させる、ことを特徴とする。
【００１４】
また、本発明の自然言語処理装置において、言語解析によりテキストを分割して得られた形態素の類義語に係る情報を参照する類義語情報参照手段を有し、ポイント増減手段は、類義語情報参照手段が参照した類義語のポイントを増大させ、前記ポイント記憶手段により記憶させる、ことを特徴とする。
【００１５】
また、本発明の自然言語処理装置において、類義語のポイントを増大させるか否かを判定するための判定閾値を指定する判定閾値指定手段を、有し、ポイント増減手段は、判定閾値指定手段により指定された判定閾値と前記ポイント記憶手段に記憶された類義語のポイントとを比較し、判定閾値の方が小さい場合、当該類義語のポイントを増大させる、ことを特徴とする。
【００１６】
また、本発明は、上記の自然言語処理方法をコンピュータに実行させる自然言語処理プログラムを提供する。また、本発明は、自然言語処理方法をコンピュータに実行させる自然言語処理プログラムが記録された記録媒体を提供する。
【発明の効果】
【００１７】
ユーザにとってわかりやすい表現で情報の抽出が可能な自然言語処理方法、自然言語処理装置、自然言語処理プログラム及び自然言語処理プログラムが記録された記録媒体、を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について、図を参照しながら実施例を上げて説明する。
【実施例１】
【００１９】
図１は、自然言語処理装置の機能構成図の一例を示す。図１の自然言語処理装置は、テキストデータ入力手段１１、言語解析手段１２、用語活性度算出手段１３、用語辞書１４、用語活性度記憶手段１５、用語参照時刻計測手段１６及び用語参照時刻記憶手段１７を有するように構成される。以下、図１の各手段について詳細に説明する。
【００２０】
〔テキストデータ入力手段１１〕
テキストデータ入力手段１１は、言語解析の対象となるテキストデータを入力する。キーボードを用いて入力することも可能であるし、すでにテキストデータが記録されているファイルを入力してもよい。その他、スキャニング、コピー＆ペーストなど様々な方法で入力できる。なお、本実施例において、テキストを構成する最小単位を用語と称し、言語解析して分割された、テキストを構成する最小単位を形態素と称す。両者は同等なものであるが、本実施例では、テキストから分割された場合に形態素と称し、それ以外（用語辞書に格納されている場合、活性度を表す場合、類義語を表す場合など）は、用語と称する。
【００２１】
〔言語解析手段１２〕
言語解析手段１２は、入力されたテキストデータに対して言語解析を行う。本実施例による自然言語処理では、テキストデータを言語解析した結果得られる形態素に関し、ユーザにとって有益な付加情報を与える。したがって、言語解析手段１２は、例えば形態素解析や文節係り受け解析などの手法を用い、言語解析を行いテキストデータを形態素に分割する。言語解析手段１２は、用語辞書１４を有し、用語辞書１４を用いて形態素解析を行う。以下の実施例では、用語辞書１４を用いる任意の自然言語処理方法を対象として、日本語文書を対象とした形態素解析により処理を行う。なお、本実施例では、形態素解析アルゴリズム自体を改良する例は示さないが、本実施例の簡単な応用により形態素解析アルゴリズム自体に機能追加できる。
【００２２】
なお、本実施例では簡単のため、形態素解析の機能はモジュール化されており、任意の文字列を入力すると文字列を構成する形態素の識別番号をリスト形式（複数行×１列の１次元リスト形式）で取得する機能を有しているものとする。すなわち、言語解析手段１２は形態素解析モジュールを有し、形態素解析モジュールによりテキストデータが形態素に分割される。
【００２３】
形態素解析処理について簡単に説明する。形態素解析とは、与えられた文字列（テキストデータ）を用意されている用語辞書を基に形態素(語の最小単位)に分ける処理である。例えば、”そこで履物を脱げ”という文字列に対して形態素解析が行われた結果を図２に示す。図２の形態素解析の処理結果において、記号“／”は形態素の区切りを示す。図２の形態素解析の処理結果によれば、”そこで履物を脱げ”という文字列は、５つの形態素に分割される。なお、通常、形態素解析では各形態素に対し品詞や基本型などの情報も得ることができるが、本実施例での形態素解析は、文字列に対して形態素の基本型と辞書内での識別番号が得られるものであればよい。また、使用される内部アルゴリズムや用語辞書は限定されない（形態素解析については、「情報検索と言語処理」、徳永健伸、東京大学出版会等に詳しい。）。
【００２４】
〔用語参照時刻計測手段１６〕
用語参照時刻計測手段１６は、言語解析手段１２が用語辞書１４を参照するときの日時（以下、単に時刻という）を計測する。図３は、自然言語処理として形態素解析を行い、用語参照時刻計測手段１６が用語辞書１４を参照するときの時刻を計測する処理の疑似コードの一例を示す。なお、“＊”で囲まれる処理（ステップＳ１、Ｓ２）については、形態素解析を構成する用語辞書１４に更新されない場合には1度だけ実行すればよい。
【００２５】
図３の擬似コードに沿って説明する。始めに、用語辞書１４を構成する形態素とその識別番号が図４（ａ）及び（ｂ）に示されるような構成であるとする。例えば、形態素“どこ”の識別番号は“１２２２”、形態素“靴”の識別番号は“７９５５０”である。
【００２６】
ステップＳ１において、言語解析手段１２は、識別番号をリストIDLに出力する。リストIDLは図３（ｃ）のように、図３（ｂ）と同じ識別番号が取得される。すなわち、用語辞書１４の全ての用語がリストＩＤＬに識別番号を要素値として出力される。次いで、ステップＳ２において、リストIDLと同じ要素数のリストTLが生成され、図３（ｄ）のように、初期値−１が代入される。
【００２７】
次に、ステップＳ３において、この形態素解析モジュールに対し、”そこで履物を脱げ”と言う文字列Ｓが入力される。次いで、ステップＳ４において、形態素解析モジュールが図２に示す形態素に文字列Ｓを分割する。
【００２８】
ステップ５において、言語解析手段１２は、文字列Ｓの形態素を、リストＲＩＤＬに識別番号で出力する。図５は、リストRIDLの一例を示す。文字列Ｓ「そこで履物を脱げ」の各形態素では、“そこ”が１２２３、“で”が７８６６、“履物”が６５４３３、“を”が７８６７、“脱げ（脱ぐ）”が１２３４０５、の識別番号となる。
【００２９】
ステップＳ６において、用語参照時刻計測手段１６は、形態素の解析が終了した時刻を変数ＣＴに取得する。次いで、リストRIDLの要素値の識別番号に対応するリストTLの要素値を、変数ＣＴに格納された時刻と置き換える（ステップＳ７〜Ｓ９）。これにより、用語辞書１４を参照した時刻がリストＴＬに格納される。入力される時刻はどのような形式でもよいが、例えばUNIX（登録商標）オペレーティングシステム等で採用されているような基準時からの経過秒数として時刻を整数表現したものを用いることで時刻の算術処理が容易になる。例えば、整数表現としての形態素の解析処理の終了時刻がCT=２００３４５６７（２００３年４月５日６時７分）として与えられると、リストTLの所定の要素には、２００３４５６７が格納される。なお、本実施例では、簡単のためリストTLとして1次元リストを採用しているが、リストTLとして各要素が複数個の値をもつことができる多次元リストを採用することで、形態素の参照された時刻の傾向を有する情報を得ることができる。リストＲＩＤＬの全ての要素値について処理が終了すると、リストＴＬは、図４（ｅ）に示すような要素値を有する。
【００３０】
用語参照時刻記憶手段１７は、図３の擬似コードを処理することで得られた、用語辞書１４に含まれる用語の参照時刻をリストＴＬのような形式で記憶する。また、用語参照時刻計測記憶手段１７は、本願の特許請求の範囲では、形態素参照日時記憶手段をいう。
【００３１】
〔用語活性度算出手段１３〕
用語活性度算出手段１３は、言語解析手段１２が解析するテキストデータの用語（形態素）に対してその活性度を算出する。始めに、用語の活性度について説明する。活性度とは、当該ユーザにとってその形態素とどの程度接触の機会があるかを表す指標である。なお、活性度は、本願の特許請求の範囲では、活性に係るポイントであり、用語活性度算出手段１３は、ポイント増減手段である。
【００３２】
一例として、予め形態素の活性度が与えられており、所定の文書集合を代表する形態素を抽出する場合について説明する。形態素の活性度はユーザが最近作成した文書から得られる情報を基に算出されるものとする。まず、所定の文書集合の代表形態素として、”分析”、”制約”、”文書”という3つの形態素が得られており、それぞれの形態素の文書集合内での正規化された出現頻度が0.4、0.2、0.6、また、活性度が0.3、0.6、0.2であったとする。さらに、”制約”の類義語として、”制限”、”規制”、"限定”が与えられ、それぞれの活性度 が0.5、0.1、0.2であるものとする。
【００３３】
ここで所定の文書集合を代表する形態素に順序をつける場合、正規化頻度をもとにすると、”文書"、”分析"、”制約”の順序となるが、活性度順に並び替えると”制約”、"分析”、“文書”の順序となる。つまり、活性度により順序を付けると、文書集合内に含まれる代表形態素をユーザが最近作成した文書との関連の度合いによって順序付けていることになり、ユーザにとって接触の機会の多い形態素により代表形態素を表現できる。したがって、活性度を算出及び記憶することにより、その自然言語処理方法の処理結果およびその自然言語処理を含むより上位の処理に対し、ユーザにとって有益な付加情報を与えることができる。
【００３４】
”制約”と言う形態素を類義語で言い換えをおこなうことを考える。例えば、ユーザに類義語を提示し、それらをユーザに選択させるという手続きをとる場合、得られている形態素の活性度順に形態素（類義語）を提示することで、ユーザに選択の際の支援を与えることができる。
【００３５】
本実施例では、用語の活性度を以下のように定義する。
・活性度の初期値は0.5とする。
・減少定数をkとする。ただし、kは１以上の整数である。
・前回の活性度の算出時刻以降に用語辞書１４で参照されていない用語について、活性度を1/k減ずる。ただし、活性度が0未満となる場合は0とする。
・前回の算出時刻以降に用語辞書１４で参照された用語について、活性度に1/kを加える。ただし、活性度が1を越える場合は1とする。
【００３６】
活性度の定義によれば、前回の活性度の算出時刻を所定の記憶手段に保持しておき、用語辞書１４で参照された時刻が前回の活性度の算出時刻よりも新しい場合には、当該用語の活性度が１／ｋ増大する。逆に、用語辞書１４で参照された時刻が前回の活性度の算出時刻よりも古い場合には、当該用語の活性度が１／ｋ減少する。すなわち、参照される頻度の多い用語の活性度が増大し、参照される頻度の少ない用語の活性度は減少する。
【００３７】
用語活性度算出手段１３について説明する。用語の活性度を算出するには、後述する用語活性度記憶手段１５に既に記憶されている用語の活性度および用語参照時刻記憶手段１７にて記憶されている用語（形態素）の参照時刻を利用する。なお、用語参照時刻は、用語参照時刻計測手段１６が計測した参照時刻をそのまま利用してもよい。
【００３８】
なお、活性度の算出を行うタイミングは特に規定されない、すなわち、用語参照時刻計測手段１６が行う用語辞書１４における用語の参照時刻の取得と用語の活性度の算出とは、同期をとらなくてもよい。したがって、用語の活性度は、定期的な間隔で算出してもよいし、また、所定の処理からの指示により算出が行われてもよい。本実施例では、用語の活性度が定期的に算出されることとする。
【００３９】
用語の活性度を算出する処理について、図６の動作過程の疑似コードに基づき説明する。なお、図６の擬似コードでは、図４のリストを引き続き参照して処理する。また、*で囲まれる処理については、用語の活性度を初期化しない限り1度だけ実行すればよい。
【００４０】
ステップＳ１１では、用語活性度算出手段１３が、リストＩＤＬと同じ長さの活性度保管リストＡＬを作成し、初期値０．５を入力する。これにより図４（ｆ）の活性度保管リストＡＬが得られる。ステップＳ１２では、減少定数ｋとして適切な値を変数ＤＶに代入する。
【００４１】
ステップＳ１３では、前回の活性度の算出時刻を読み込み、変数ＰＳＴに代入する。次いで、ステップＳ１４以降の処理をリストＴＬの各要素について繰り返す。まず、ＴＬの要素値が、ＰＳＴよりも大きい（新しい）場合（ステップＳ１５）、リストＡＬの対応する要素値に１／ｋを加える（ステップＳ１６）。１／ｋを加えた結果、１より大きくなった場合には、リストＡＬの当該要素値は１とする（ステップＳ１７、Ｓ１８）。
【００４２】
ＴＬの要素値が、ＰＳＴよりも大きくない（古い）場合（ステップＳ１９）、リストＡＬの対応する要素値から１／ｋを減ずる（ステップＳ２０）。１／ｋを減じた結果、０より小さくなった場合には、リストＡＬの当該要素値は０とする（ステップＳ２１、Ｓ２２）。
【００４３】
ステップＳ１３からＳ２２の処理を、リストＴＬの全ての要素について行ったら、ステップＳ２３で、活性度の算出時刻として現在の時刻を所定の記憶手段に保持する。
【００４４】
例えば、図６の擬似コードにおいて、変数ＰＳＴに代入された活性度算出時刻を言語解析が開始された時刻（２００３年４月５日６時７分より前の所定日時）、また減少定数ｋを１０として、活性度を算出した場合、図４（ｇ）に示す結果が得られる。すわなち、図４（ｅ）のリストＴＬにおいて、参照されていない（−１の要素値を有する）形態素に対応するリストＡＬの要素値は０．４となり、参照されている（２００３４５６７の要素値を有する）形態素に対応するリストＡＬの要素値は０．６となる。
【００４５】
なお、本実施例では活性度の単純な手法で算出したが、例えば文書検索等で良く用いられるtf・idf法（TF（Term Frequency）・IDF（Inverted Document Frequency）。同一文書で繰り返し出現する形態素が重要、及び、出現する文書数が少ない形態素は文書の絞り込みに役立つから重要、という重要度を表す２つの指標を組み合わせて用語の重要度（活性度）を評価する手法）などを応用することで、より有用性の高い活性度が算出できる。また、本実施例では、簡単のためリストALとして1次元リストを採用しているがリストALとして各要素が複数個の値をもつことができる多次元リストを採用することで、各用語の活性度の遷移状態を表現する情報を保持できる。
【００４６】
〔用語活性度記憶手段１５〕
用語活性度記憶手段１５は、用語活性度算出手段１３により算出された用語辞書１４に含まれる各用語の活性度を適切な形式で記憶する。用語活性度記憶手段１５は、本願の特許請求の範囲では、ポイント記憶手段である。
【００４７】
以上説明したように、本実施例によれば、テキストデータなどの文書を構成する用語の活性度を算出することができる。活性度は、各形態素がユーザにとってどの程度未知なのか、またどの程度既知なのかを示す指標となる。活性度を用いれば、所定の文書集合内に含まれる代表形態素をユーザが最近作成した文書との関連の程度によって順序付けること等が可能となり、正規化頻度等とは異なり、各ユーザにとって接する頻度の高い、わかりやすい代表形態素で表現することができる。すなわち、自然言語処理などにより処理された結果を、当該自然言語処理を含む他の処理手段で利用する場合において、各ユーザ任意の尺度をもって、文書から情報を抽出することができる。ユーザにとって形態素がどの程度既知なのかに基づき情報を抽出することで、自由度の高いパラフレージング技術、自由度の高い代表形態素処理などが実現できる。
【実施例２】
【００４８】
実施例２では、言語解析して分割された形態素（用語）の類義語に対しても活性度を算出する自然言語処理装置について説明する。図７は、実施例２における、自然言語処理装置の機能構成図の一例を示す。なお、図７において図１と同一構成部分には同一の符号を付し、その説明は省略する。図７の自然言語処理装置は、類義語閾値指定手段２１、類義語抽出手段２２、類義語選択手段２３、を有する点で図１と異なる。以下、図７の各手段について詳細に説明する。
【００４９】
〔類義語抽出手段２２〕
類義語抽出手段２２は、対象となる用語の類義語を抽出する。類義語が抽出されると、用語活性度算出手段１３が、テキストデータが処理される過程で参照された用語の活性度を算出する際に、対象となる用語の類義語についても対象用語と同様に活性度の算出処理を行える。なお、本実施例においては、類義語の抽出手法やその際に用いられる類似辞書について特に制約はなく、適切に類義語が抽出できるものであれば、どのようなものでもよい。本実施例では、類義語抽出手段２２は、対象となる用語の用語辞書１４内の識別番号を入力すると、当該用語の類義語の識別番号がリストとして出力されるような類義語生成モジュールを有する。なお、類義語抽出手段２２は、本願の特許請求の範囲において、類義語情報参照手段である。
【００５０】
〔類義語閾値指定手段２１、類義語選択手段２３〕
類義語閾値指定手段２１は、類義語の閾値を入力するための手段を提供する。また、類義語選択手段２３は、類義語抽出手段２２により抽出された類義語について、類義語が有している活性度と、類義語閾値指定手段で指定された閾値を比較することにより、当該類義語が活性度を高めてよい用語かどうかを判断する。
【００５１】
活性度の低い用語は、ユーザが認知する可能性が低いものであると考えられるため、そのような用語の活性度を高めることは、活性度という指標の性能の低下をもたらすと考えられる。このため、類義語選択手段２３により活性度を高めてよい用語かどうかを判断する。したがって、本実施例で類義語閾値指定手段２１は、活性度の大きさを閾値として指定する。なお、類義語閾値指定手段２１は、本願の特許請求の範囲において、判定閾値指定手段である。
【００５２】
類義語を抽出して活性度を算出する自然言語処理装置の処理について図８の擬似コードに基づき説明する。なお、図３及び図６と同様な処理については簡単に説明する。
【００５３】
まず、言語解析されるテキストデータとして図２のテキストデータを用い、図８の擬似コードの処理が開始されるまでの処理について簡単に説明する。用語辞書１４を構成する形態素とその識別番号が図９（ａ）及び（ｂ）に示されるような構成であるとする。言語解析が開始されると言語解析手段１２は、各用語の識別番号をリストIDLに取得し、リストIDLは図９（ｃ）のように、図９（ｂ）と同じ識別番号が入力される。次いで、リストIDLと同じ要素数のリストTLが生成され、図９（ｄ）のように、初期値−１が代入される。リストＴＬは、用語参照時刻計測手段１６により、用語辞書１４で参照された時刻が入力され、図９（ｅ）のようになる。次いで、用語活性度算出手段１３は、リストＩＤＬと同じ長さの活性度保管リストＡＬを作成し、初期値０．５を入力する。これにより図９（ｆ）の活性度保管リストＡＬが得られる。
【００５４】
ステップＳ３１において、用語活性度算出手段１３が、類義語閾値指定手段２１により指定された類義語閾値を読み込み、変数ＴＶに代入する。本実施例では、一例として類義語閾値として０．３をＴＶに代入する。
【００５５】
ステップＳ３２において、用語活性度算出手段１３が、前回の活性度算出時刻を読み込み、変数ＰＳＴに代入する。次いで、リストＴＬの要素値がＰＳＴよりも大きい場合、リストＡＬの対応する要素値に１／ｋを加える（ステップＳ３３〜Ｓ３５）。１／ｋを加えた結果、１より大きくなる場合は、要素値を１とする（ステップＳ３６、Ｓ３７）。
【００５６】
入れ子構造の関係を簡単にするため、ステップＳ４６〜Ｓ５０について先に説明する。すなわち、リストＴＬの要素値がＰＳＴよりも大きくない場合、リストＡＬの対応する要素値から１／ｋを減ずる（ステップＳ４６、Ｓ４７）。１／ｋを減じた結果、１より小さくなる場合は、要素値を０とする（ステップＳ４８、Ｓ４９）。ステップＳ３１からＳ４９の処理を、リストＴＬの全ての要素について行ったら、ステップＳ５０で、活性度の算出時刻として現在の時刻を所定の記憶手段に保持する。リストＴＬの全ての要素について上記処理を行う。なお、類義語として抽出される用語の活性度は、リストＴＬの要素値がＰＳＴより大きくない場合であっても、１／ｋ減ぜられない。
【００５７】
ステップＳ３８からＳ４５は、類義語の活性度を算出する処理を行う。ステップＳ３８において、言語解析手段１２は、リストＩＤＬに格納された識別番号を類義語生成モジュールに出力する。なお、類義語生成モジュールに出力される識別番号は、ステップＳ３４の判定の結果、用語参照時刻がＰＳＴよりも大きいもの（すなわち、図２のテキストデータの各形態素の識別番号）である。
【００５８】
類義語生成モジュールは、当該識別番号の用語の類義語の識別番号を類義語選択手段２３に出力する（ステップＳ３９）。これにより、図１０のようなリストＳＬが得られる。識別番号が判明すれば、該当する用語を例えば用語辞書１４から抽出できる。図１０のＳＬリストでは、図２のテキストデータに対し、“履物”の類義語として“靴”及び“シューズ”が抽出されている。なお、図１０の括弧内の用語は便宜的に表示した。
【００５９】
次いで、類義語選択手段２３は、リストＳＬに示された識別番号の用語について、リストＡＬを参照し、当該用語の活性度とＴＶ（０．３）との大小を判定する。判定結果は、用語活性度算出手段１３に出力される（ステップＳ４０〜Ｓ４２）。リストＡＬの活性度がＴＶよりも大きい場合は、用語活性度算出手段１３は、当該識別番号の類義語に該当するリストＡＬの要素値に１／ｋを加える（ステップＳ４３）。１／ｋを加えた結果、１より大きくなる場合は、リストＡＬの要素値を１とする（ステップＳ４４、Ｓ４５）。これにより、活性度が所定値より高い類義語の活性度を選択的に高めることができる。リストＳＬの全ての要素について処理が終了したら、図８の擬似コードの処理が終了する。
【００６０】
図９（ｇ）は、図８の擬似コードの処理が終了したリストＡＬを示す。図４（ｇ）と比較すると、類義語として抽出された“靴”及び“シューズ”の活性度が異なる。すなわち、類義語“靴”及び“シューズ”の活性度の初期値は０．５であり、ＴＶ（０．３）よりも大きいので、１／ｋ（０．１）が加えられ、それぞれ０．６となっている。図９（ｇ）のその他の要素は、図４（ｇ）と同じである。
【００６１】
なお、本実施例では類義語閾値として、活性度に相当する値を採用しているが、閾値として時刻を用いてもよい。閾値として時刻を用いた場合、閾値と比較する値は活性度ではなく、参照時刻が好適である。
【００６２】
本実施例によれば、形態素に分割された用語だけでなく、当該用語の類義語の活性度を算出することができる。したがって、実施例１の効果に加え、パラフレージングを行う場合に活性度の高い類義語でパラフレージングしたり、より自由度の高い代表形態素処理等、より自由度の高い自然言語処理が実現できる。
【実施例３】
【００６３】
実施例３では、実施例１又は２で説明した自然言語処理を実現するプログラム（以下、自然言語処理プログラムという）及びその記録媒体について説明する。図１１は、自然言語処理プログラムを実行するコンピュータのハードウェア構成図の一例を示す。
【００６４】
図１１のハードウェア構成図は、それぞれバスで相互に接続されているＣＰＵ３１、入出力装置３２、ドライブ装置３３、通信装置３４、主記憶装置３５、記憶装置３６、表示装置３７を有するように構成される。
【００６５】
ＣＰＵ３１は、コンピュータが行う処理を統括的に制御する。入出力装置３２は、キーボード及びマウスなどで構成され、ユーザからの様々な操作指示を入力するために用いられる。通信装置３４は、インターネットやＬＡＮなどのネットワークに接続するためのインターフェイスであり、例えばモデム、ルータ等で構成される。主記憶装置３５は、オペレーティングシステムやプログラム、データを一時保管する記憶領域である。記憶装置３６には、実施例１又は２の自然言語処理を実現するプログラムがインストールされている。ドライブ装置３３は、ＤＶＤ−ＲＯＭやＣＤ−ＲＯＭが挿入可能であり、記録媒体３８からプログラムやデータを読み込み、また記録媒体３８にプログラムやデータを書き込むことも可能である。表示装置３７は、ＧＵＩ（Ｇｒａｐｈｙｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面を形成し、操作に必要な各種ウィンドウやデータ等を表示する。
【００６６】
自然言語処理プログラムは、図１や図７のテキストデータ入力手段１１、言語解析手段１２、用語活性度算出手段１３、用語活性度記憶手段１５、用語参照時刻計測手段１６及び用語参照時刻記憶手段１７、類義語閾値指定手段２１、類義語抽出手段２２、類義語選択手段２３、の各手段をコンピュータに実行させる。一例としては、図３、６、８で説明した擬似コードを所定のプログラム言語でコード化し、コンパイルなどされたものである。
【００６７】
自然言語処理プログラムや用語辞書１４は、例えばＤＶＤ−ＲＯＭ等の記録媒体３８によって提供される。自然言語処理プログラムや用語辞書１４を記録した記録媒体３８は、ドライブ装置３３にセットされ、記憶装置３６にインストールされる。
【００６８】
なお、自然言語処理プログラムや用語辞書１４を記録した記憶媒体３８は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク（ＭＯ）等のように、情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることが可能である。また、自然言語処理プログラムや用語辞書１４は、ネットワークを介してダウンロードしてもよい。
【００６９】
本実施例によれば、コンピュータで実行される自然言語処理プログラムや自然言語処理プログラムが記録された記録媒体を提供できる。
【図面の簡単な説明】
【００７０】
【図１】自然言語処理装置の機能構成図の一例である。
【図２】文字列に対して形態素解析が行われた結果の一例である。
【図３】用語辞書が参照された時刻を記録する処理の疑似コードの一例である。
【図４】用語辞書、用語参照時刻、活性に係るポイント等、の一例を示す図である。
【図５】リストRIDLの一例である。
【図６】用語の活性に係るポイントを算出する処理の疑似コードの一例である。
【図７】実施例２における、自然言語処理装置の機能構成図の一例である。
【図８】類義語の活性に係るポイントを算出する処理の擬似コードの一例である。
【図９】実施例２における、用語辞書、用語参照時刻、活性に係るポイント等、の一例を示す図である。
【図１０】類義語の識別番号が格納されたリストＳＬの一例である。
【図１１】自然言語処理プログラムを実行するコンピュータのハードウェア構成図の一例である。
【符号の説明】
【００７１】
１１    テキストデータ入力手段
１２    言語解析手段
１３    用語活性度算出手段
１４    用語辞書
１５    用語活性度記憶手段
１６    用語参照時刻計測手段
１７    用語参照時刻記憶手段
２１    類義語閾値指定手段
２２    類義語抽出手段
２３    類義語選択手段
【図１】
2005339043.tif 000003
【図２】
2005339043.tif 000004
【図３】
2005339043.tif 000005
【図４】
2005339043.tif 000006
【図５】
2005339043.tif 000007
【図６】
2005339043.tif 000008
【図７】
2005339043.tif 000009
【図８】
2005339043.tif 000010
【図９】
2005339043.tif 000011
【図１０】
2005339043.tif 000012
【図１１】
2005339043.tif 000013