(57)【要約】【課題】テキストに関する構成要素情報を得るためのルールを、単語表層にとらわれずに概念レベルで生成して蓄積することのできる、知識構築装置を提供する。【解決手段】知識構築装置は、テキスト項目と構成要素情報とを、互いに関連付けて記憶するテキストデータ記憶部を備える。そして、単語抽出部は、テキスト項目に含まれる単語の出現頻度に基づき、テキスト項目に特有の単語を抽出する。知識データ取得部は、単語と単語概念との関係を表わす知識データを取得する。概念獲得部は、前記知識データを用いて、テキスト項目から抽出された単語を対応する単語概念に置き換えるとともに、当該テキスト項目に関連付けられた構成要素情報と組み合わせ、事例データとして出力する。機械学習装置は、この事例データを用いて機械学習を行い、単語概念と構成要素情報との関係を表わすルールを生成する。【選択図】図１
2011108085.tif 000002
【特許請求の範囲】
【請求項１】
テキスト項目と、前記テキスト項目がいかなる種類の構成要素であるかを表わす構成要素情報とを、互いに関連付けて記憶するテキストデータ記憶部と、
前記テキストデータ記憶部に記憶されている前記テキスト項目に含まれる単語の出現頻度に基づき、前記テキスト項目に特有の単語を抽出する単語抽出部と、
単語と、前記単語が属する単語概念との関係を表わす知識データを取得する知識データ取得部と、
前記知識データ取得部が取得した前記知識データを用いて、前記単語抽出部によって前記テキスト項目から抽出された前記単語を対応する前記単語概念に置き換えるとともに、当該テキスト項目に関連付けられた前記構成要素情報を前記テキストデータ記憶部から読み出し、当該構成要素情報と、対応する前記単語概念との組み合わせを表わす情報を、事例データとして出力する概念獲得部と、
前記概念獲得部によって出力された前記事例データを用いて機械学習処理を行なうことにより、テキスト項目に含まれる単語概念と前記テキスト項目に対応する構成要素情報との関係を表わすルールを生成する機械学習処理部と、
を具備することを特徴とする知識構築装置。
【請求項２】
前記概念獲得部は、前記知識データに含まれない単語に関しては前記単語概念の代わりに当該単語を含んだ情報を前記事例データとして出力し、
前記機械学習処理部は、前記事例データを用いて機械学習処理を行なうことにより、テキスト項目に含まれる単語または単語概念と、前記テキスト項目に対応する構成要素情報と、の関係を表わすルールを生成する、
ことを特徴とする請求項１に記載の知識構築装置。
【請求項３】
テキスト項目と、前記テキスト項目がいかなる種類の構成要素であるかを表わす構成要素情報とを、互いに関連付けて記憶するテキストデータ記憶部を有するコンピュータを、
前記テキストデータ記憶部に記憶されている前記テキスト項目に含まれる単語の出現頻度に基づき、前記テキスト項目に特有の単語を抽出する単語抽出部と、
単語と、前記単語が属する単語概念との関係を表わす知識データを取得する知識データ取得部と、
前記知識データ取得部が取得した前記知識データを用いて、前記単語抽出部によって前記テキスト項目から抽出された前記単語を対応する前記単語概念に置き換えるとともに、当該テキスト項目に関連付けられた前記構成要素情報を前記テキストデータ記憶部から読み出し、当該構成要素情報と、対応する前記単語概念との組み合わせを表わす情報を、事例データとして出力する概念獲得部と、
前記概念獲得部によって出力された前記事例データを用いて機械学習処理を行なうことにより、テキスト項目に含まれる単語概念と前記テキスト項目に対応する構成要素情報との関係を表わすルールを生成する機械学習処理部と、
を具備する知識構築装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力されるテキストデータを元に概念構造を抽出し、知識として蓄積する知識構築装置およびそのプログラムに関する。
【背景技術】
【０００２】
インターネットのニュースサイトなどでは、一社あるいは複数社が提供するニュース記事を閲覧することができる。さらに、多くのサイトではキーワードなどによるニュース検索機能を実装している。この検索機能を利用することで、ユーザは特定のキーワードによるニュース記事検索を行うことが可能であり、特定の人物名、企業名などをキーワードとして検索することで、ある事象についての記事一覧を閲覧することが可能である。
【０００３】
例えば、非特許文献１では、新聞社や通信社などが提供するＷｅｂニュースを、ユーザによって入力されるキーワードを用いて検索し、その結果得られる複数の記事を横断的に表示するサービスを実現している。さらに本サービスでは、ニュースを「社会」、「国際」、「ビジネス」などといったカテゴリに分類し、さらに各カテゴリ内のニュースをランキングして表示するという機能を提供している。
【０００４】
また、特許文献１（特に、図１および要約）には、分類対象文書を基に、分類のための分類観点候補を抽出するとともに、問い合わせ記録から抽出される重要単語を用いることによって前記候補の中から分類観点を選択する手法が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１０２３０９号公報
【非特許文献】
【０００６】
【非特許文献１】Ｇｏｏｇｌｅ，Ｉｎｃ．、“Ｇｏｏｇｌｅニュース日本”、［online］、［平成２１年１１月１１日検索］、インターネット＜URL：http://news.google.co.jp/＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ニュース記事として報道される事件や事故といった事象には、その発生概要、原因、その後の展開といった様々な構成要素が存在する。そして、それら各構成要素のニュース記事は、例えば続報などといった形で別の記事として逐次提供されることが多い。ユーザが事件や事故を総合的に把握・理解するためには、それらの構成要素がどういった種類の構成要素であるかを明示したり、各構成要素を互いに関連付けて提供したりすることが望ましい。
【０００８】
しかしながら、非特許文献１では、ニュース記事がどの構成要素に該当するかといった構成要素情報を提供することはない。例えば、ある地震災害のニュースをユーザが閲覧したい場合、ユーザが例えば「新潟  地震」といったキーワードで記事を検索すれば、最近起こった特定の地域の地震についての記事一覧を得ることは可能である。しかしながら、それぞれの記事が、その発生概要、地震の原因、被害、その後の対応といったカテゴリ（災害報道の構成要素のどれにあたるか、という情報。つまり、構成要素情報。）まで提示するサービスは存在しなかった。
【０００９】
また、特許文献１に開示されている技術では、分類観点候補の中から分類観点を選択できるものの、単語の表層のみを利用した処理をしているため、概念レベルで適切に、且つ高精度に、分類観点を得ることはできなかった。ニュース記事は、同一の概念を異なる単語表層で表現することも多いが、特許文献１による技術は、そのようなニュース記事に上手く適応させることができないという問題があった。
【００１０】
本発明は、上記の課題認識に基づいて行なわれたものであり、テキストに関する構成要素情報を得るためのルールを、単語表層にとらわれずに概念レベルで生成して蓄積することのできる、知識構築装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
［１］上記の課題を解決するため、本発明の一態様による知識構築装置は、テキスト項目と、前記テキスト項目がいかなる種類の構成要素であるかを表わす構成要素情報とを、互いに関連付けて記憶するテキストデータ記憶部と、前記テキストデータ記憶部に記憶されている前記テキスト項目に含まれる単語の出現頻度に基づき、前記テキスト項目に特有の単語を抽出する単語抽出部と、単語と、前記単語が属する単語概念との関係を表わす知識データを取得する知識データ取得部と、前記知識データ取得部が取得した前記知識データを用いて、前記単語抽出部によって前記テキスト項目から抽出された前記単語を対応する前記単語概念に置き換えるとともに、当該テキスト項目に関連付けられた前記構成要素情報を前記テキストデータ記憶部から読み出し、当該構成要素情報と、対応する前記単語概念との組み合わせを表わす情報を、事例データとして出力する概念獲得部と、前記概念獲得部によって出力された前記事例データを用いて機械学習処理を行なうことにより、テキスト項目に含まれる単語概念と前記テキスト項目に対応する構成要素情報との関係を表わすルールを生成する機械学習処理部とを具備することを特徴とする。
【００１２】
［２］また、本発明の一態様による知識構築装置は、上記の知識構築装置において、前記概念獲得部は、前記知識データに含まれない単語に関しては前記単語概念の代わりに当該単語を含んだ情報を前記事例データとして出力し、前記機械学習処理部は、前記事例データを用いて機械学習処理を行なうことにより、テキスト項目に含まれる単語または単語概念と、前記テキスト項目に対応する構成要素情報と、の関係を表わすルールを生成することを特徴とする。
【００１３】
［３］また、本発明の一態様は、テキスト項目と、前記テキスト項目がいかなる種類の構成要素であるかを表わす構成要素情報とを、互いに関連付けて記憶するテキストデータ記憶部を有するコンピュータを、前記テキストデータ記憶部に記憶されている前記テキスト項目に含まれる単語の出現頻度に基づき、前記テキスト項目に特有の単語を抽出する単語抽出部と、単語と、前記単語が属する単語概念との関係を表わす知識データを取得する知識データ取得部と、前記知識データ取得部が取得した前記知識データを用いて、前記単語抽出部によって前記テキスト項目から抽出された前記単語を対応する前記単語概念に置き換えるとともに、当該テキスト項目に関連付けられた前記構成要素情報を前記テキストデータ記憶部から読み出し、当該構成要素情報と、対応する前記単語概念との組み合わせを表わす情報を、事例データとして出力する概念獲得部と、前記概念獲得部によって出力された前記事例データを用いて機械学習処理を行なうことにより、テキスト項目に含まれる単語概念と前記テキスト項目に対応する構成要素情報との関係を表わすルールを生成する機械学習処理部とを具備する知識構築装置として機能させるプログラムである。
【発明の効果】
【００１４】
本発明によれば、テキストの構成要素情報と、テキストに含まれる単語概念との関係を表わすルールを、生成することができる。本発明をニューステキストに適用すれば、ニュースに関するオントロジーを構築することが可能となる。本発明によって生成されるルールおよびオントロジーは、テキストに含まれる単語表層のみに依存するものではなく、単語概念のレベルでの処理に向いたものである。
つまり、知識データを用いることによって、文書に含まれる単語の表層的な記述に左右されることなく、文書の構成要素に特徴的な概念を記述したオントロジーを構築することが可能となる。
【００１５】
そして、生成されたオントロジーを用いることによって、入力されたニューステキストを解析して、そのテキストに対応する構成要素情報を付加することができる。これはニューステキストの分類と考えてよい。さらに、付加されたニュース構成要素情報を用いることにより、ユーザの要求に合わせてニュース項目を再構成し、提示することも可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による知識構築装置の機能構成を示すブロック図である。
【図２】本実施形態による知識構築装置に入力されるニューステキストの構成を示す概略図である。
【図３】本実施形態によるテキストデータ記憶部の構成例を示す概略図である。
【図４】本実施形態による知識データ取得部が取得する知識データの構成を示す概略図である。
【図５】本実施形態で利用する辞書データの構成例を示した概略図である。
【図６】本実施形態による概念獲得部が出力する事例データの構成例を示した概略図である。
【図７】本実施形態によるオントロジー記憶部に記憶されるニュースオントロジーを図形的に表わした概略図である。
【図８】本実施形態による知識構築装置全体の処理手順を示すフローチャートである。
【図９】本実施形態による機械学習処理部が利用する学習データの構成例を示す概略図である。
【図１０】本実施形態による機械学習処理部が扱うベクトルデータの構成を示す概略図である。
【図１１】本実施形態による機械学習処理部が扱うベクトルデータの実例を示す概略図である。
【図１２】本実施形態の機械学習処理部による学習処理の結果得られる決定木の一例を示す概略図である。
【図１３】本実施形態による知識構築装置のユーザインタフェース画面構成例を示す概略図である。
【図１４】本実施形態の変形例により、機械学習処理部で得られる決定木であって、単語表層をノードの一部として含む決定木の一例を示す概略図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら、本発明の実施形態について説明する。
図１は、本実施形態による知識構築装置の機能構成を示すブロック図である。この図において、符号１は知識構築装置である。図示するように、知識構築装置１は、テキストデータ取得部１１と、テキストデータ記憶部１２と、重要単語抽出部１３（単語抽出部）と、構成要素情報付加部１４と、概念獲得部１５と、知識データ取得部１６と、事例データ１７と、機械学習処理部１８部と、オントロジー変換部１９と、オントロジー記憶部２０とを含んで構成される。
【００１８】
テキストデータ取得部１１は、外部装置から通信回線等を通して、ニューステキスト２６を取得する。
テキストデータ記憶部１２は、ニュース項目（テキスト項目）と、そのニュース項目がいかなる種類の構成要素であるかを表わす構成要素情報とを、互いに関連付けて記憶するものである。
【００１９】
重要単語抽出部１３は、テキストデータ記憶部１２に記憶されているニュース項目に含まれる単語の出現頻度に基づき、ニュース項目に特有の単語を抽出する。重要単語抽出部は、各ニュース項目に含まれる単語の出現頻度を、統計的な計算処理をすることによって、前記特有の単語を、当該ニュース項目にとって重要な単語として抽出する。具体的な計算手法については後述するが、この重要単語抽出部１３は、単に出現頻度の高い単語を重要単語として抽出するのではなく、例えばドキュメント（ニュース項目）の逆出現頻度をも用いることにより、どのニュース項目にも出現するようなありふれた単語が重要単語として抽出されないような処理をする。
構成要素情報付加部１４は、テキストデータ記憶部１２に記憶されている各ニュース項目に対して、構成要素情報を付加する。ここで、構成要素情報付加部１４は、ユーザインタフェースを介してユーザから指定された構成要素情報を付加する。
【００２０】
概念獲得部１５は、知識データ取得部１６が取得した前記知識データを用いて、重要単語抽出部１３によってニュース項目から抽出された単語を、対応する単語概念に置き換えるとともに、当該ニュース項目に関連付けられた構成要素情報をテキストデータ記憶部１２から読み出し、当該構成要素情報と、対応する単語概念との組み合わせを表わす情報を、事例データ１７として出力する。
知識データ取得部１６は、外部記憶装置や外部サーバ装置などから、知識データ２７を取得する。知識データ２７は、単語（単語表層）とその単語が属する単語概念とを対応付ける情報を含むものであり、その詳細については後述する。
事例データ１７は、概念獲得部１５によって出力されるデータであり、構成要素情報と、一つまたは複数の単語概念との組み合わせを表わす情報である。１件の事例データは、元のニュース項目１件に対応しており、そのニュース項目を構成する重要な単語概念の集合と、そのニュース項目に付与された構成要素情報との関係を表わしている。
【００２１】
機械学習処理部１８は、概念獲得部１５によって出力された事例データ１７を用いて機械学習処理を行なうことにより、ニュース項目に含まれる単語概念とニュース項目に対応する構成要素情報との関係を表わすルールを生成する。機械学習処理の詳細については後述する。
オントロジー変換部１９は、機械学習処理部１８によって生成されたルールをニュースオントロジーの形式に変換する。
オントロジー記憶部２０は、機械学習処理部１８によって生成されたルールおよびそのルールを元に変換して得られたニュースオントロジーを記憶するものである。
【００２２】
なお、テキストデータ記憶部１２やオントロジー記憶部２０は、磁気ハードディスク装置あるいは半導体メモリなどを用いて実現される。
【００２３】
図２は、知識構築装置１に入力されるニューステキスト２６の構成を示す概略図である。同図は、地震災害に関するニュース記事の例を示しており、ｔ１、ｔ２は、それぞれ、テレビの定時ニュースなどで放送されるニュース項目に対応している。ここで、ニュース項目とは、ニュース記事のうちの所定のまとまりを有する単位である。そして、各ニュース項目のデータは、日時情報とニューステキストそのものとを含んでいる。例えば、ニュース項目ｔ２に関して、日時情報は「２００９．４．１７  １２：００：３０」であり、ニューステキストは「アフガニスタン政府によりますと、これらの地震で・・・・・・」である。
【００２４】
図３は、テキストデータ記憶部１２の構成例を示す概略図である。なお、同図において、（ａ）は、テキストデータ取得部１１によって取り込まれたニューステキスト２６をそのまま格納している状態でのテキストデータ記憶部１２を示している。また、（ｂ）は、重要単語抽出部１３の動作によって重要単語が抽出された後、且つ、構成要素情報付加部１４によって構成要素情報が付加された後の状態でのテキストデータ記憶部１２を示している。（ａ）および（ｂ）に示すように、テキストデータ記憶部１２は、表形式のデータであり、項目識別データ、日時、構成要素情報、テキストの各データ項目を有する。項目識別データは、ニュース項目を一意に識別するデータである。日時は、ニュース項目に関連付けられた日時情報であり、「年．月．日  時：分：秒」の形式で、そのニュースが放送された日時を表わしている。構成要素情報は、当該ニュース項目が、全体の中での構成要素としていかなる種類の項目であるかを表わす情報である。テキストは、そのニュース項目の記事テキストそのものである。
【００２５】
同図（ａ）に示す状態では、テキストデータ記憶部１２は、テキストデータ取得部１１によって取り込まれた直後のテキストが記憶されている。また、この状態では、構成要素情報はまだ格納されていない。
【００２６】
同図（ｂ）に示す状態では、構成要素情報が格納されている。図示する例では、ｔ１およびｔ２で識別されるいずれのニュース項目についても「被害」という構成要素情報が格納されている。これは、構成要素情報付加部１４が、この構成要素情報の項目を更新したことによるものである。また、同図（ｂ）に示す状態では、テキストに含まれる重要単語にマーク（ここでは、下線）が付けられている。具体的には、項目識別データｔ１に対応するテキストでは、「けが」、「崩壊」、および「ビル」という単語に、下線が付されている。また、項目識別データｔ２に対応するテキストでは、「アフガニスタン」、「住宅」、「倒壊」、および「死亡」という単語に、下線が付されている。これらの重要単語に対するマークは、重要単語抽出部１３によって付与されたものである。なお、重要単語に付与するマークとしては、下線に限らず、特定の色属性を与えるなど、任意のマークでよい。これらのマークは、一例としては、ＨＴＭＬ（ハイパーテキストマークアップ言語）のタグを用いる。
【００２７】
図４は、知識データ２７の構成を示す概略図である。図示する知識データは、表形式のデータとして構成されており、単語概念、単語表層の各データ項目を有する。そして、この表の各行が、単語概念と単語表層との対応関係を表わしている。同図に例示するデータでは、「倒壊」、「倒潰」、「崩れ」、「崩壊」、「崩壊」、・・・・・・といった単語表層が、それぞれ、「０７３６１１２８−ｎ」という単語概念に対応付けられている。なおここでは、単語概念は、シンセット（ｓｙｎｓｅｔ、概念）を一意に識別するためのシンセットＩＤ（ｓｙｎｓｅｔ  ＩＤ）を用いて表わされている。シンセットとは、同じ意味（概念）を有するグループとしてまとめられる複数の単語の集合である。そして、このシンセットＩＤ「０７３６１１２８−ｎ」は、「倒壊」というシンセットに対して付与されたＩＤである。
【００２８】
図５は、図４に示した表形式の知識データを得るための元となる辞書データの構成例を示す概略図である。図示するように、この辞書データは、テキストデータによって構成されている。図示する例は、「地震」という単語についての辞書データである。そして、このデータは、見出し語を表わす「地震」と、その品詞を表わす「ｐｏｓ：名詞」と、その見出し語を一意に識別するための語ＩＤを表わす「ｗｏｒｄＩｄ：１８０５７１」とを含んでいる。また、このデータは、見出し語「地震」が属するシンセットを表わす「ｓｙｎｓｅｔＩｄ：０７４２８９５４−ｎ，ｎａｍｅ：ｓｅｉｓｍ，ｐｏｓ：ｎｏｕｎ」を含んでいる。つまり、この辞書データは、ある単語に関して、その語義を表すグループであるシンセットへのリンクの情報を含んでいる。さらに、このデータは、見出し語「地震」についての同義語（ｓｙｎｏｎｙｍｓ）と上位語（Ｈｙｐｅｒｎｙｍｓ）と下位語（Ｈｙｐｏｎｙｍ）についての情報を含んでいる。
【００２９】
なお、このような概念辞書として、例えば、下記文献で説明されているような日本語ＷｏｒｄＮｅｔを利用することができる。
文献：Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki, ”Enhancing the Japanese WordNet”, The 7th Workshop on Asian Language Resources, in conjunction with ACL-IJCNLP 2009, Singapore.
なお、図５に示した形式の概念辞書データを基に、予め図４に示した表形式のデータを構築しておき、これを知識データ２７として用いるようにしても良いし、また、図５に示した形式の概念辞書データそのものを知識データ２７として用いるようにしても良い。
【００３０】
図６は、事例データ１７の構成例を示した概略図である。図示するように、事例データ１７は、表形式のデータとして構成され、事例識別データ、概念事例の各項目のデータを保持する。事例識別データは、個々の事例を一意に識別するためのデータである。また、概念事例は、テキストデータ記憶部１２に記憶されているニューステキストを元に概念獲得部１５によって獲得された概念を表わすデータである。
【００３１】
例えば、「ＥＸ１」という事例識別データによって識別される概念事例は、「［被害］＝（［ｉｄ００１（病気）］，・・・，［ｉｄ２４３（倒壊）］，［ｉｄ３４２（建物）］，・・・）」である。これは、「病気」という単語概念（シンセットＩＤはｉｄ００１）と、・・・、「倒壊」という単語概念（シンセットＩＤはｉｄ２４３）と、「建物」という単語概念（シンセットＩＤはｉｄ３４２）と、・・・を含むニュース項目が、「被害」という構成要素情報に対応付くという事例を表わしている。同様に、例えば、「ＥＸ２」という事例識別データによって識別される概念事例は、「［被害］＝（［ｉｄ９４９（国）］，・・・，［ｉｄ２４３（倒壊）］，・・・，［ｉｄ３４２（建物）］，・・・）」である。これは、「国」という単語概念（シンセットＩＤはｉｄ９４９）と、・・・、「倒壊」という単語概念（シンセットＩＤはｉｄ２４３）と、・・・、「建物」という単語概念（シンセットＩＤはｉｄ３４２）と、・・・を含むニュース項目が、「被害」という構成要素情報に対応付くという事例を表わしている。
【００３２】
図７は、オントロジー記憶部２０に記憶されるニュースオントロジーを図形的に表わした概略図である。図示するように、ニュースオントロジーは、グラフ構造のデータとして表現され、「ニュースカテゴリー」と「構成要素情報」と「単語概念」の各層を有する。これら各層にノードが含まれており、「ニュースカテゴリー」層のノードが「構成要素情報」層のノードと結ばれ、また、「構成要素情報」層のノードが「単語概念」層のノードと結ばれている。図示するニュースオントロジーの例は、「地震災害」というニュースカテゴリーの配下の「被害」という構成要素情報が、「倒壊」および「建物」という単語概念に結ばれていることを表わす情報を含んでいる（図中の破線で囲った部分）。
なお、オントロジー記憶部２０には、この構成要素情報「被害」と単語概念「倒壊」（ｉｄ２４３）と単語概念「建物」（ｉｄ３４２）との関係を、例えば、「［被害］＝（［ｉｄ２４３（倒壊）］，  ［ｉｄ３４２（建物）］）」という形式のテキストデータで表わして記憶させるようにする。
【００３３】
次に、フローチャートを参照しながら、知識構築装置１の処理手順について説明する。
図８は、知識構築装置１全体の処理手順を示すフローチャートである。
まずステップＳ１０１において、テキストデータ取得部１１が、外部の記憶装置や通信回線などからニューステキスト２６を取得する。そして、テキストデータ取得部１１は、取得したニューステキストをテキストデータ記憶部１２に書き込む。ニューステキストが書き込まれた直後のテキストデータ記憶部１２の状態は、図３（ａ）に示したとおりである。
【００３４】
次にステップＳ１０２において、重要単語抽出部１３は、テキストデータ記憶部１２に記憶されているテキストから重要単語の抽出を行い、抽出された重要単語にマークを付する。ここで、重要単語とは、テキストデータ記憶部１２に記憶されているテキスト（ニュース項目）それぞれの特徴的な単語群である。重要単語抽出部１３は、例えばＴＦ／ＩＤＦ（Term frequency / Inverse document frequency）やその他の評価基準を用いて、重要単語を抽出する。ＴＦ／ＩＤＦを用いる場合、重要単語抽出部１３は、ＴＦ（単語の出現頻度）とＩＤＦ（ドキュメントの逆出現頻度）の２つの指標を計算し、それらの積による評価を行なう。ＴＦは、ある単語の、他の単語に対する相対的な出現頻度である。ＩＤＦは、総ドキュメント数に対する、その単語を含むドキュメント数の比率の逆数（またはその対数）である。つまり、重要単語抽出部１３は、単に単語の出現頻度のみに基づいて重要単語を抽出するのではなく、そのテキスト（ニュース項目）に特有の重要単語を抽出する。なお、ドキュメント数とは、ここでは、ニュース項目数である。
図３（ｂ）に示した例では、テキストｔ１については「けが」、「崩壊」、「ビル」が、重要単語として抽出され、マークされている。また、テキストｔ２については、「アフガニスタン」、「住宅」、「倒壊」、「死亡」が、重要単語として抽出され、マークされている。
【００３５】
次にステップＳ１０３において、構成要素情報付加部１４は、利用者による操作に基づいて、テキストデータ記憶部１２に記憶されているテキストに対して構成要素情報を付加する。構成要素情報とは、ニュース項目を分類する際に鍵として用いることのできる情報であり、例えば地震災害のニュースに関する構成要素情報としては、「発生」、「被害」、「捜索活動」、「要因分析」、「政府などの対応」、「関連」、「その他」などがある。
図３（ｂ）に示した例では、テキストｔ１およびｔ２ともに、「被害」という構成要素情報が付加され、テキストデータ記憶部１２に記憶されている。
【００３６】
なお、ここでは、ステップＳ１０２の処理の後にステップＳ１０３の処理を行うようにしているが、これらのステップの間には処理の依存関係がないため、その順序は任意である。
【００３７】
次にステップＳ１０４において、概念獲得部１５は、テキストデータ記憶部１２から読み出したテキストに基づき、知識データ取得部１６が取得した知識データ２７を用いることによって、テキストに含まれる情報を汎化し、事例データを生成する。
具体的には、次の通りである。知識データ２７は、前述の通り、図４または図５のいずれかのような形式で、予め、外部の記憶装置あるいはサーバ装置等に格納されている。知識データ取得部１６は、適宜、外部インタフェースあるいは通信回線等を介して、この知識データ２７を取得し、概念獲得部１５に渡す。概念獲得部１５は、テキストデータ記憶部１２から読み出したテキストのうち、重要単語としてマークされている単語について、知識データ２７に基づく汎化を行う。
【００３８】
例えば、図３（ｂ）に示したテキストｔ１については、単語表層「けが」が単語概念「病気」（ｉｄ００１）に、単語表層「崩壊」が単語概念「倒壊」（ｉｄ２４３）に、単語表層「ビル」が単語概念「建物」（ｉｄ３４２）に、それぞれ汎化される。また、テキストｔ２については、単語表層「アフガニスタン」が単語概念「国」（ｉｄ９４９）に、単語表層「倒壊」が単語概念「倒壊」（ｉｄ２４３）に、単語表層「住宅」が単語概念「建物」（ｉｄ３４２）に、それぞれ汎化される。なお、これらの単語表層と単語概念の対応関係は、知識データ取得部１６が取得する知識データ２７から直接得ることのできるものである。
【００３９】
そして、その結果として、概念獲得部１５は、図６に示した事例データ１７（概念事例）を生成する。事例識別データ「ＥＸ１」で示される概念事例はテキストｔ１を元に得られたものであり、事例識別データ「ＥＸ２」で示される概念事例はテキストｔ２を元に得られたものである。なお、これら概念事例ＥＸ１およびＥｘ２のそれぞれにおける「被害」は、概念獲得部１５が、テキストデータ記憶部１２の構成情報（図３（ｂ）を参照）から取得した情報である。
【００４０】
次にステップＳ１０５において、機械学習処理部１８は、概念獲得部１５によって生成された事例データ１７を用いて、機械学習処理を行い、その結果としてルールを生成する。
【００４１】
機械学習処理部１８による処理の詳細は、次の通りである。機械学習処理部１８は、前述の事例データ１７を学習データとして用いる。この学習データは、構成要素情報をクラスとし、単語概念を属性とするデータである。
【００４２】
図９は、機械学習処理部１８が利用する学習データの構成例を示す概略図である。図示するように、この例では、「ＥＸ  １」から「ＥＸ  Ｎ」までのＮ個の学習データが存在する。このＮ個の学習データは、元はＮ個のニュース項目から概念獲得部１５によって獲得されたものである。そして、「ＥＸ  １」には構成要素情報「被害」が対応し、「ＥＸ  ２」には構成要素情報「被害」が対応し、「ＥＸ  ３」には構成要素情報「発生」が対応し、・・・（以下同様）、そして「ＥＸ  Ｎ」には構成要素情報「被害」が対応している。例えば、「ＥＸ  １」の学習データは、「被害」という構成要素情報が付与された記事には、「病気」（ｉｄ００１）、「倒壊」（ｉｄ２４３）、「建物」（ｉｄ３４２）といった単語概念が含まれていたことを表している。
【００４３】
機械学習処理部１８は、図９に示した形式で与えられた学習データを、ベクトルデータに変換する。
図１０は、機械学習処理部１８が扱う、ベクトルデータの構成を示す概略図である。図示するように、このベクトルデータは、Ｍ個の要素で構成され、各々の要素はビット（値は、０または１）である。このベクトルの第１番目から第（Ｍ−５）番目までの要素は、それぞれ、単語概念に対応している。これら（Ｍ−５）個の単語概念は、少なくとも、与えられた学習データに含まれる単語概念の集合（図９の「ＥＸ  １」から「ＥＸ  Ｎ」までの右辺に現れる単語概念の集合）を含んでいる。そして、このベクトルの第（Ｍ−４）番目から第Ｍ番目までの要素は、与えられた学習データに含まれる構成要素情報の集合（図９の「ＥＸ  １」から「ＥＸ  Ｎ」までの左辺に現れる構成要素情報の集合）の要素（図示する例では、「発生」、「被害」、「原因」、「対応」、「関連」の５個）に対応している。つまり、単語概念の集合の要素数と構成要素情報の集合の要素数の和が、このベクトルの次元数Ｍである。
【００４４】
図１１は、機械学習処理部１８が上記の変換を行った結果得られるベクトルデータの実例を示す概略図である。例えば、「ＥＸ  １」と、「ＥＸ  ２」と、・・・・・・、「ＥＸ  Ｎ」に対応するベクトルデータの第（Ｍ−３）番目の要素は「１」であって、第（Ｍ−４）番目と第（Ｍ−２）番目と第（Ｍ−１）番目と第Ｍ番目の要素が「０」であるが、これは、これらの学習データの構成要素情報が「被害」であることを表わしている。そして、他の構成要素情報についても同様であり、ベクトルデータの第（Ｍ−４）番目から第Ｍ番目の要素が、構成要素情報を表わしている。また、ベクトルデータの第１番目から第（Ｍ−５）番目までの要素は、単語概念が事例に含まれるか否かを表わしている。単語概念が含まれる場合には要素の値は「１」であり、単語概念が含まれない場合には要素の値は「０」である。
【００４５】
そして、機械学習処理部１８は、これらＮ個のベクトルデータに基づいて、ｃ４．５決定木による学習処理を行う。この学習処理は、クラスを判別するために最も効率的な属性を発見するものである。言い換えれば、この学習処理は、特定の構成要素情報（例えば、「関連」）と他の構成要素情報（「関連」以外の全て）とを判別するために最も効率的な属性を発見するものである。そして、その結果として、機械学習処理部１８は、決定木を生成する。上記の「最も効率的な属性を発見」とは、生成された決定木のサイズが最小であることに相当する。
なお、このような決定木による学習処理自体は、既存の技術を用いることができる。
【００４６】
図１２は、機械学習処理部１８による学習処理の結果得られる決定木の一例を示す概略図である。同図に例示する決定木は、「関連」という構成要素情報を判別するための属性による決定木である。図示するように、決定木の根ノードは単語概念「中世」（ｉｄ５６７）に対応する。この根ノードは「ＹＥＳ」と「ＮＯ」の２つの枝を持ち、それぞれの枝が、「〇」ノードと、単語概念「テント」（ｉｄ６６６）に対応する子ノードにつながっている。「〇」ノードは、構成要素情報「関連」に該当することを表わす。つまり、これは、単語概念「中世」を含むテキストは構成要素情報「関連」に該当することを意味する。単語概念「テント」に対応するノードもまた、「ＹＥＳ」と「ＮＯ」の２つの枝を持ち、それぞれの枝が、「〇」ノードと、単語概念「会議」（ｉｄ７７７）に対応する子ノードにつながっている。つまり、単語概念「中世」を含まず、且つ単語概念「テント」を含むテキストは、構成要素情報「関連」に該当することを意味する。さらなる子ノードについても同様であるため以下のノードについての説明を省略する。なお「×」ノードは、構成要素情報「関連」に該当しないことを表わす。つまり、この決定木は、単語概念「中世」も「テント」も「会議」も含まないテキストの構成要素情報は「関連」ではないことを表わしている。また、この決定木は、単語概念「中世」を含まず、単語概念「テント」を含むものの、単語概念「会議」を含まないテキストの構成要素情報は「関連」ではないことを表わしている。
【００４７】
図８のフローチャートに戻り、次にステップＳ１０６において、機械学習処理部１８は、前記学習処理で得られた決定木に基づき、ルールを生成し、出力する。このルール生成の処理は、得られた各々の決定木について、根ノードから「〇」ノードへ至る経路をたどり、その経路上のノードに対応する単語概念の有無を直列に条件として並べてルールの右辺とすることによって行う。なお、ルールの左辺はその決定木に対応する構成要素情報である。
【００４８】
つまり、機械学習処理部１８は、図１２に示した決定木から次の３つのルール（Ｒ１からＲ３）を生成する。
Ｒ１  ［関連］＝（  ［ｉｄ５６７（中世）］  ）
Ｒ２  ［関連］＝（  〜［ｉｄ５６７（中世）］，  ［ｉｄ６６６（テント）］  ）
Ｒ３  ［関連］＝（  〜［ｉｄ５６７（中世）］，  〜［ｉｄ６６６（テント）］，  ［ｉｄ７７７（会議）］，  ［ｉｄ７８９（耐震）］  ）
なお、上記のルールにおいて記号「〜」は否定を表わす。つまり、ルールＲ２は、単語概念「中世」を含まず、且つ単語概念「テント」を含むテキストの構成要素情報は「関連」であることを表わす。
そして、論理的な操作によってルールＲ１からＲ３を縮約することにより、機械学習処理部１８は、次の３つのルール（Ｒ１，Ｒ２ｂ，Ｒ３ｂ）を生成する。
Ｒ１    ［関連］＝（  ［ｉｄ５６７（中世）］  ）
Ｒ２ｂ  ［関連］＝（  ［ｉｄ６６６（テント）］  ）
Ｒ３ｂ  ［関連］＝（  ［ｉｄ７７７（会議）］，  ［ｉｄ７８９（耐震）］  ）
なお、これらのルールは、装置内部では、より簡素化されたデータの形式で表現される。例えば、上のルールＲ３ｂは、「被害：−ｓｙｎｓｅｔ（ｉｄ７７７），ｓｙｎｓｅｔ（ｉｄ７８９）」という形式で表現される。
【００４９】
次にステップＳ１０７において、オントロジー変換部１９は、機械学習処理部１８によって出力された複数のルールをオントロジー記述形式に変換し、ニュースオントロジーを構築してオントロジー記憶部２０に書き込む。生成されたルールは、図７にも示したとおり、構成要素情報と単語概念との関係を表わしている。また、オントロジー変換部１９は、ニュースカテゴリーと構成要素情報との関係を取得し、これをオントロジー記憶部２０に書き込む。このようにオントロジー変換部１９がルールを逐次オントロジー記憶部に書き込んでいくことにより、知識の構築を行える。
以上述べた一連の処理手順により、知識構築装置１は、入力されたニューステキスト２６に基づく知識を構築してオントロジー記憶部２０に蓄積する。
【００５０】
一般に、ニュースなどのテキスト情報には様々な単語が含まれており、中には同じような概念を異なる単語で示している場合も多い。例えば、単語「崩壊」および「倒壊」は、同じように何かが破壊されることを表わすものである。仮に、これらの表層的な記述をそのまま用いて機械学習処理部１８による機械学習を行うと、単語「崩壊」と「倒壊」とは互いに別の素性として学習に用いられることとなり、オントロジーに含めるべき一般的なルールを得ることが難しくなってしまう。つまり、事例に基づく汎化が上手く行えないという問題が生じる。
しかしながら、既に述べたように、知識構築装置１は、知識データ２７に基づき、テキスト中の重要単語の単語表層を単語概念に変換して得られた事例データを、学習データとして用いている。これにより、例えば、単語「崩壊」と「倒壊」とを共通の単語概念（「倒壊」）として扱った学習が行える。また、その結果、当該単語概念を含んだ形のルールを得ることが可能となる。同様に、例えば、単語「ビル」と「住宅」が別文書にそれぞれ含まれていた場合も、それらに共通の単語概念（「建物」）に汎化し、ルール生成に用いることが可能となる。
【００５１】
次に、知識構築装置１の主要なユーザインタフェースについて説明する。
図１３は、知識構築装置１の画面構成例を示す概略図である。この画面は、例えば液晶表示装置などを用いて実現可能であり、文字や図形などを可変的に表示できる。図示するように、この画面を通して、ユーザは、検索キーワードおよび記事検索期間（開始年月日および終了年月日）を指定したニュース記事の検索を行える。そして、ユーザが、ＴＦ／ＩＤＦ値検索方法を複数の候補の中から選択し、またＴＦ／ＩＤＦ値計算期間を指定して、重要単語抽出部１３を起動し、ＴＦ／ＩＤＦ値の計算および重要単語の抽出を行なえる。そして、ユーザが、画面上のボタン等を操作することによって構成要素情報付加部１４を作動させ、表示されているニュース項目のテキストの各々に対して構成要素情報を付加することができる。
【００５２】
図示する例においては、ユーザが、選択メニュー２０１を操作して表示される構成要素情報のうちのひとつを選択してから、ジャンル一括指定ボタン２０３をマウス等でクリックすることにより、構成要素情報付加部１４は、ユーザによって選択された構成要素情報を画面に表示中のニュース項目すべてに付加する。また、ユーザが、各ニュース項目に対応した選択メニュー２０２を操作して表示される構成要素情報のうちのひとつ（図中の「関連」など）を選択してから、ジャンル個別指定ボタン２０４をクリックすることにより、構成要素情報付加部１４は、ユーザによって選択された構成要素情報を各ニュース項目に付加する。
【００５３】
［変形例］次に、本実施形態の変形例について説明する。前述した通り、概念獲得部１５は、知識データ取得部１６が取得した知識データ２７を用いて重要単語を単語概念に変換してから事例データを生成する。本変形例では、概念獲得部１５は、重要単語抽出部１３によって抽出された重要単語に関するエントリーが知識データ２７内にない場合には、重要単語の単語表層をそのまま含んだ事例データを生成する。そして、機械学習処理部１８は、単語表層を含んだ事例データを用いて、機械学習処理を行う。その結果、機械学習処理１８は、ノードの一部として単語概念ではなく単語表層を含んだ、決定木を生成する。
【００５４】
図１４は、機械学習処理部１８によって生成され、単語表層に対応するノードを一部に含んだ決定木である。ここに図示する決定木の中の、「海底」、「レンガ」、「断層」、および「耐震」は、単語表層に対応するノードである。
なお、本変形例による知識構築装置１は、ニュース項目のテキストから抽出した重要単語に該当する単語概念が見つからなかった場合に単語表層のままで学習を行うこと以外は、前述の実施形態と同様の処理を行う。
このように、重要単語を必ずしもすべて単語概念に変換して学習を行わなければならないということはなく、単語概念と単語表層とを混在させて学習データとしてもよい。
【００５５】
ここに記載した変形例の特徴についてまとめると、概念獲得部１５は、知識データ２７に含まれない単語に関しては、単語概念の代わりに当該単語そのものを含んだ情報を前記事例データ１７として出力する。そして、機械学習処理部１８は、そのような事例データを用いて機械学習処理を行なうことにより、ニュース項目に含まれる単語または単語概念と、そのニュース項目に対応する構成要素情報との関係を表わすルールを生成する。
【００５６】
［利用］次に、上述した知識構築装置によって得られたニュースオントロジーの利用方法について説明する。
【００５７】
第１の利用方法は、予め得られたニュースオントロジーを用いて、新たに得られたニュース項目に対して適切な構成要素情報を自動的に付加する、構成要素情報付加装置への利用である。この構成要素情報付加装置は、機械学習処理部１８によって生成されたルール、およびそれらのルールを変換して得られたニュースオントロジーを、予めオントロジー記憶部に保持している。そして、構成要素情報付加装置は、新たなニュース項目を取得すると、そのニュース項目のテキストに関して、重要単語抽出部１３が行ったのと同様の手法により、重要単語の抽出を行う。そして次に、概念獲得部１５が行ったのと同様の手法により、知識データを用いて、抽出された重要単語を単語概念に変換する。ただし、重要単語の抽出を行わずに、ニュース項目に含まれるすべての単語、およびそれら単語から変換された単語概念を以下での処理の対象としても良い。これにより、取得したニュース項目に対応する単語概念の集合（通常は、１つまたは複数の単語概念の列）が得られる。この単語概念の集合に対して、予め記憶していたルールを適用する（単語概念の集合に関するパターンマッチングを行う）ことにより、ニュース項目にマッチする構成要素情報を決定する。このように、新たに取得されたニュース項目に関しては、人手によらず、自動的に構成要素情報を決定することができる。つまり、未知のニュース項目に対して構成要素情報を自動的に付与することができる。
【００５８】
第２の利用方法は、構成要素情報を利用してテキストの再構成を行う、テキスト再構成装置への利用である。このテキスト再構成装置は、上記の構成要素情報付加装置を内部に備えており、新規に取得されたニュース項目に対して構成要素情報を自動的に付与しながら、それらニュース項目を蓄積している。また、テキストを再構成するための構成要素情報の列を予め記憶しておく。この構成要素情報の列とは、例えば「発生−被害−捜索活動−その他」などといったデータである。この列は、テキストを再構成する際には、構成要素情報「発生」を有するテキストと、構成要素情報「被害」を有するテキストと、構成要素情報「捜索活動」を有するテキストと、構成要素情報「その他」を有するテキストとを、この順で並べるべきであることを表わしている。そして、テキスト再構成装置は、ユーザによる操作等をトリガーとして、ある事象（例えば、特定の日時に特定の地域で起こった地震など）に関して、上記の列に基づいて、当該事象に関して所定の構成要素情報を有するテキストを、蓄積されているニュース項目の中から選択するとともに、それらのテキストを上記の列で規定されている順に並べる処理を行なう。このように、テキスト再構成装置は、構成要素ごとのテキスト断片（ニュース項目）を組み合わせて、意図された順の構成要素からなるテキストを構成することができる。
【００５９】
上記のように、知識構築装置が構築したオントロジーを利用することにより、ニューステキストなどの自動分類や、ユーザの要求に合わせた情報提示、再構成といったサービスを実現することが実現可能となる。
【００６０】
なお、上述した実施形態における知識装置の一部または全部の機能をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６１】
以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
例えば、上記実施形態では、機械学習処理部１８による機械学習手法として、決定木を用いたが、事例を学習データとして学習処理を行ってルールを出力することのできる他の手法やアルゴリズムを用いるようにしても良い。
【００６２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００６３】
本発明は、報道機関や情報配信サービス業者等において、配信情報（ニュース等）のテキストを自動的に分類するために利用可能である。また、分類されたニュース等のテキストを収集し、構成要素情報に基づいて配信情報のテキストを再構成するために利用可能である。
【符号の説明】
【００６４】
１  知識構築装置
１１  テキストデータ取得部
１２  テキストデータ記憶部
１３  重要単語抽出部（単語抽出部）
１４  構成要素情報付加部
１５  概念獲得部
１６  知識データ取得部
１７  事例データ
１８  機械学習処理部
１９  オントロジー変換部
２０  オントロジー記憶部
【図１】
2011108085.tif 000003
【図２】
2011108085.tif 000004
【図３】
2011108085.tif 000005
【図４】
2011108085.tif 000006
【図５】
2011108085.tif 000007
【図６】
2011108085.tif 000008
【図７】
2011108085.tif 000009
【図８】
2011108085.tif 000010
【図９】
2011108085.tif 000011
【図１０】
2011108085.tif 000012
【図１１】
2011108085.tif 000013
【図１２】
2011108085.tif 000014
【図１３】
2011108085.tif 000015
【図１４】
2011108085.tif 000016