(57)【要約】【課題】テキスト情報の自動分類の際の帰納学習に用いられる辞書の洗練化作業を支援する。【解決手段】離散な値をもつクラスが割り当てられたラベルを有する複数の文書情報について、複数の表現と該複数の表現に共通する上位の表現である概念とを対応付けて階層的に格納する辞書に基づき、前記クラスが特定のラベルになることの必要十分条件を定義する記述を帰納的に推論し、文書情報を特定のクラスに割り当てる装置における前記辞書の洗練化方法において、語又は意味的な集合からなる複数の属性および属性値の列により表現された文書情報から属性を選択し、該属性が有用であるか否かを判定する。属性が有用であるか否かの判定結果に基づいて、文書情報に含まれる語に重み付けを行い、前記辞書に未登録であって且つ重要な語を抽出する。【選択図】　　図１
2004126815.tif 000002
【特許請求の範囲】
【請求項１】
離散な値をもつクラスが割り当てられたラベルを有する複数の文書情報について、複数の表現と該複数の表現に共通する上位の表現である概念とを対応付けて階層的に格納する辞書に基づき、前記クラスが特定のラベルになることの必要十分条件を定義する記述を帰納的に推論し、文書情報を特定のクラスに割り当てる装置における前記辞書の洗練化方法において、
語又は意味的な集合からなる複数の属性および属性値の列により表現された文書情報から属性を選択し、該属性が有用であるか否かを判定するステップと、
前記属性が有用であるか否かの判定結果に基づいて、前記文書情報に含まれる語に重み付けを行い、前記辞書に未登録であって且つ重要な語を抽出するステップと、
を具備することを特徴とする辞書の洗練化方法。
【請求項２】
前記属性を前記辞書中の複数の表現に共通する上位の表現である概念とし、前記属性値を前記複数の表現とし、前記クラスが前記特定のラベルとなることの必要十分条件として、前記属性の有用度を計算するステップを具備することを特徴とする請求項１に記載の辞書の洗練化方法。
【請求項３】
前記属性が有用であるか否かの判定結果に基づいて、前記辞書においてそれぞれ該当する属性の下位の表現である語の集合の中心間距離が最大値になるように、前記文書情報中の全ての語を対象として重みを計算するステップと、
前記重みの計算過程を利用して、前記辞書に登録されている表現に加えるべき修正を提示するステップと、
を具備することを特徴とする請求項１又は２に記載の辞書の洗練化方法。
【請求項４】
語の要否をビットのセット又はリセットで表現する辞書ベクトルを用い、辞書洗練化前後の辞書ベクトル同士を比較してビットがセットされた語を重要語とし、ビットがリセットされた語を重要でない語として抽出することを特徴とする請求項１乃至３のいずれかに記載の辞書の洗練化方法。
【請求項５】
前記辞書に既に登録されている表現の修正、および、該表現に共通する上記の表現である概念の追加、削除を支援することを特徴とする請求項１乃至４のいずれかに記載の辞書の洗練化方法。
【請求項６】
離散な値をもつクラスが割り当てられたラベルを有する複数の文書情報について、複数の表現と該複数の表現に共通する上位の表現である概念とを対応付けて階層的に格納する辞書に基づき、前記クラスが特定のラベルになることの必要十分条件を定義する記述を帰納的に推論し、文書情報を特定のクラスに割り当てる装置に適用される前記辞書の洗練化プログラムにおいて、
語又は意味的な集合からなる複数の属性および属性値の列により表現された文書情報から属性を選択し、該属性が有用であるか否かを判定する手順と、
前記属性が有用であるか否かの判定結果に基づいて、前記文書情報に含まれる語に重み付けを行い、前記辞書に未登録であって且つ重要な語を抽出する手順と、
をコンピュータに実行させる辞書の洗練化プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、意味的な階層関係のある辞書に基づいて帰納的に文書情報を分類する際に用いられる辞書を洗練化する方法およびプログラムに関する。
【０００２】
【従来の技術】
近年、情報処理技術の発展により、企業内に蓄積された多量の情報が処理されるようになった。ＷＷＷを代表とするインターネットの普及によって社内に蓄積された膨大な文書情報に対して、業務に役立つ情報を検索したり、または問題解決のための情報を得るために目的別に分類して管理することが求められている。後者の、文書情報を目的別に分類して管理する点については、あらかじめ構築された辞書（データベース）に基づき、帰納的学習装置を利用して文書を分類する方法が提案されている（非特許文献１参照。）。
【０００３】
非特許文献１は、お客様問い合わせセンターに寄せられる問い合わせ情報について、事前に構築されたデータベース（辞書）に基づき、帰納的学習を利用して自動的に回答を分類し、適切な回答を得て送信するというものである。そしてこの特許文献１には、ある程度問い合わせ履歴が蓄積されると、新たに増加した問い合わせ文書が追加され、帰納的学習が再度実行されることが記載されている。
【０００４】
辞書、すなわち背景知識を修正する点から見ると、属性間の関係を追加する構成的帰納学習が挙げられる（非特許文献２参照。）。これは、属性を組み合わせることで新たな属性を生成し、学習の容易なモデルを構築しようとするアプローチである。
【０００５】
【非特許文献１】
嶋津恵子，古川康一，データベースからの知識発見システムＤＢ−Ａｍｐ，人工知能学会誌，Ｖｏｌ．１５，Ｎｏ．４，ｐｐ．６２９−６３７，２０００．
【０００６】
【非特許文献２】
Ｈ．Ｌｉｕ　ａｎｄ　Ｈ．Ｍｏｔｏｄａ．　Ｉｎ　Ｈ．Ｌｉｕ　ａｎｄ　Ｍｏｔｏｄａ，　ｅｄｉｔｏｒｓ，　Ｆｅａｔｕｒｅ　Ｅｘｔｒａｃｔｉｏｎ，　Ｃｏｎｓｔｒｕｃｔｉｏｎ，　ａｎｄ　Ｓｅｌｅｃｔｉｏｎ，　Ｋｌｕｗｅｒ　Ａｃａｄｅｍｉｃ　Ｐｕｂｌｉｓｈｅｒｓ，　１９９８．
【０００７】
【発明が解決しようとする課題】
以下のような技術的課題が検討されている。すなわち、帰納学習に用いられる辞書をより良いものとするための辞書の洗練化作業は、これまで専ら人手により行われており、これには高度な熟練を要し、極めて困難な作業であることから、このような人手による作業負担を緩和できるよう辞書の洗練化技術が求められている。
【０００８】
すなわち、あらかじめ構築されたデータベース（辞書）に基づく、帰納的学習装置を利用した文書の自動分類においては、誤分類情報、もしくはユーザがふさわしくないと思う分類クラスに属する事例をユーザからのフィードバック情報として受け取り、文書事例を更新するようにしている。しかしながら、帰納的学習装置において事例の説明に用いられる辞書中の属性について更新、洗練はなされていない。
【０００９】
また、辞書、すなわち背景知識を修正する点については、帰納的学習装置による分類精度を向上させるため、属性間の関係、もしくは組み合わせなどの属性を新たに追加する手法が実現されているが、とりわけ属性数が多い場合などでは、有用な組み合わせパタンを見つけ出すための処理時間および作業コストがかかってしまう。
【００１０】
本発明はかかる事情を考慮してなされたものであり、テキスト情報の自動分類の際の帰納学習に用いられる辞書の洗練化作業を支援することのできる方法およびプログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決し目的を達成するために本発明は次のように構成されている。
【００１２】
本発明に係る辞書の洗練化方法は、離散な値をもつクラスが割り当てられたラベルを有する複数の文書情報について、複数の表現と該複数の表現に共通する上位の表現である概念とを対応付けて階層的に格納する辞書に基づき、前記クラスが特定のラベルになることの必要十分条件を定義する記述を帰納的に推論し、文書情報を特定のクラスに割り当てる装置における前記辞書の洗練化方法において、語又は意味的な集合からなる複数の属性および属性値の列により表現された文書情報から属性を選択し、正しくラベル付けがなされたクラス情報と該当する複数の文書情報とを元に、クラスが特定のラベルとなることの必要十分条件として、前記属性が有用であるか否かを判定するステップと、前記属性が有用であるか否かの判定結果に基づいて、前記文書情報に含まれる語に重み付けを行い、前記辞書に未登録であって且つ重要な語を抽出するステップと、を具備することを特徴とする辞書の洗練化方法である。
【００１３】
上記方法において、前記属性を前記辞書中の複数の表現に共通する上位の表現である概念とし、前記属性値を前記複数の表現とし、前記クラスが前記特定のラベルとなることの必要十分条件として、前記属性の有用度を計算するステップを具備してもよい。
【００１４】
また、前記属性が有用であるか否かの判定結果に基づいて、前記辞書においてそれぞれ該当する属性の下位の表現である語の集合の中心間距離が最大値になるように、前記文書情報中の全ての語を対象として重みを計算するステップと、前記重みの計算過程を利用して、前記辞書に登録されている表現に加えるべき修正を提示するステップと、を具備してもよい。
【００１５】
また、語の要否をビットのセット又はリセットで表現する辞書ベクトルを用い、辞書洗練化前後の辞書ベクトル同士を比較してビットがセットされた語を重要語とし、ビットがリセットされた語を重要でない語として抽出するようにしてもよい。
【００１６】
また、前記辞書に既に登録されている表現の修正、および、該表現に共通する上記の表現である概念の追加、削除を支援することも好ましい。
【００１７】
本発明に係るプログラムは、離散な値をもつクラスが割り当てられたラベルを有する複数の文書情報について、複数の表現と該複数の表現に共通する上位の表現である概念とを対応付けて階層的に格納する辞書に基づき、前記クラスが特定のラベルになることの必要十分条件を定義する記述を帰納的に推論し、文書情報を特定のクラスに割り当てる装置に適用される前記辞書の洗練化プログラムにおいて、語又は意味的な集合からなる複数の属性および属性値の列により表現された文書情報から属性を選択し、該属性が有用であるか否かを判定する手順と、前記属性が有用であるか否かの判定結果に基づいて、前記文書情報に含まれる語に重み付けを行い、前記辞書に未登録であって且つ重要な語を抽出する手順と、をコンピュータに実行させる辞書の洗練化プログラムである。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。
【００１９】
本発明の実施形態は、テキスト情報を分類するシステムが備える帰納的学習装置において、事例の説明に用いられる辞書を更新し、洗練化する装置に関する。辞書を更新し、洗練化するに際して、辞書中の下位レベルの集合について、追加あるいは更新に関する有益な情報をユーザに提示し、帰納的学習装置への入力情報となる上位レベルの概念の追加、更新を行うユーザを支援する。
【００２０】
あらかじめ構築されたデータベース（辞書）に基づき、帰納的学習装置はテキスト情報を含む文書を分類する。その後、属性選択部により属性がどれほど有用であるかを判定し、その判定結果に従い、辞書中の下位レベルに相当する複数の表現の集合を最適化する。この最適化された表現の集合はユーザに提示される。したがって、帰納的学習装置への入力情報となる辞書中の複数表現に共通する上位の表現である概念を、ユーザが追加、更新をする作業を効率よく支援することができる。
【００２１】
図１は、このような本発明の一実施形態に係るメッセージ分類装置の概略構成を示すブロック図である。この装置は、帰納学習用入力データ作成部１、帰納学習部２、属性選択部３、評価尺度決定部４、語の重み計算部５、辞書ベクトル最適化部６、辞書比較部７、および修正提示部９から構成されている。メッセージ分類装置は、ラベルという離散な値をもつクラスが割り当てられているような複数の文書情報が与えられていて、複数の表現とそれら表現に共通する上位の表現である概念とを対応付けて格納する電子辞書に基づき文書情報に関して上記クラスが特定のラベルになることの必要十分条件を定義する記述を帰納的に推論し、文書情報を特定のクラスに割り当てる。
【００２２】
このような本実施形態に係るメッセージ分類装置は、例えば汎用の計算機（コンピュータ）および同計算機上で動作するソフトウェアとを用いて実現することができ、上記本システムの各構成要素は、汎用のオペレーティングシステムの下で動作するコンピュータプログラムのモジュールとして実現できる。
【００２３】
以下、コールセンターに寄せられた商品に対する顧客のメッセージ９を製品ごとに分類する事例を例に挙げて、本発明に係る辞書洗練化の手順を詳細に説明する。なお、本発明は、対象とするデータを、コールセンターに寄せられた商品についての顧客のメッセージ９に限定するものではなく、これとは異なる他のデータを辞書を利用して分類する様々な事例に適用可能である。
【００２４】
図２は、本実施形態に係るメッセージ分類装置の処理手順を示すフローチャートである。
【００２５】
本実施形態に係るメッセージ分類装置においては、例えば図３に示すような顧客メッセージ９を形態素解析したデータと、該データをもとにあらかじめ自動又は手動で構築された階層辞書１０とが、キーボード入力、ネットワークによるオンライン入力、あるいは磁気テープ等の媒体から読み取る等して帰納学習用入力データ作成部１に入力される。階層辞書１０は、例えば図４に示すように、複数の表現４０と、それら表現に共通する上位の表現である概念４１とを対応付けて階層的に格納するものである。
【００２６】
顧客メッセージ９の形態素解析結果および階層辞書１０から、帰納学習用入力データ作成部１は図５（ａ）に示すような帰納学習部２への学習用入力データ１１を作成し、同帰納学習部２へ渡す（ステップＳ１）。図５（ａ）に示すように学習用入力データ１１は、文書情報を特定のクラスに割り当てるための分類規則を生成するための帰納学習部２への入力データであり、例えば、１行目の「１ｗａｓｈｉｎｇ−ｍａｃｈｉｎｅ，２ｖａｃｕｕｍ−ｃｌｅａｎｅｒ，３ｒｅｆｒｅｇｅｒａｔｏｒ，．．．」は分類クラス５０を示している。また、２行目以降５１は、分類規則で利用される分類クラスを説明するための属性と、それらの値を示している。例えば、分類クラス５０を説明するために、「機能」という属性が用意されており、該属性の値は、「洗濯」、「洗い」、「洗浄」、「脱水」，．．．などである。なお、「機能」という属性に値が無い場合を考慮し、「Ｎ（ｏｔｈｉｎｇ）１」という値も用意されている。これら属性及びその値は、図４に示したような階層辞書１０における、ある概念とその下位概念に相当する。また、図５（ｂ）は、図３に示したような問合わせデータ９に含まれる各属性値とそのクラスを表している。
【００２７】
帰納学習部２はこのような学習用入力データ１１を用いて帰納学習する（ステップＳ２）。帰納学習が終了すると、帰納学習用入力データ１１は、属性選択部３に渡される。
【００２８】
属性選択部３は、学習にとってある属性値が有用である、もしくは不要であるかを判定し、その結果および重要度を、図６に示すような形式で出力する（ステップＳ３）。図６に示すように、例えば、ある属性が学習にとって有用であれば、「属性名：属性値，．．．，（６０）｜有効度の値（６１）」という形式のデータを出力し、一方、ある属性が不要であれば、「属性名：ｉｇｎｏｒｅ｜有効度の値」という形式のデータを出力する。なお、属性選択部３による判定が「有用である」度合いを確率で出力する場合には、階層辞書１０において該当する属性の下位の表現である語の集合の重みを確率分布に従うように計算する。
【００２９】
このような属性選択の結果に基づいて、評価尺度決定部４は、例えば、最も有用及び不要な属性をそれぞれひとつずつ決定し、それらの間の離散度を求めて評価尺度と決定したり、もしくは、重要度の順位情報に対する親和度を評価尺度として決定する（ステップＳ４）。
【００３０】
そして、このように決定された評価尺度に基づき辞書ベクトル最適化部６は、各表現の重要性を計算する。ここでは、例えば、属性選択の結果、最も有用／不要と判定された属性をそれぞれひとつずつ決めてそれらの離散度を評価尺度にしたならば、語の関連性を定義したデータベース１２を参照して、電子辞書１０においてそれぞれ該当する属性の下位の表現である語の集合の中心間の距離が最大値になるように、様々な辞書ベクトルの集合を生成する（ステップＳ５）。また、語の関連性を定義したデータベース１２を参照し、文中の全ての語を対象として計算部５は語の重みを計算して語の重みデータベース１３を作成し（ステップＳ６）、その際の辞書ベクトルは評価尺度に従い評価される（ステップＳ７）。
【００３１】
このような辞書ベクトルの最適化手順を辞書ベクトル最適化部６は所定の終了条件まで繰り返す。
【００３２】
語の重みの計算の際にステップＳ８において最適値を算出した場合、利用した辞書ベクトル（語を要素とし、有用な語には１、有用でない語には０が割り当てられるベクトル（語集合））１４を参照して、辞書比較部７は、辞書洗練化前後の辞書ベクトル同士を比較する（ステップＳ９）。そして、ビットが１である語を重要語と見なし、また、ビットが０である語を重要でない語と見なし、修正提示部８はそれらを抽出する（ステップＳ１１）。
【００３３】
そして修正提示部８は、ステップＳ１１において抽出された重要語又は重要でない語を語集合１４から参照して提示する。これによりユーザは、階層辞書１０に登録されている表現の追加、削除などの修正を行い、それに伴い、これら表現に共通する上位の表現である概念の追加、削除などの作業を容易に行えるようになる（ステップＳ１２）。
【００３４】
以上のような辞書洗練化の処理手順を所定の終了条件まで繰り返したのち（ステップＳ１３）、帰納学習処理（ステップＳ２）に戻る。なお、辞書洗練化の処理手順を一度だけ行い、繰り返さない場合はステップＳ１３において終了する。
【００３５】
本実施形態によれば、帰納的学習部２への入力情報となる階層辞書１０中の複数表現に共通する上位の表現である概念を、ユーザが追加、更新をする作業を有効に支援できる。したがって、帰納学習部２によるメッセージ分類の精度を向上できる。
【００３６】
なお、本発明は上述した実施形態に限定されず種々変形して実施可能である。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、テキスト情報の自動分類の際の帰納学習に用いられる辞書の洗練化作業を支援することのできる方法およびプログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るメッセージ分類装置の概略構成を示すブロック図
【図２】実施形態に係るメッセージ分類装置の処理手順を示すフローチャート
【図３】顧客メッセージの一例を示す図
【図４】階層辞書のデータ構造の一例を示す図
【図５】帰納学習部への学習用入力データの一例を示す図
【図６】属性選択部による属性選択の結果をその重要度とともに示す図
【符号の説明】
１…帰納学習用入力データ作成部
２…帰納学習部
３…属性選択部
４…評価尺度決定部
５…語の重み計算部
６…辞書ベクトル最適化部
７…辞書比較部
８…修正提示部
９…顧客メッセージ
１０…階層辞書
１１…学習用入力データ
１２…語の類似度
１３…語の重み
１４…語集合
【図１】
2004126815.tif 000003
【図２】
2004126815.tif 000004
【図３】
2004126815.tif 000005
【図４】
2004126815.tif 000006
【図５】
2004126815.tif 000007
【図６】
2004126815.tif 000008