(57)【要約】【課題】確度良く正解度を算出すること。【解決手段】分類評価装置１０は、複数のカテゴリを階層的な枝分かれ構造で記憶するカテゴリ構造データベース１４と、複数のカテゴリのなかで、全体および部分の関係、所定の名称付きの関係または無名関係を持つ組合せを対応付けて記憶するカテゴリ関係データベース１５と、複数のカテゴリの位置関係に基づいて、正解カテゴリと分類カテゴリとをリンクさせる枝の本数を距離として算出するリンク距離算出部１７と、リンク距離に基づいて距離が近くなるほど正解度が高くなるような重み付け、および、それぞれの関係に応じて重み付けをおこなって分類カテゴリの正誤を評価するための正解度を算出する分類正解度算出部１８とを備える。【選択図】      図１
2004177998.tif 000002
【特許請求の範囲】
【請求項１】
所定の対象物を分類するために複数のカテゴリのなかから選択付与されたカテゴリを示す分類カテゴリと、前記対象物に本来付与されるべき正解のカテゴリを示す正解カテゴリとを比較し、前記分類カテゴリの正誤を評価する分類評価装置であって、
前記複数のカテゴリを階層的な枝分かれ構造で記憶するカテゴリ構造記憶手段と、
前記カテゴリ構造記憶手段によって記憶された前記複数のカテゴリの位置関係に基づいて、前記分類カテゴリと前記正解カテゴリとの構造上の距離を算出する距離算出手段と、
前記距離算出手段によって算出された距離に基づいて、前記分類カテゴリの正誤を評価するための正解度を算出する正解度算出手段と、
を備えたことを特徴とする分類評価装置。
【請求項２】
前記距離算出手段は、
前記正解カテゴリと前記分類カテゴリとをリンクさせる枝の本数を距離として算出することを特徴とする請求項１に記載の分類評価装置。
【請求項３】
前記正解度算出手段は、
前記距離算出手段によって算出された距離に所定の重み付けをおこなって、前記正解度を算出することを特徴とする請求項２に記載の分類評価装置。
【請求項４】
前記正解度算出手段は、
前記距離算出手段によって算出された距離が近くなるほど、前記正解度が高くなるように重み付けをおこなうことを特徴とする請求項３に記載の分類評価装置。
【請求項５】
前記正解度算出手段は、
前記正解カテゴリを基準にして前記分類カテゴリがいくつ上位層または下位層に位置するかに応じて、重み付けをおこなうことを特徴とする請求項３または４に記載の分類評価装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、所定の対象物を分類するために複数のカテゴリのなかから選択付与されたカテゴリを示す分類カテゴリと、対象物に本来付与されるべき正解のカテゴリを示す正解カテゴリとを比較し、分類カテゴリの正誤を評価する分類評価装置に関し、特に、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる分類評価装置に関する。
【０００２】
【従来の技術】
近時、様々な分野において対象物をカテゴリに分類する分類技術（文書自動分類、画像認識による文字認識または指紋判定など）が開発されており、かかる分類技術により分類された分類データの信頼性を評価することは重要である。
【０００３】
従来は、かかる分類データを評価する際に、正解カテゴリ（熟練者などによって入力される本来対象物が入力されるべきカテゴリ）および分類カテゴリ（自動分類、自動認識または初心者などによって入力されたカテゴリ）の一致または不一致に基づいて正解率を算出し、該算出された正解率に基づいて評価をおこなっていた（例えば、非特許文献１参照。）。
【０００４】
具体的には、図１０に示すように、対象物１００〜１０９がＡ〜Ｌのカテゴリに分類された分類データを評価する場合、対象物１００においては正解カテゴリＦと分類カテゴリＦとが一致するから「正解」、対象物１０１においては正解カテゴリＢと分類カテゴリＤとが不一致であるから「不正解」、また同様に、対象物１０２においても正解カテゴリＥと分類カテゴリＤとが不一致であるから「不正解」というように、対象物１００〜１０９において正解カテゴリおよび分類カテゴリの一致または不一致を検出する。
【０００５】
【非特許文献１】
徳永健伸著「情報検索と言語処理（言語と計算シリーズ第５巻）」東大
出版会、１９９９、ｐ．７３−７９
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の従来技術は、カテゴリの一致または不一致のみを考察して分類データの正解率を算出するので、確度良く正解率を算出することができない。
【０００７】
例えば、上記の例において、カテゴリＡ〜ＬにはＡを最上位のカテゴリとする階層的な枝分かれ構造となる関係（図２参照）があるとすると、対象物１０１において正解カテゴリＢと分類カテゴリＤとはかなり近い関係にあり、また対象物１０２における正解カテゴリＥと分類カテゴリＤにおいても比較的近い関係にある。また、対象物１０５において正解カテゴリＤと分類カテゴリＣとはかけ離れた関係である。このように、単にカテゴリが不一致であると言っても近い関係、比較的近い関係、または、かけ離れた関係などの様々な場合が考察されるので、一義的に不一致として不正解とするのは正確であると言えない（図１０参照）。
【０００８】
本発明は、上述した従来技術による問題点を解消するためになされたものであり、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる分類評価装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記した課題を解決し、目的を達成するため、本発明は、複数のカテゴリを階層的な枝分かれ構造で記憶し、複数のカテゴリの位置関係に基づいて、分類カテゴリと正解カテゴリとの構造上の距離を算出し、距離に基づいて、分類カテゴリの正誤を評価するための正解度を算出する。
【００１０】
この発明によれば、複数のカテゴリの位置関係に基づいて正解度を算出することにより、正解カテゴリと分類カテゴリとの関係を正解度に反映することとなるので、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００１１】
また、本発明は、正解カテゴリと分類カテゴリとをリンクさせる枝の本数を距離として算出する。
【００１２】
この発明によれば、枝の本数を距離として算出することにより、正解カテゴリと分類カテゴリとの関係の距離を正解度に対して適切に反映することとなるので、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００１３】
また、本発明は、距離に所定の重み付けをおこなって、正解度を算出する。
【００１４】
この発明によれば、所定の重み付けをおこなって正解度を算出することにより、正解カテゴリと分類カテゴリとの関係の距離を正解度に対して適切に反映することとなるので、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００１５】
また、本発明は、距離が近くなるほど、正解度が高くなるように重み付けをおこなう。
【００１６】
この発明によれば、距離が近くなるほど、正解度が高くなるように重み付けをおこなうことにより、正解カテゴリと分類カテゴリとの関係の距離を正解度に対してより適切に反映することとなるので、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００１７】
また、本発明は、正解カテゴリを基準にして分類カテゴリがいくつ上位層または下位層に位置するかに応じて、重み付けをおこなう。
【００１８】
この発明によれば、上位層および下位層の関係に応じて重み付けをおこなうことにより、正解カテゴリと分類カテゴリとの関係を正解度に対してより詳細かつ適切に反映することとなるので、階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００１９】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る分類評価装置の好適な実施の形態を詳細に説明する。なお、下記に示す実施の形態１では、本発明に係る分類評価装置について説明し、また実施の形態２では、本発明に係る分類評価プログラムを実行するコンピュータシステムを説明し、最後に、他の実施の形態として種々の変形例を説明することとする。
【００２０】
（実施の形態１）
実施の形態１では、本発明に係る分類評価装置を説明する。なお、ここでは、本実施の形態１にかかる分類評価装置の概要および主たる特徴を説明した後に、この分類評価装置の構成を説明し、最後に、分類評価装置による各種処理の手順を説明する。
【００２１】
［概要および主たる特徴］
まず最初に、本実施の形態１に係る分類評価装置の概要および主たる特徴を説明する。図１は、本実施の形態１に係る分類評価装置の構成を示すブロック図である。同図に示す分類評価装置１０は、概略的には、所定の対象物を分類するために複数のカテゴリのなかから選択付与されたカテゴリを示す分類カテゴリ（比較分類データの分類結果）と、対象物に本来付与されるべき正解のカテゴリを示す正解カテゴリ（基準分類データの分類結果）とを比較し、分類カテゴリの正誤を評価するものである。
【００２２】
ここで、この分類評価装置１０は、複数のカテゴリが形成する階層的な枝分かれ構造の位置関係に基づいて分類カテゴリと正解カテゴリとの構造上の距離を算出し、該算出された距離に基づいて分類カテゴリの正誤を評価するための正解度を算出することに主たる特徴があり、かかる分類評価装置によって確度良く正解度を算出することができるようにしている。
【００２３】
この主たる特徴を具体的に説明すると、分類評価装置１０において、カテゴリ構造データベース１４は、複数のカテゴリを階層的な枝分かれ構造で記憶している。具体的には、図２に示すように、カテゴリ構造データベース１４に記憶されるカテゴリＡ〜Ｌには、Ａ（例えば、コンピュータ）を最上位のカテゴリとする階層的な枝分かれ構造となる関係があり、該下位層にカテゴリＢ（ハードウェア）とカテゴリＣ（ソフトウェア）が存在する。さらに、カテゴリＢ（ハードウェア）の下位層には、カテゴリＤ（ＰＤＡ）と、カテゴリＥ（ノート型）と、カテゴリＦ（デスクトップ）とが存在し、一方、カテゴリＣ（ソフトウェア）の下位層には、カテゴリＧ（ビジネス）と、カテゴリＨ（ゲーム）が存在する。さらにまた、カテゴリＤ（ＰＤＡ）の階層には、カテゴリＩ（Ａ社製品）と、カテゴリＪ（Ｂ社製品）とが存在し、カテゴリＧ（ビジネス）には、カテゴリＫ（Ｃ社製品）と、カテゴリＬ（Ｄ社製品）が存在する。
【００２４】
そして、リンク距離算出部１７は、カテゴリ構造データベース１４によって記憶された複数のカテゴリが形成する階層的な枝分かれ構造の位置関係に基づいて（図２参照）、正解カテゴリと分類カテゴリとをリンクさせる枝の本数をリンク距離として算出する。
【００２５】
これに続いて、分類正解度算出部１８は、リンク距離算出部１７によって算出されたリンク距離に、所定の重み付けをおこなって正解度を算出する。具体的には、リンク距離算出部１７によって算出されたリンク距離に、所定の重み付け（リンク距離が近くなるほど正解度が高くなるようにおこなう重み付け（図５（ｆ）式（６）および（７）参照）、正解カテゴリを基準にして分類カテゴリがいくつ上位層または下位層に位置するかに応じておこなう重み付け（図５（ｅ）式（５）参照）、および、分類カテゴリおよび正解カテゴリにとって共通の上位層のカテゴリが最上位層のカテゴリである場合に正解度が低くなるようにおこなう重み付け（図５（ｅ）式（５）参照）をおこなって正解度を算出する。
【００２６】
したがって、上記した従来技術の例で言えば、対象物１０１における正解カテゴリＢ（ハードウェア）と分類カテゴリＤ（ＰＤＡ）とのかなり近い関係、対象物１０２における正解カテゴリＥ（ノート型）と分類カテゴリＤ（ＰＤＡ）との比較的近い関係、および、対象物１０５における正解カテゴリＤと分類カテゴリＣとのかけ離れた関係について所定の重み付けをおこなうことによって、正解カテゴリと分類カテゴリとの関係を適切に反映して分類正解度を算出することができる。これにより、カテゴリが階層的な枝分かれ構造を有する場合に、上記した主たる特徴のように、確度良く正解度を算出することができる。
【００２７】
［分類評価装置の構成］
次に、本実施の形態１に係る分類評価装置１０における各部の構成を説明する。この分類評価装置１０は、図１に示すように、入力部１１と、出力部１２と、分類データ記憶部１３と、カテゴリ構造データベース１４と、カテゴリ関係データベース１５と、制御部１６と、リンク距離部１７と、分類正解度算出部１８と、分類正解率算出部１９とから構成される。
【００２８】
このうち、入力部１１は、各種の情報を入力するキーボードやマウスなどの指示入力を受け付ける処理部である。具体的には、分類評価処理をおこなう分野の選択に対する指示入力を受け付ける。
【００２９】
出力部１２は、各種の情報を出力するモニタなどの出力表示する処理部であり、具体的には、分類正解度算出部１８および分類正解率算出部１９の処理にしたがって算出された分類正解度および分類正解率を出力する（図６参照）。
【００３０】
分類データ記憶部１３は、対象物のＩＤ、正解カテゴリ（基準分類データの分類結果）および分類カテゴリ（比較分類データの分類結果）を対応付けて記憶する処理部である。具体的には、同一の対象物ごとに基準分類データが分類された分類結果である正解カテゴリおよび比較分類データが分類された分類結果である分類カテゴリを対応付けて記憶する（図４参照）。
【００３１】
カテゴリ構造データベース１４は、対象物が分類される複数のカテゴリを階層的な枝分かれ構造で記憶する処理部である。具体的には、図２に示すように、カテゴリＡ〜Ｌを階層的な枝分かれ構造で記憶する。
【００３２】
カテゴリ関係データベース１５は、対象物が分類される複数のカテゴリのなかで、全体および部分の関係、所定の名称付きの関係または無名関係を持つ組合せを対応付けて記憶する処理部である。具体的には、図３に示すように、カテゴリＬとカテゴリＧを全体および部分関係、カテゴリＫとカテゴリＧを名称付きの関係（例えば、ビールおよび大麦のようなＸ（原料）−Ｘ´（加工品）の関係）およびカテゴリＧとカテゴリＨを無名関係（例えば、写真および写真屋のように関係があることは間違いないが、写真屋および写真は多岐にわたって関係しており、名称付きの関係のように関係の名称を特定できない関係）として記憶する。
【００３３】
制御部１６は、各処理部でおこなわれるデータの入力および出力を制御する処理部である。具体的には、入力部１１によって受け付けた分野の選択に対する指示入力に基づいて、分類データ記憶部１３に対して正解カテゴリおよび分類カテゴリの検索を対象物ごとにおこなう（図４参照）。また、カテゴリ構造データベース１４に対して正解カテゴリおよび分類カテゴリの位置関係（図２参照）の検索、および、カテゴリ関係データベース１５に対して正解カテゴリおよび分類カテゴリの関係（図３参照）について検索をおこなう。
【００３４】
リンク距離算出部１７は、分類カテゴリと正解カテゴリとの構造上のリンク距離を算出する処理部である。具体的には、カテゴリ構造データベース１４によって記憶された複数のカテゴリが形成する階層的な枝分かれ構造の位置関係（図２参照）に基づいて、正解カテゴリと分類カテゴリとをリンクさせる枝の本数をリンク距離として算出する。
【００３５】
分類正解度算出部１８は、リンク距離算出部１７によって算出されたリンク距離、カテゴリ関係データベース１５によって記憶された全体および部分関係、所定の名称付きの関係および無名関係に応じて、所定の重み付けをおこなって正解度を算出する。具体的には、上位層および下位層に基づく分類正解度（図５（ａ）式（１．１）参照）、全体および部分関係に基づく分類正解度（図５（ａ）式（１．２）参照）、名称付きの関係に基づく分類正解度（図５（ａ）式（１．３）参照）および無名関係に基づく分類正解度（図５（ａ）式（１．４）参照）をそれぞれ算出し、該算出したそれぞれの関係における分類正解度を分類正解度算定式（図５（ａ）式（１）参照）に代入して分類正解度（それぞれの関係を反映した分類正解度）を算出する（図６参照）。
【００３６】
分類正解率算出部１９は、分類正解度算出部１８によって各対象物ごとに算出された分類正解度に基づいて所定の対象物全体の分類正解率を算出する処理部である。具体的には、図６に示すように、対象物１００〜１０９ごとに算出された分類正解度を分類正解率の算定式（図５（ｂ）式（２）参照）に代入して分類正解率を算出する。
【００３７】
［各種の処理の手順］
次に、本実施の形態１に係る分類評価装置１０による各種処理の手順を説明する。図７は、実施の形態１に係る分類評価装置の手順を示すフローチャートである。同図に示すように、入力部１１は、分類評価処理をおこなう分野の選択に対する指示入力を受け付ける（ステップＳ６０１）。
【００３８】
そして、制御部１６は、入力部１１によって受け付けた分野の選択に対する指示入力に基づいて、分類データ記憶部１３に対して正解カテゴリおよび分類カテゴリの検索（図４参照）を対象物ごとにおこなう（ステップＳ６０２）。
【００３９】
続いて、制御部１６は、カテゴリ構造データベース１４に基づいて正解カテゴリおよび分類カテゴリの位置関係（図２参照）を検索し、リンク距離算出部１７に入力する（ステップＳ６０３）。その後、リンク距離算出部１７は、分類カテゴリと正解カテゴリとの構造上のリンク距離を算出する（ステップＳ６０４）。
具体的には、カテゴリ構造データベース１４によって記憶された複数のカテゴリが形成する階層的な枝分かれ構造の位置関係（図２参照）に基づいて、正解カテゴリと分類カテゴリとをリンクさせる枝の本数をリンク距離として算出する。
【００４０】
また、制御部１６は、カテゴリ関係データベース１５に基づいて正解カテゴリおよび分類カテゴリの関係（図３参照）を検索し（ステップＳ６０５）、リンク距離算出部１７によって算出されたリンク距離とともに分類正解度算出部１８に入力する（ステップＳ６０６）。
【００４１】
ここで、分類正解度算出部１８は、リンク距離算出部１７によって算出されたリンク距離、カテゴリ関係データベース１５によって記憶された全体および部分関係、所定の名称付きの関係および無名関係に応じて、所定の重み付けをおこなって正解度を算出する（ステップＳ６０７）。
【００４２】
すなわち、正解カテゴリを基準にして分類カテゴリがいくつ上位層および下位層に位置するかという位置関係（例えば、対象物１０２において、分類カテゴリＤは、正解カテゴリＥに対して上位層にリンク１本および下位層にリンク１本のリンク距離を持つ）を分類正解度算定式（このとき、図２に示すカテゴリＡのように正解カテゴリと分類カテゴリの共通の上位層のカテゴリが最上位層のカテゴリである場合は、分類正解度が低くなるように重み付けをおこなう（図５（ａ）式（１．１）参照）に代入して上位層および下位層の関係に基づく分類正解度を算出、全体および部分関係（例えば、対象物１０４における正解カテゴリＬと分類カテゴリＧの関係）を分類正解度算定式（図５（ａ）式（１．２）参照）に代入して全体および部分関係に基づく分類正解度を算出、名称付きの関係（例えば、対象物１０６における正解カテゴリＧと分類カテゴリＫの関係）を分類正解度算定式（図５（ａ）式（１．３）参照）に代入して名称付きの関係に基づく分類正解度を算出、および、無名関係（例えば、対象物１０８における正解カテゴリＧと分類カテゴリＨの関係）を分類正解度算定式（図５（ａ）式（１．４）参照）に代入して無名関係に基づく分類正解度を算出し、該算出したそれぞれの関係における分類正解度を分類正解度算定式（図５（ａ）式（１）参照）に代入して分類正解度（それぞれの関係について総和平均した分類正解度）を算出する（図６参照）。
【００４３】
続いて、制御部１６は、全ての対象物について分類正解度の算出が終了したか否か判定する（ステップＳ６０８）。そして、全ての対象物について分類正解度の算出が終了していない場合（ステップＳ６０８否定）、分類正解度が算出されていない対象物に対して、上記のステップＳ６０２〜Ｓ６０７の処理を実行する。
【００４４】
また、全ての対象物について分類正解度の算出が終了した場合（ステップＳ６０８肯定）、制御部１６は、分類正解度算出部１８を介して、全ての対象物について算出された分類正解度を分類正解率算出部１９に入力する（ステップＳ６０９）。
【００４５】
そして、分類正解率算出部１９は、分類正解度算出部１８によって各対象物ごとに算出された分類正解度に基づいて所定の対象物全体の分類正解率を算出する（ステップＳ６１０）。具体的には、図６に示すように、対象物１００〜１０９ごとに算出された分類正解度を分類正解率の算定式（図５（ｂ）式（２）参照）に代入して分類正解率を算出する。
【００４６】
その後、出力部１２は、分類正解率算出部１９によって算出された分類正解率を出力する（ステップＳ６１１）。具体的には、分類正解度算出部１８および分類正解率算出部１９の処理にしたがって算出された分類正解度および分類正解率を出力手段（モニタなど）で出力する（図６参照）。
【００４７】
最後に、入力部１１は、他の分野について分類評価処理をおこなうか否かの指示入力を受け付ける（ステップＳ６１２）。他の分野について分類評価処理をおこなう場合（ステップＳ６１２肯定）には、ステップ６０１に戻って、他の分野について分類評価処理をおこなう。また、他の分野について分類評価処理をおこなわない場合（ステップＳ６１２否定）には、処理を終了する。
【００４８】
上述してきたように、本実施の形態１に係る分類評価装置１０は、上位層および下位層の関係に基づいて、所定の重み付けをおこなって正解度を算出する。このように、正解カテゴリと分類カテゴリとの関係をより詳細かつ適切に反映することにより、階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００４９】
また、本実施の形態１に係る分類評価装置１０は、全体および部分関係、名称付きの関係および無名関係に応じて、所定の重み付けをおこなって正解度を算出し、該算出したそれぞれの正解度に基づいて正解率を算出する。このように、正解カテゴリおよび分類カテゴリの様々な関係を適切に反映して正解度を算出することにより、確度良く正解率を算出することができる。
【００５０】
なお、実施の形態１では、上位層および下位層の関係に基づく分類正解度、全体および部分関係に基づく分類正解度、名称付きの関係に基づく分類正解度および無名関係に基づく分類正解度に基づいて分類正解度（それぞれの関係を反映した分類正解度）を算出する際に、総和平均することによって算出する（図５（ａ）に示す式（１））場合について説明したが、本発明はこれに限定されるものではなく、加重平均によって算出する（図５（ｃ）に示す式（３））場合、最大値を代表させる（図５（ｄ）に示す式（４））場合、上位層および下位層の関係に基づいて算出された分類正解度を代表させる（図５（ｅ）に示す式（５））場合、または、リンク距離に基づいて算出された分類正解度を代表させる（図５（ｆ）に示す式（６）および（７））場合についても同様に適用することができる。
【００５１】
（実施の形態２）
ところで、上記実施の形態１で説明した分類評価装置は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、本実施の形態２では、上記実施の形態１で説明した分類評価装置と同様の機能を有する分類評価プログラムを実行するコンピュータシステムについて説明する。
【００５２】
図８は、本実施の形態２に係るコンピュータシステムの構成を示すシステム構成図であり、図９は、このコンピュータシステムにおける本体部の構成を示すブロック図である。図８に示すように、本実施の形態２に係るコンピュータシステム１００は、本体部１０１と、本体部１０１からの指示によって表示画面１０２ａに画像などの情報を表示するためのディスプレイ１０２と、このコンピュータシステム１００に種々の情報を入力するためのキーボード１０３と、ディスプレイ１０２の表示画面１０２ａ上の任意の位置を指定するためのマウス１０４とを備える。
【００５３】
また、このコンピュータシステム１００における本体部１０１は、図９に示すように、ＣＰＵ１２１と、ＲＡＭ１２２と、ＲＯＭ１２３と、ハードディスクドライブ（ＨＤＤ）１２４と、ＣＤ−ＲＯＭ１０９を受け入れるＣＤ−ＲＯＭドライブ１２５と、フレキシブルディスク（ＦＤ）１０８を受け入れるＦＤドライブ１２６と、ディスプレイ１０２、キーボード１０３並びにマウス１０４を接続するＩ／Ｏインターフェース１２７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）１０６に接続するＬＡＮインターフェース１２８とを備える。
【００５４】
さらに、このコンピュータシステム１００には、インターネットなどの公衆回線１０７に接続するためのモデム１０５が接続されるとともに、ＬＡＮインターフェース１２８およびＬＡＮ／ＷＡＮ１０６を介して、他のコンピュータシステム（ＰＣ）１１１、サーバ１１２並びにプリンタ１１３などが接続される。
【００５５】
そして、このコンピュータシステム１００は、所定の記録媒体に記録された分類評価プログラムを読み出して実行することで分類評価装置を実現する。ここで、所定の記録媒体とは、フレキシブルディスク（ＦＤ）１０８、ＣＤ−ＲＯＭ１０９、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）１２４や、ＲＡＭ１２２、ＲＯＭ１２３などの「固定用の物理媒体」、さらに、モデム１０５を介して接続される公衆回線１０７や、他のコンピュータシステム１１１並びにサーバ１１２が接続されるＬＡＮ／ＷＡＮ１０６などのように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」など、コンピュータシステム１００によって読み取り可能な分類評価プログラムを記録する、あらゆる記録媒体を含むものである。
【００５６】
すなわち、分類評価プログラムは、上記した「可搬用の物理媒体」、「固定用の物理媒体」、「通信媒体」などの記録媒体に、コンピュータ読み取り可能に記録されるものであり、コンピュータシステム１００は、このような記録媒体から分類評価プログラムを読み出して実行することで分類評価装置を実現する。なお、分類評価プログラムは、コンピュータシステム１００によって実行されることに限定されるものではなく、他のコンピュータシステム１１１またはサーバ１１２が分類評価プログラムを実行する場合や、これらが協働して分類評価プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００５７】
（他の実施の形態）
さて、これまで本発明の実施の形態について説明したが、本発明は上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてもよいものである。
【００５８】
また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５９】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００６０】
（付記１）所定の対象物を分類するために複数のカテゴリのなかから選択付与されたカテゴリを示す分類カテゴリと、前記対象物に本来付与されるべき正解のカテゴリを示す正解カテゴリとを比較し、前記分類カテゴリの正誤を評価する分類評価装置であって、
前記複数のカテゴリを階層的な枝分かれ構造で記憶するカテゴリ構造記憶手段と、
前記カテゴリ構造記憶手段によって記憶された前記複数のカテゴリの位置関係に基づいて、前記分類カテゴリと前記正解カテゴリとの構造上の距離を算出する距離算出手段と、
前記距離算出手段によって算出された距離に基づいて、前記分類カテゴリの正誤を評価するための正解度を算出する正解度算出手段と、
を備えたことを特徴とする分類評価装置。
【００６１】
（付記２）前記距離算出手段は、
前記正解カテゴリと前記分類カテゴリとをリンクさせる枝の本数を距離として算出することを特徴とする付記１に記載の分類評価装置。
【００６２】
（付記３）前記正解度算出手段は、
前記距離算出手段によって算出された距離に所定の重み付けをおこなって、前記正解度を算出することを特徴とする付記２に記載の分類評価装置。
【００６３】
（付記４）前記正解度算出手段は、
前記距離算出手段によって算出された距離が近くなるほど、前記正解度が高くなるように重み付けをおこなうことを特徴とする付記３に記載の分類評価装置。
【００６４】
（付記５）前記正解度算出手段は、
前記正解カテゴリを基準にして前記分類カテゴリがいくつ上位層または下位層に位置するかに応じて、重み付けをおこなうことを特徴とする付記３または４に記載の分類評価装置。
【００６５】
（付記６）前記正解度算出手段は、
前記分類カテゴリおよび前記正解カテゴリにとって共通の上位層のカテゴリが最上位層のカテゴリである場合に、前記正解度が低くなるように重み付けをおこなうことを特徴とする付記３、４または５に記載の分類評価装置。
【００６６】
（付記７）前記複数のカテゴリのなかで、全体および部分の関係、所定の名称付きの関係または無名関係を持つ組合せを対応付けて記憶するカテゴリ関係記憶手段をさらに備え、
前記正解度算出手段は、前記カテゴリ関係記憶手段によって記憶されたそれぞれの関係に応じて、重み付けをおこなうことを特徴とする付記３〜６のいずれか一つに記載の分類評価装置。
【００６７】
（付記８）前記所定の対象物が複数ある場合に、
前記距離算出手段は、前記カテゴリ構造記憶手段によって記憶された前記複数のカテゴリの位置関係に基づいて、前記分類カテゴリと前記正解カテゴリとの構造上の距離を各対象物ごとに算出し、
前記正解度算出手段は、前記距離算出手段によって各対象物ごとに算出された距離に基づいて、前記正解度を各対象物ごとに算出するものであって、
前記正解度算出手段によって算出された各対象物ごとの前記正解度に基づいて、前記所定の対象物全体の正解率を算出する正解率算出手段をさらに備えることを特徴とする付記１〜７のいずれか一つに記載の分類評価装置。
【００６８】
（付記９）所定の対象物を分類するために複数のカテゴリのなかから選択付与されたカテゴリを示す分類カテゴリと、前記対象物に本来付与されるべき正解のカテゴリを示す正解カテゴリとを比較し、前記分類カテゴリの正誤を評価する方法をコンピュータに実行させる分類評価プログラムであって、
前記複数のカテゴリを階層的な枝分かれ構造で記憶するカテゴリ構造記憶工程と、
前記カテゴリ構造記憶工程によって記憶された前記複数のカテゴリの位置関係に基づいて、前記分類カテゴリと前記正解カテゴリとの構造上の距離を算出する距離算出工程と、
前記距離算出工程によって算出された距離に基づいて、前記分類カテゴリの正誤を評価するための正解度を算出する正解度算出工程と、
をコンピュータに実行させることを特徴とする分類評価プログラム。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、複数のカテゴリを階層的な枝分かれ構造で記憶し、複数のカテゴリの位置関係に基づいて、分類カテゴリと正解カテゴリとの構造上の距離を算出し、距離に基づいて、分類カテゴリの正誤を評価するための正解度を算出することとしたので、正解カテゴリと分類カテゴリとの関係を正解度に反映することができ、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００７０】
また、本発明によれば、正解カテゴリと分類カテゴリとをリンクさせる枝の本数を距離として算出することとしたので、正解カテゴリと分類カテゴリとの関係の距離を正解度に対して適切に反映することができ、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００７１】
また、本発明によれば、距離に所定の重み付けをおこなって、正解度を算出することとしたので、正解カテゴリと分類カテゴリとの関係の距離を正解度に対して適切に反映することができ、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００７２】
また、本発明によれば、距離が近くなるほど、正解度が高くなるように重み付けをおこなうこととしたので、正解カテゴリと分類カテゴリとの関係の距離を正解度に対してより適切に反映することができ、カテゴリが階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【００７３】
また、本発明によれば、正解カテゴリを基準にして分類カテゴリがいくつ上位層または下位層に位置するかに応じて、重み付けをおこなうこととしたので、正解カテゴリと分類カテゴリとの関係を正解度に対してより詳細かつ適切に反映することができ、階層的な枝分かれ構造を有する場合に、確度良く正解度を算出することができる。
【図面の簡単な説明】
【図１】実施の形態１に係る分類評価装置の構成を示すブロック図である。
【図２】カテゴリ構造データベースに記憶される情報の構成を示す図である。
【図３】カテゴリ関係データベースに記憶される情報の構成を示す図である。
【図４】分類データ記憶部に記憶される情報の構成を示す図である。
【図５】分類正解度および分類正解率の算出を説明するための図である。
【図６】出力部に表示される画面の構成例を示す図である。
【図７】実施の形態１に係る分類評価処理の手順を示すフローチャートである。
【図８】本実施の形態２に係るコンピュータシステムの構成を示すシステム構成図である。
【図９】図８に示したコンピュータシステムにおける本体部の構成を示すブロック図である。
【図１０】従来技術を説明するための図である。
【符号の説明】
１０  分類評価装置
１１  入力部
１２  出力部
１３  分類データ記憶部
１４  カテゴリ構造データベース
１５  カテゴリ関係データベース
１６  制御部
１７  リンク距離算出部
１８  分類正解度算出部
１９  分類正解率算出部
【図１】
2004177998.tif 000003
【図２】
2004177998.tif 000004
【図３】
2004177998.tif 000005
【図４】
2004177998.tif 000006
【図５】
2004177998.tif 000007
【図６】
2004177998.tif 000008
【図７】
2004177998.tif 000009
【図８】
2004177998.tif 000010
【図９】
2004177998.tif 000011
【図１０】
2004177998.tif 000012