(57)【要約】【課題】  ドキュメントコーパスからコンセプトを自動に取り出すシステム、方法及びコンピューター手順を提供すること【解決手段】  本発明は、ドキュメントコーパス（３０２）からコンセプトを自動に捜索し、並びにコンセプト階層構造（３１０）を自動に生成できる方法、システム及びコンピューター手順を提供する。本方法は、ドキュメントコーパス（３０２）から符号定数（３０４）を抽出する工程と、統計方法で符号定数間の類似性（３０６）を計算する工程と、符号定数の分布頻度を精練して前記類似性の計算を更なる精確にさせる工程（５０８）と、符号定数に曖昧性を解除しポリセミーの問題を解決する工程と、精練した分布頻度及び曖昧性を解除した後の符号定数を元として、符号定数の類似性（５１０）を新たに計算する工程とを含む。もう一度計算した類似性は、各符号定数間の実際の類似性を反映でき、これに応じて関連の符号定数を集束させ異なるコンセプトを形成でき、得たコンセプトは一コンセプト階層構造に配列される。このコンセプト階層構造は、ある検索待ち中の特定のコンセプトに自動に捜索し、並びにこのコンセプトに係わるドキュメントに戻る。
2005526317.tif 000002
【特許請求の範囲】
【請求項１】
コンセプト階層がコンセプトを多数の抽象階層に構成するドキュメントコーパスからコンセプト階層構造を自動に捜索する方法において、
ドキュメントコーパスから符号定数を抽出する工程と、
符号定数間の類似性を判定する工程と、
関連符号定数を逓増的に集束してコンセプトを生成することで、層進みクラスタコンセプトを得て、コンセプト階層を発生する工程と、
コンセプト階層内のコンセプトを標記する工程と、
生成したコンセプト階層にインターフェースを作成する工程と、を含むことを特徴とするドキュメントコーパスからコンセプト階層構造を自動に捜索する方法。
【請求項２】
符号定数抽出工程は、
ドキュメントコーパス内のドキュメントを区切りして、詞性標記及び文法構造を分析する工程と、
ドキュメント内容を代表する符号定数を抽出する工程と、
抽出した符号定数をインデックスに編集する工程と、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
符号定数間類似性判定工程は、
ドキュメントコーパス内の分布で符号定数を表示する工程と、
符号定数間の類似性を計算する工程と、
符号定数がドキュメントコーパス内での分布を精練する工程と、
精練した分布を元として、符号定数間の類似性を新たに計算する工程と、
前記新たに計算して得る結果で符号定数の類似性を判定する工程と、を含むことを特徴とする請求項１に記載の方法。
【請求項４】
ＫＬ距離を補正することで符号定数間の類似性を計算することを特徴とする請求項３に記載の方法。
【請求項５】
相互情報統計方法で符号定数間の類似性を計算することを特徴とする請求項３に記載の方法。
【請求項６】
符号定数分布精練工程は、
符号定数がドキュメントコーパス内での共同出現頻度分布を精練する工程と、
出現頻度が高い符号定数に対して曖昧性を解消し、多数のセンスが単一の符号定数に含まれるかもしれないことを解決する工程と、を含むことを特徴とする請求項３に記載の方法。
【請求項７】
共同出現頻度精練工程は、
符号定数毎に対して、条件確率で一つのスムーズパラメータを計算する工程と、
符号定数の共同出現頻度を計算する際に、前記スムーズパラメータを毎回の反復計算に加入する工程と、を含むことを特徴とする請求項６に記載の方法。
【請求項８】
符号定数曖昧性解消工程は、
曖昧性符号定数を選出する工程と、
符号定数の異なるセンスを計算する工程と、
一つのセンスを構成する符号定数の頻度分布でこのセンスを表示する工程と、
曖昧性解消符号定数に対応する多数のセンスの計算結果に基いて、曖昧性解消符号定数の頻度分布を分解する工程と、
分解して得た頻度分布をセンス計算工程に加入する工程と、
ある特定センスを含む符号定数に対し、その頻度分布を調整する工程と、
調整した後の頻度分布に基いて、再び一対毎の符号定数のセンスを計算する工程と、
予定反復数を満足するまでに、前記第６及び第７のサブ工程を繰り返して行う工程と、を含むことを特徴とする請求項６に記載の方法。
【請求項９】
階層集束工程は、
符号定数間の類似性に基いて符号定数間の連接度を評価する工程と、
高い連接度を有する符号定数を集束して、一つの符号定数クラスタが一つのコンセプトを代表する工程と、
二つ以上の独立符号定数クラスタ間の連接度を評価する工程と、
符号定数クラスタ毎のうち符号定数を構成する間の緊密度を評価する工程と、
クラスタ間の連接度に基いて、少なくとも二つの符号定数クラスタを合併し一つの上層クラスタを形成する工程と、
合併されるクラスタ数が予定の数に至るまでに、前記第３、第４及び第５の工程を繰り返して行う工程と、を含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記逓増集束工程では、二次元区切り演算法より集束することを特徴とする請求項１に記載の方法。
【請求項１１】
一つ或は多数の工程を実現する手順はは、ハードウェアチップ内に固定化されることを特徴とする請求項１に記載の方法。
【請求項１２】
コンセプト階層がコンセプトを多数の抽象階層に構成するドキュメントコーパスからコンセプト階層構造を自動に捜索するシステムにおいて、
ドキュメントコーパスから符号定数を抽出する方法と、
符号定数間の類似性を判定する方法と、
関連符号定数を逓増的に集束してコンセプトを生成することで、層進みクラスタコンセプトを得て、コンセプト階層を発生する方法と、
コンセプト階層内のコンセプトを標記する方法と、
生成したコンセプト階層にインターフェースを作成する方法と、を含むことを特徴とするドキュメントコーパスからコンセプト階層構造を自動に捜索するシステム。
【請求項１３】
符号定数抽出方法は、
ドキュメントコーパス内のドキュメントを区切りして、詞性標記及び文法構造を分析する方法と、
ドキュメント内容を代表する符号定数を抽出する方法と、
抽出した符号定数をインデックスに編集する方法と、を含むことを特徴とする請求項１２に記載のシステム。
【請求項１４】
符号定数間類似性判定方法は、
ドキュメントコーパス内の分布で符号定数を表示する方法と、
符号定数間の類似性を計算する方法と、
符号定数がドキュメントコーパス内での分布を精練する方法と、
精練した分布を元として、符号定数間の類似性を新たに計算する方法と、
前記新たに計算して得る結果で符号定数の類似性を判定する方法と、を含むことを特徴とする請求項１２に記載のシステム。
【請求項１５】
符号定数間の類似性を計算する方法は、ＫＬ距離を補正することで符号定数間の類似性を計算することを特徴とする請求項１４に記載のシステム。
【請求項１６】
符号定数間の類似性を計算する方法は、相互情報統計方法で符号定数間の類似性を計算することを特徴とする請求項１４に記載のシステム。
【請求項１７】
符号定数分布精練方法は、
符号定数がドキュメントコーパス内での共同出現頻度分布を精練する方法と、
出現頻度が高い符号定数に対して曖昧性を解消し、多数のセンスが単一の符号定数に含まれるかもしれないことを解決する方法と、を含むことを特徴とする請求項１４に記載のシステム。
【請求項１８】
共同出現頻度精練方法は、
符号定数毎に対して、条件確率で一つのスムーズパラメータを計算する方法と、
符号定数の共同出現頻度を計算する際に、前記スムーズパラメータを毎回の反復計算に加入する方法と、を含むことを特徴とする請求項１７に記載のシステム。
【請求項１９】
符号定数曖昧性解消方法は、
曖昧性符号定数を選出する方法と、
符号定数の異なるセンスを計算する方法と、
一つのセンスを構成する符号定数の頻度分布でこのセンスを表示する方法と、
曖昧性解消符号定数に対応する多数のセンスの計算結果に基いて、曖昧性解消符号定数の頻度分布を分解する方法と、
分解して得た頻度分布をセンス計算工程に加入する方法と、
ある特定センスを含む符号定数に対し、その頻度分布を調整する方法と、
調整した後の頻度分布に基いて、再び一対毎の符号定数のセンスを計算する方法と、
予定反復数を満足するまでに、前記第６及び第７のサブ工程を繰り返して行う方法と、を含むことを特徴とする請求項１７に記載のシステム。
【請求項２０】
階層集束方法は、
符号定数間の類似性に基いて符号定数間の連接度を評価する方法と、
高い連接度を有する符号定数を集束して、一つの符号定数クラスタが一つのコンセプトを代表する方法と、
二つ以上の独立符号定数クラスタ間の連接度を評価する方法と、
符号定数クラスタ毎のうち符号定数を構成する間の緊密度を評価する方法と、
クラスタ間の連接度に基いて、少なくとも二つの符号定数クラスタを合併し一つの上層クラスタを形成する方法と、
合併されるクラスタ数が予定の数に至るまでに、前記第３、第４及び第５の工程を繰り返して行う方法と、を含むことを特徴とする請求項１２に記載のシステム。
【請求項２１】
前記逓増集束に用いる方法は、二次元区切り演算法より集束を実現することを特徴とする請求項１２に記載のシステム。
【請求項２２】
自動生成のコンセプト階層作成インターフェースに用いる方法は、コンセプト階層のうち一つのコンセプを検索する方法を含むことを特徴とする請求項１２に記載のシステム。
【請求項２３】
自動生成のコンセプト階層作成インターフェースに用いる方法は、このコンセプト階層を編集する方法を含み、ユーザがこの方法よりコンセプト階層のうちあるコンセプトを検索する際に、このコンセプトに合せるドキュメントに自動的に戻ることを特徴とする請求項１２に記載のシステム。
【請求項２４】
自動生成のコンセプト階層作成インターフェースに用いる方法は、検索を自動に発生する方法を含むことを特徴とする請求項１２に記載のシステム。
【請求項２５】
このシステムは、コンピュータープログラムで実現することを特徴とする請求項１２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はドキュメントコーパスからそのコンセプト階層構造を自動に発見するものに係わり、とくに、ドキュメントコーパスからコンセプトを自動に発見しかつ標記されるコンセプト階層構造を自動に生じる方法、システム及びコンピューター手順に関するものである。
【背景技術】
【０００２】
現在の情報時代では、毎日に、たくさんの情報が新たに増えており、其の中の大部分の情報のフォーマットがソフトウェアドキュメントで、各会社、組織及びインターネットの相応コンピューターシステムに伝送され、情報の格納及び流通を実現させる。現在、インターネット上には約４０億枚の静態ホームページがあり、また毎日７３０万枚の速度で増えつつあり、よって、これらのソフトウェアドキュメントの数がこのように人を驚かせる数だったのは良く分った。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
これら数多いデータは、所定のロジック方式によって組織するのではなく、ただ無序に積み立てられ、よって、沢山のデータ中から要望の必要ある情報を検索するのが容易ではないと考えられる。しかも、データ量の増加に伴って、検索の複雑性も相対的に増加され、これは、検索中に関連情報を逃したり、冗長の検索結果に戻したりするようなことになる可能性がある。そのため、所定のロジック方式によって情報に対して格納や整理するのが必要であり、これは人々が情報への読み取りや検索をし易くなることが明らかである。
【０００４】
これら数多い情報やドキュメントを整理するのは、図書館で書籍に対しての整理に似ている。図書館では、様々の書籍が所定のロジック方式によって序列的に整理され、例えば、所属の学科や作者或は他の符号定数（例えば、出版機構或は出版期日など）によって整理される。書籍に対して序列的に整理する基本目的は、人々が必要な書籍を検索し易くするシステムを作成することである。これは人々が必要な書籍を発見することを助けるようになり、また書籍の管理にも容易になる。
【０００５】
上記に似てるように、我々が対面している様々なソフトウェアドキュメントは、いろんな異なるタイトルに係わり、それに対して分類し、またあるロジック方式によって整理する必要がある。従来の「ドキュメント分類法」は、類別によってドキュメントを整理する。この方法は一つのパラメーター（或は符号定数）を予め設定し類別に対応させ、ある特定の予設パラメーターに合っているアドキュメントは、特定の予設パラメーターが対応する類別内に集められる。例えば、財政金融報告関連ドキュメントの分類方法は、関連ドキュメントを年度報告と定期報告に分ける。かつ、実際状況に応じてさらに分類することが出来る。ドキュメント内に反映される内容や思想を判断基準として、ドキュメントを予め設定する類別内に記録しておく。この分類法では、ある特定の類別内に同一思想や内容を反映するドキュメントが記録される。類別の利用で管理し易い検索空間（分類）が発生されるので、数多いドキュメントコーパスから関連情報を発見し易くなり、情報読み取り、検索及び獲得することが容易になる。
【０００６】
分類構築はチャレンジのある仕事で、深い分類関連知識が必要である。そのため、分類構築は、普通、特定技術領域の専門家より完成する。例えば、Ｙａｈｏｏの目録構造は人工で分類構造を作成して形成される一例である。人工構築分類構造は、普通、たくさんの時間や工夫をかかる。また、科学技術の発展に伴って、新しい技術領域及び新しい技術用語がどんどん出てきて、既に存在している分類構造を更新することはさらに困難になる。
【０００７】
ドキュメントコーパスのうちドキュメント毎の内容や思想が自動に識別出来、一々正式に読取してから分るようにする必要がなければ、ドキュメントに対して分類整理することの難しさを減少できる。ドキュメントに含まれる重要思想は、「コンセプト」に定義できる。例えば、「再生可能なエネルギーシステム」に関するドキュメントは、風力発電機、太陽エネルギー、太陽照明、自然資源、生物燃料などのような関連コンセプトを含む。これらのコンセプトは一つの階層の構造に整理され、其の中には、それぞれ関連するコンセプト配列位置はお互いに近づき、上位であるほどそのコンセプトは、配列上に階層構造での頂層に近づくことになる。コンセプトの階層構造は、ツリー状データ構造に見なしても良い、最も上位のコンセプトはツリーの根とし、最も下位のコンセプトはツリーの葉とする。例えば、「自然科学」をデータツリーの根とし、物理学、化学及び生物学の三つのサブノードを含む。そして、前記物理学、化学及び生物学の三つのサブノードから、夫々、各自の次の階層のノードを区分できる。例えば、物理から力学や電磁学や光学及び熱学を、化学から有機化学及び無機化学を、生物から動物学及び植物学を夫々区分できる。前記データツリーからさらに下に向けツリーの葉（即ち、これ以上に区分できないノード）までに細かく区分できる。ツリーの葉の部分は「自然科学」内の最も具体的な分類を代表する。実際には、例えば、神経学、病理学、核磁性及びオレフィン系炭化水素などのコンセプトは、ともに、このような階層構造のツリーの葉の部分にすることが出来る。
【０００８】
コンセプトを一階層構造に整理するのは、ユーザがコンセプトへの捜索を実現することには有利である。また、関連コンセプトへの検索も、コンセプトに係わるドキュメントを分類内の相応の所属類別内に包摂することに有利である。一階層構造では、一つ以上のコンセプトを含める。同様、一コンセプトも一つ以上の分類に適用できる。コンセプトに係わるキーワードによってコンセプトを捜索すると、コンセプトに係わるドキュメントを探し出すことが出来る。コンセプト捜索はドキュメントが分類内での所属類別を判断する第１歩にすることできる。そのため、自動生成のコンセプト及びコンセプト階層構造は、人工で分類構造を作成するための必要な時間やコストを明らかに削減できる。
【０００９】
自動抽出コンセプト及び自動生成コンセプト階層構造の方法は、（ａ）ドキュメントコーパスから判定しコンセプトを抽出する工程と、（ｂ）コンセプトを一コンセプト階層に整理する工程と、を含む。
【００１０】
（ａ）ドキュメントコーパスから判定しコンセプトを抽出する工程：コンセプトはドキュメントの核心思想を代表する。ドキュメントの核心思想は、一組の関連キーワードで反映でき、これらのキーワードはドキュメントコーパスから抽出され、これらの関連キーワードを集中してコンセプトを形成できる。
（ｂ）コンセプト階層を生成する工程：前記コンセプト抽出工程では、一定数量のコンセプトを発生でき、其の中の大部分コンセプトはお互いに関連しており、また、一つのコンセプトは、通常、さらに幾つかのサブコンセプトに細かく分けられる。そのため、各
コンセプト間のロジック関係を確定する必要があるので、コンセプト間のロジック関係を示すコンセプト階層がこれに応じて生じられる。
【００１１】
抽出コンセプト及び生成コンセプト階層について、既に開発された多くの方法では、大部分は語い情報でコンセプトを抽出し、抽出されたコンセプトを階層序列で配列させる。
【００１２】
“Automatic Concept Extraction From Plain Text：普通テキストでの自動コンセプト抽出”の文献が、Boris Gelfand,Mariltyn Wulfekuhler 及びWilliamF.Punch IIIらより１９９８年７月にmadisionで開かれた米国人工智慧協会（AAAI）テキスト分類学専門研究会上に発表された。この文献は構造解析したテキストからコンセプトを抽出するシステムを掲示されている。このシステムはワードとワードとの間の語い関係に基いて、ワードネット語い基準システムからワードとワードとの間の語い関係を検索する。ワードネット内に語いコンセプトによって文字を整理する。例えば、名詞、動詞、形容詞及び副詞で一組の同義文字を構成し、各文字ごとは一つの基本の語い意思を代表する。通常、“基本ワード”に称される部分センスが原始テキストから抽出され、またセンス関係曲線、即ちＳＲＧ曲線（Semantic Relationship Graph）でともに連接される。基本ワードはＳＲＧ曲線図内のノードに対応して、センスに係わる基本ワードの対応ノードがともに連接される。部分基本ワードに対して、これらは語いデータベースでの直接のセンス関係は無いが、一つの連接ワードで連接することが出来る。この連接ワードは一つの“添えワード”としてＳＲＧ曲線図内に追加される。例えば、ＳＲＧ曲線上に二つの語い“生理学”及び“物理学”があるとすると、両者の間に直接の関係は無い。この際、“自然科学”を一つの“添えワード”としてＳＲＧ曲線内に導入するかもしれない。そして、曲線図からこれらの十分足りるノードと関連してないワードを除去して、これによって発生するグラフの結果はドキュメントコーパスのセンス情報を反映しており、ドキュメントコーパスに対して分類することが出来る。最後に、ＳＲＧグラフを多数のサブグラフに分けて各種のドキュメント分類を得られる。
【００１３】
“WEBSOM Self Organizing Maps of Document Collections：WEBSOMドキュメントコレクションセルフ組織地図”の文献が、１９９７年７月にフィンランドのEspooで開かれたセルフ組織地図専門研究会（WSOM97）上にTimo Honkelaらより発表され、ドキュメントコーパスからこのドキュメントを示すキーワードを抽出する方法を掲示されている。五つの確定待ち分類のドキュメント及び５０個のドキュメントから抽出されたキーワードがあるとすると、これらのキーワードはこれらのドキュメントの符号定数である。ドキュメント毎に対して夫々一つのこれに対応している“符号定数ベクトル”を設定しており、この符号定数ベクトルは５０次元変数を有し、夫々５０個のキーワードがこのドキュメント内に出てくる頻度に対応している。これらのドキュメントを一つの２次元の図上に描く。２次元の図において、符号定数ベクトルが互いに近づき集まって一緒になるドキュメント同士間の関連性は比較的に強い。このようなドキュメントコレクションの分類は、直観な表現を提供し、その中では似ているドキュメントが集束され一緒になる。
【００１４】
“Finding Topic Words for Hierarchical Summarization”の文献が、２００１年に開かれた情報検索研究及び発展国際会議上にLawrieらより発表され、タイトル階層構造摘要を作成する方法を掲示されている。タイトル階層構造は、タイトルワードを一つの階層構造に組み立て、その中では、低い方のタイトルは他のセンス同じのワードを覆う。このような方法は、ドキュメントコーパス内に出てきるワードの条件確率でタイトルワードを引出し並びにタイトル階層構造を作成する。この方法は一つの直観図で如何なる二つのワード間の関係を表現しており、その中では、図内のノードはドキュメント内の語いを代表し、各ノード間の接続線が語い間の“包摂”確率の比例値を反映する。専門用語Ｙが専門用語Ｘの上位記述であると、ＸがＹ内に包摂される。図内では、包摂確率が最も高く、幾つのノードに連接する専門用語は、求めているより上位の専門用語である。前記の工程を繰り返してすると、階層構造での更なる高い階層の専門用語を得られる。
【００１５】
“Deriving Concept Hierarchies From Text：テキストからコンセプト階層構造を捜索する”の文献が、１９９９年にデータ検索研究及び発展国際会議上にSandersonらより発表され、ドキュメントコーパスからコンセプト階層構造を自動に捜索する方法を掲示され、この方法は一対のワード間の包摂確率に基いたものである。ワードストラップ‘ｐ’がワードストラップ‘ｃ’に対して更なる概要的な記述であると、ワードストラップ‘ｐ’がワードストラップ‘ｃ’の母ワードストラップでる。このような方法でワードストラップ構成コンセプト階層システム中の各ノードを得て、生じられた階層システムよりテキスト内の両ワードの関係を分る。
【００１６】
一方、本発明のシステムはコンセプトを一つの階層構造に組み立て、階層構造内のの各ノードの下層はワードである。階層内部のノードが異なる抽出階層のコンセプト（一組の短語からなるクラスタはコンセプトで）に対応する。この階層構造はコンセプトとコンセプト間の関係を表現する。同時に、Sanderson及びCroftより構築したコンセプト階層システムでは、一つのノードは一つ以上の上層ノードを所属出来ないが、本発明の階層構造は、このような制限はない。
【００１７】
前記の研究報告以外に、この技術領域では、また様々な抽出コンセプト及び構築コンセプト階層に係わる特許文献がある。
【００１８】
米国特許第５，３２５，２９８号「多数の語幹が対応するコンセプトベクトルを生成或は訂正する方法」及び米国特許第５，６１９，７０９号「コンセプトベクトルの生成及び検索方法並びにシステム」では、夫々文脈ベクトルを発生する方法を提供する。この文脈ベクトルはドキュメント及び他の情報を格納、検索でき、この文脈ベクトルは、ドキュメントコーパスでの上下文の文脈関係を表徴し、ドキュメント間の文脈関係によって、関連あるドキュメントを集合出来る。
【００１９】
米国特許第５，８７３，０５６号「センスベクトル分析法を用いて語い曖昧性を解決する自然言語処理システム」では、普通のタイトルワードでドキュメントに対して自動的に分類及び検索する方法を提供し、一つの語いデータベース内から分類及び検索に適応するタイトルコードを得る。米国特許第５，９５３，７２６号「コンセプト階層をメンテナンスする方法及び装置」は、コンセプト特性及びコンセプト階層に関する。
【００２０】
前記方法及び特許は、ともに自動抽出コンセプト及び構築コンセプト階層に発生した各種の問題を解決するためのものである。
【００２１】
しかしながら、また幾つかの欠点が存在しており、前記研究報告及び特許文献では、下記の一つ或は多数の重要な問題を完全に解決することは出来ない。
【００２２】
大部分のシステムは語いベースに基いてコンセプトを抽出し、その抽出範囲は語いベースの覆う範囲に制限される。従来の語いベースは、一般、様々な異なる専業領域のタイトルワードに対応できない。また、科学技術の発展では、新しい研究領域及び新しい専門用語が出て来て、例えば、“biometrics”も、その一つの新しく出て来る専門用語である。従来の語いベースを基準として、このような新しく出て来る領域及び専門用語を検索できない。
【００２３】
また、従来の大部分のシステムでは、コンセプトの発生及びコンセプト抽出は、確率モデルで実現しており、この方法は、データ疎行、ポリセミー及び冗長キーワードへの処理能力にまた欠けている。
【００２４】
データ疎行の原因は、キーワードが一つのドキュメントコーパス中から選出され、ある一つのキーワードが一つのドキュメントコレクション中から出てくる確率が、一つの単独のドキュメントから出てくる確率より低いためである。これは、このキーワードを表徴する比例が精確性を足りなくなり、如何なる二つのキーワード間の類似性の計算に影響になる。
【００２５】
ポリセミーとは、語い曖昧性よる問題である。例えば、英語の単語“club”は、“a suit in cards”、 “a weapon”或は“a gathering”の様々な解釈がある。ワードが上下文内での適切な意思を得るのは、生成コンセプト及びコンセプトの階層配列にとって非常に重要である。語い曖昧性よる問題について、従来の曖昧性解除方法は、ワードが代表される異なる意思を予め定義、格納して一つの語い基準を形成させ、この語い基準でワードに含まれる異なるセンスを区分する。従来の曖昧性解除方法は、語い自身の固有意思に注目しているが、一般、上下文の関係に合せてワードが代表される詳しい意思を理解することは考えていない。例えば、単語“car”に対しての理解は、語いによればこれが一つの交通運送工具であると解釈するが、上下文の詳しい文脈に合せて解釈すると、“car”は“car insurance”或は“car racing”に解釈できる。
【００２６】
冗長キーワードの出現とは、ドキュメントコーパス中から繰り返し実際の意思が無い幾つかのワードが出て来てキーワードとして抽出されるかもしれない。例えば、一つの運動に係わる報道のドキュメントコーパスでは、“記者”は出現頻度が非常に高い単語で、出現回数の多いか少ないかのみを基準としてドキュメントコーパス中からキーワードを抽出すると、頻繁に出て来る“記者”という単語が抽出されキーワードになることが考えられる。しかし、運動という特定の領域に対して、この単語は実際の意思がなく、これをキーワードとして構築されるコンセプトは、誤りを起こすことになる。
【００２７】
上記のように、前記従来の方法は、実際の使用上に明らかに不便や欠点が存在し、改善を期待している。
【００２８】
そのため、本発明人は上記欠点が改善できることに鑑み、積極的研究に専念し学術の利用によって、設計合理かつ上記の欠点を解決出来る好適な本発明の新たな構成を提案し出した。
【課題を解決するための手段】
【００２９】
本発明は、ドキュメントコーパスからそのコンセプト階層構造を自動に捜索するシステム、方法及びコンピューター手順を提供することを一つの目的とし、その中では、コンセプト階層構造は、異なる抽象階層によってコンセプトを編集、配列する。
【００３０】
本発明は、ドキュメントコーパスからコンセプトを自動に取り出すシステム、方法及びコンピューター手順を提供することをもう一つの目的とする。
【００３１】
本発明は、ドキュメントコーパスから符号定数を自動に取り出すシステム、方法及びコンピューター手順を提供することをもう一つの目的とする。本発明は、さらに各符号定数の間の類似性を特定して関連符号定数に集合しコンセプトを形成する。
【００３２】
本発明は、各符号定数間の類似性を計算し関連符号定数を確定することをもう一つの目的とする。
【００３３】
本発明は、符号定数の分布頻度を精練して類似性の計算中のデータ疎行やポリセミーよる誤りを減少させることをもう一つの目的とする。
【００３４】
本発明は、コンセプト階層構造から異なる抽象階層によってコンセプトを自動に整理することをもう一つの目的とする。
【００３５】
本発明は、生成されたコンセプト階層構造の友好使用インターフェースを適応することをもう一つの目的とし、それは、ユーザがコンセプト階層構造内のある一つのコンセプトに合致する関連ドキュメントを有効に検索することに有利になる。
【００３６】
本発明は、ユーザインターフェースを作成し、ユーザがドキュメントコーパスの情報内容を読み取り並びに使用することに有利にさせることをもう一つの目的とする。
【００３７】
本発明は、語い基準及びコーパス分析知識に合せてドキュメントコーパスに含まれる情報内容を更なる良く反映するコンセプト階層構造を構築することをもう一つの目的とする。
【００３８】
本発明は、コンセプト階層構造で分類中の類別を自動に得て、合致のドキュメントを相応所属類別内に自動に包摂し、分類構築を促進させることをもう一つの目的とする。
【００３９】
前記目的を達成するために、本発明は、ドキュメントコーパスからコンセプトを自動に捜索し、並びにコンセプト階層構造を自動に生成できる方法、システム及びコンピューター手順を提供する。本発明の方法は、ドキュメントコーパスから符号定数を抽出する工程と、統計方法で符号定数間の類似性を計算する工程と、符号定数の分布頻度を精練して前記類似性の計算を更なる精確にさせる工程と、符号定数に曖昧性を解除しポリセミーの問題を解決する工程と、精練した分布頻度及び曖昧性を解除した後の符号定数を元として、符号定数の類似性を新たに計算する工程とを含む。もう一度計算した類似性は、各符号定数間の実際の類似性を反映でき、これに応じて関連の符号定数を集束させ異なるコンセプトを形成でき、得たコンセプトは一コンセプト階層構造に配列される。このコンセプト階層構造は、ある検索待ち中の特定のコンセプトに自動に捜索し、並びにこのコンセプトに係わるドキュメントに戻る。
【００４０】
本発明の特徴とその技術内容をさらに詳細的で具体的に説明するために、以下に添付図面を参照しながら、本発明の具体的な実施の形態を詳細的に説明するが、それらの説明と図面に開示される具体的な構成は本発明の主張範囲を狭義的に局限するものではないことが言うまでもないことである。
【発明を実施するための最良の形態】
【００４１】
関連専門用語の定義
【００４２】
符号定数：ドキュメント内に出現した名詞或は名詞短語を指す。ドキュメント内容は一般、その中に出現した名詞或は名詞短語より表現する。これらの名詞或は名詞短語は相応ドキュメントの内容を代表できる。これは、素描中の人物特徴に似ていて、人物特徴は人物身分えを確定でき、同様に、ドキュメントの内容及び特性を代表する名詞或は名詞短語を“符号定数”に称する。符号定数は一つ或は多数の構成要素を備える。
【００４３】
コンセプト：関連の符号定数より集合してなる一つのクラスタをコンセプトに称する。
【００４４】
コンセプト階層：コンセプトの一つの階層配列構造を指す。その中では、相互間に関連するコンセプトは、配列上にお互いに近づき、上位であるほどそのコンセプトが頂層に近づくことになる。
【００４５】
標記：コンセプトのために設定する名詞を指す。標記は一つの記述性のワード或は短語であり、コンセプトが代表する要素を識別する。
【００４６】
分類：分類は類別をツリー状構造に整理し、並びに類別と関連ドキュメントに結合する。
【００４７】
類別：類別は予め設定するパラメーター（或は特性）であり、この特定パラメーターに合致するドキュメントを集束する。
【００４８】
緊密度：一つのクラスタ内の各組成符号定数間の平均類似性或はクラスタ内の各サブクラスタ間の平均類似性を推定する一つの量を定義する。
【００４９】
連接度：二つのクラスタの構成要素間の平均類似性を評価し、その中では、クラスタの構成要素は符号定数或はサブクラスタで良い。
【００５０】
クラスタ内距離：緊密度と反比例になる量は、緊密度よりガイドして得られ、即ち、高緊密度を有するクラスタに対して、相応に、そのクラスタ内距離が小さい。
【００５１】
クラスタ間距離：連接度と反比例になる量は、連接度よりガイドし得られ、即ち、クラスタ間に比較的に高い連接度を有すると、これらのクラスタのクラスタ間距離が小さい。
【００５２】
ポリセミー：ワンワードが一つ以上の意思を有する場合を指す。上下文の前後関係に結合しなくこのような曖昧ワードに対して単独解釈を行うと、その具体的に示す意思は確定し難い。
【００５３】
データ疎行：一つのドキュメント内の語い数が全コーパスの全ての語い数のうち一つの小さいサブセットに所属する一属性を指す。一つのコンセプトは幾つかのワードで伝達できる。コーパスでは、このコンセプトに係わる全てのワードを含むが、全ての関連ワードでは、このコンセプトを含む全てのドキュメント内に同時に出現できない。コーパスの異なるドキュメントでは、異なるワードで同一のコンセプトを表現することが存在する。
【００５４】
核心コンセプト：一つのドキュメントの内容は、その含む主要思想で概要する。これらの主要思想は、部分のキーワード或は短語で表現できる。一般、一つのドキュメントは一つ以上の思想を含み、対応に、関連のキーワード及び短語も一つ以上の思想を含む。一つの同一思想を反映するキーワード／短語クラスタは、一つのコンセプトに称される。前記このような一つのキーワード／短語クラスタの名称は、標記と称する。クラスタになるキーワード或は短語は、符号定数である。人の符号定数がその身分を代表できるように、これらの関連ワード及び短語は、相応のドキュメントの内容を代表する。
【００５５】
下記の例で符号定数、コンセプト及び標記間の関係を更なる良く理解できる。一つのドキュメントから抽出した“malaria, osteoporosis, hospital, lung and medicine”などのワードは、符号定数であり、これらの符号定数は、このドキュメントの主要思想が“healthcare”であることを表明し、このように、前記符号定数よりなるクラスタは、“healthcare”でその標記とすることが出来る。したがって、前記符号定数よりなるクラスタは、一つのコンセプトを形成し、そのコンセプトは“healthcare”で示す。
【００５６】
ドキュメントの主要思想或は内容は、一般、その含む名詞及び名詞短語で表示するので、一つのドキュメント内の名詞及び名詞短語が、このドキュメントの符号定数を構成する。
【００５７】
コンセプトで思想には異なる抽象階層の分けが存在することを表示し、即ち、相当抽象の思想で、例えば、“科学”で、或は、より具体的思想で、例えば、“病理学”である。そのため、これらの異なる思想のコンセプトも同様に異なる抽象階層の分けが存在することを表示する。
【００５８】
これらのコンセプトを異なる抽象階層に応じて一つの階層構造に配列し、一コンセプト階層を構成する。このコンセプト階層では、具体的なコンセプトは、抽象的なコンセプトに従属し、ツリー状分布になり、根から葉までにツリー中のノードが対応しているコンセプトが、抽象から具体に向かう。例えば、ツリー状コンセプト階層では、コンセプト“自然科学”をツリー根とすると、このコンセプトの下に、以下のような三つのコンセプト：“物理学”、“化学”及び“生物学”を含む。次に、前記サブコンセプトは、また各自のサブコンセプトがあり、物理学のサブコンセプトは力学、電磁学、光学及び熱学であり、化学のサブコンセプトは有機化学及び無機化学であり、生物学のサブコンセプトは動物学及び植物学である。前記サブコンセプトは、さらに各階層ずつ下に細かく分けられ、ツリー葉の部分（サブコンセプト無しのノード）までに至る。ツリー葉の部分は自然科学において最も具体的な分類を代表する。このコンセプト階層では、ツリー葉の部分は、神経病学、病理学、核磁学及びオレフィン系炭化水素などで構成できる。一つのコンセプトは、多数の上位コンセプトと関連できるため、一コンセプト階層では、一つのノードは一つ以上の上位ノードに従属できる。
【００５９】
本発明は、ドキュメントコーパスからコンセプトを自動に判定、抽出し並びにコンセプト階層構造を自動に生成できる方法、システム及びコンピューター手順を提供する。その中では、生成したコンセプト階層は、コンセプト検索及び分類構築を適応できる。
【００６０】
図１は本発明が適応している代表的なハードウェア工作環境である。これは一つの典型的なパーソナルコンピューターステーション１００を含み、例えば、関連周辺設備を含むパーソナルコンピューターである。ステーション１００は、マイクロプロセサー１０２とバス１０４とを含み、バス１０４は、マイクロプロセサー１０２とステーション１００中の他の設備の接続及び通信を実現する。ステーション１００は、一般ユーザインターフェース適合器１０６を含み、バス１０４に介してマイクロプロセサー１０２と一つ或は多数の周辺設備との接続を実現し、例えば、キーボード１０８やモウス１１０及び／或は他の周辺設備１１２（タッチパネル、デジタル入力板など）がある。バス１０４は、また一つの表示適合器１１６よりマイクロプロセサー１０２と表示装置１１４（例えば、液晶表示器或はディスプレー）を接続できる。バス１０４は、マイクロプロセサー１０２をメモリ１１８及び不揮発性記憶装置１２０（例えば、ハードディスクドライブやフロッピー（Ｒ）ディスクや磁気バンド器など）に接続する。
【００６１】
通信通路１２２により、ステーション１００は、他のコンピューター或はコンピューターネットで接続出来る。ステーション１００が、ローカルネット或は広域ネット内の他のコンピューターとは相互に通信でき、ステーション１００は、また他のコンピューターと構成する顧客機／サーバーシステム内の顧客機であっても可能である。前記構造と関連通信ハードウェアとソフトウェアは、ともに従来の技術である。
【００６２】
図２は本発明を実現するデータ処理ネット２０２を示す図である。これは多数の単独ネット、即ちローカルネット２０４、２０６を含む。その中では、ローカルネット２０４、２０６は夫々多数の単独ステーション１００を含む。従来の技術より、このローカルネットは多数の智慧ステーションを含むことができ、かつ、これらのステーションは共に同一のメインプロセサーに接続されることを分る。
【００６３】
図２では、データ処理ネット２０２は、さらに多数の大型コンピューター、例えば、通信通路２１０に介してローカルネット２０６に接続される大型コンピューター２０８を含み、大型コンピューター２０８は、記憶装置２１２に接続でき、記憶装置２１２は全てのローカルネット２０６が共有する遠距離記憶装置である。ローカルネット２０６は、一つのサブシステム制御ユニット或は通信コントローラ２１６に介して通信通路２１４に接続でき、さらに、通信通路２１４に介してゲートチャンネルサーバー２２０に接続する。ゲートチャンネルサーバー２２０は、一般、独立のコンピューター或は智慧ステーションであり、ローカルネット２０４とローカルネット２０６との接続通信制御に適応する。
【００６４】
従来の技術では、大型コンピューター２０８とローカルネット２０６とは、地理位置上に遠くなるかもしれない、似てるように、ローカルネット２０４とローカルネット２０６との間にも、極めて大きい物理距離を隔っているかもしれない。
【００６５】
本発明を実現するソフトウェア手順は、一般、ステーション１００のマイクロプロセサー１０２より不揮発性記憶装置から読み取る。不揮発性記憶装置は、ＣＤ−ＲＯＭドライブ或はハードディスクドライブのようなものである。顧客機／サーバーシステムでは、ソフトウェア手順コードは、サーバーに係わる記憶装置に格納できる。ソフトウェア手順コードは、データ処理システムに任意に利用出来る記憶媒介、例えば、フロッピー（Ｒ）ディスクやハードディスクドライブやＣＤ−ＲＯＭなど内に含まれる。ソフトウェア手順コードは、前記記憶媒介より伝送でき、ネットより一つのコンピューターシステムの記憶装置から他のコンピューターシステムに伝送してユーザに使用出来る。また、ソフトウェア手順コードは、さらにメモリ１１８内にインストールされ、マイクロプロセサー１０２よりバス１０４に介して読み取る。ソフトウェア手順コードをメモリ或は他の物理記憶媒介に記憶或はインストールし、或は、ネットより伝送する技術は共に周知のもので、ここで、説明内容を省略する。
【００６６】
本発明の出力結果は、如何なる一つの記憶媒介を適応する不揮発性記憶装置１２０に格納でき、ステーション１００から通信通路１２２に介して他の図２に示されるコンピューター或はステーションに伝送して、他のコンピューター或はステーションより保存しても良い。
【００６７】
好ましい実施例では、本発明はコンピューター手順より実現される。このコンピューター手順は、ユーザのローカルコンピューター上に実行しても良いか、ユーザが持つ或は制御できるローカルネット或は広域ネットに介して他の遠距離コンピューター上に実行しても良い、このネット接続はインターネットで接続でき、ネット接入サービス供給メーカより接続サービスを供給する。大部分のネット適応環境では、ユーザは自己のコンピューターより共用或は専用ネット（例えば、インターネット或はイントラネット）に接続し、このネットに介して間接的に本発明を含むソフトウェア手順を使用する。
【００６８】
図３は本発明のコンセプトを自動に判定し並びに一コンセプト階層構造を生じる方法のフローチャートである。スッテプ３０２では、一つのドキュメントコーパスを入力する。その中では、このドキュメントコーパスを構成するドキュメントは、報告やホームページや新聞出版物或は他のドキュメントデータで良い、これらのドキュメントデータはメモリ１２０に格納できる。スッテプ３０４では、入力したドキュメントコーパスから符号定数を抽出する。前記のように、符号定数は、ドキュメント内に出現しかつドキュメント内容を代表できる名詞及び名詞短語を指す。
【００６９】
スッテプ３０６では、抽出された符号定数の間の類似性を判定する。このスッテプ３０６より、二つの符号定数の類似性の定量計量を得られる。符号定数の間の類似性或は関連性は、同一コンセプトを代表する符号定数の間の類似程度を評価する。二つの符号定数間の類似性が高いほど、これらが同一コンセプトを代表する可能性も高くなる。
【００７０】
一つのドキュメント内に、一般、多数の異なるコンセプトを含むので、一つのドキュメントから抽出された符号定数が、多数の異なるコンセプトに係わり、異なるコンセプトが対応する符号定数を識別し多数のコンセプトに区分しなければならない。
【００７１】
ドキュメントコーパスでは、一つのコンセプトが一つ以上のドキュメント内に反映すれば、相応の符号定数が共にこれらのドキュメント内に出現する可能性が大きい。そのため、符号定数間の類似的な表現は、ドキュメントでは、これらの符号定数が習慣上に同時に出現し、これより符号定数の類似性を評価出来ることである。しかし、符号定数が同時に出現することに基いてその類似性を評価するときに、データ疎行及びポリセミーは、得られた結果を精確にならなくなる。
【００７２】
データ疎行は、一つのドキュメント内に含む語い数が全ドキュメントコーパスの全ての語い数内の一部分による問題を指す。一つの符号定数が少ない幾つかのドキュメント内に繰り返し出現できるので、これら幾つかのドキュメント内に、より高い出現頻度がある。同一の符号定数が他の幾つかのドキュメント内に出現出来る回数が低いので、これら幾つかのドキュメント内に出現する頻度が相対的に低い。また、全ての符号定数がともに定義文章内容が必要とするものである訳ではない、部分の符号定数を用いれば文章の内容を十分に表現できる。一方、ある符号定数は文章の内容と如何なる関係を持っていない冗長符号定数であるかもしれない。例えば、運動に係わる一連の報道内に頻繁に出現した“記者”という言葉は、これらの報道内容にとって、実際の意思はない。
【００７３】
ポリセミーは、ワンワードが一つ以上の意思を有する場合を指す。例えば、英語単語“club”は、“agathering” 、“a suit in cards”或は“a weapon”などの意思がある。そのため、“club”と“cards”が同時に出現し、“club”と“weapon”が同時に出現しすることは、“weapon”と“cards”が意思の関係あるワードであることを意味してない。
【００７４】
本発明は符号定数の類似性を判定する工程では、特に前記問題を注目し、以下、図５よりこの工程のサブ工程を詳しく説明する。
【００７５】
スッテプ３０８は、階層クラスタであり、関連コンセプトを集束しコンセプトを形成させ、またコンセプトを一つの階層構造を組織する。以下、二つの具体的な実施例を挙げる。
【００７６】
本発明のコンセプト標記スッテプ３１０は、既に米国特許出願に公開された。出願名称は“A Method And System For Naming A Cluster Of Words And Phrases”で、出願日は２００２年３月１２日で、出願番号は10/096,048である。この工程は、コンセプトにその意思を代表する標記をマークし、コンセプト階層では抽象から具体に向かう各コンセプトを体現する。
【００７７】
スッテプ３１２は、生成されたコンセプト階層構造を示すインターフェースを作成する。このインターフェースは、生成されたコンセプト階層構造で閲覧、コンセプト捜索及び分類構築することに有利にすることができる。スッテプ３０２に戻り、その中では、図４に示すように、この符号定数を抽出する工程３０４は多数のサブ工程を含む。
【００７８】
図４は本発明のドキュメントコーパスから符号定数を抽出する方法を示す。その中では、システム内にドキュメントコーパスを入力し、この工程は、入力したドキュメントコーパス内のドキュメント毎の全てのワード中から符号定数を抽出することであり、これは語句構造及び語類標記に係わる。
【００７９】
スッテプ４０２では、ドキュメント毎を解析し、即ち、語句内の言語の組合形式、機能及び文法関係によって一語句ずつで一つのドキュメント内の毎語句を区切りする。この解析工程は詞性標記工程を含み、ワード間の関係を得る。詞性標記工程は、ドキュメントではワードの相応の詞性（例えば、動詞、名詞、代名詞、形容詞、副詞、前置詞、接続詞、感嘆詞に標記する）を標記する。詞性は、規則方法より標記されたモデル内から獲得でき、或はＮ−元（n-grams）より情報を統計し分析する。Ｎ−元分析法は、ドキュメント及びその構成要素の一表示方法である。その中では、毎Ｎ−元は一つのドキュメント内のｎ個の大きいワードストリング内のサブワードストリングである。また、区読文字及び大文字情報も詞性標記分析に運用できる。スッテプ４０４では、区切りした後のドキュメントから符号定数（即ち、名詞或は名詞短語）を抽出する。スッテプ４０６では、符号定数を一つのインデックス構造に編集する。ある符号定数について、このインデックス構造、捜索エンジンでこの符号定数を含む全てのドキュメントを早く抽出できる。スッテプ４０８では、抽出された符号定数を収集しかつデータベース１２０内に格納する。また、符号定数を抽出することは、従来の手順で実現でき、例えば、InXight社が提供するセット手順Inxight LinguistXPlafform（登録商標）で実現できる。
【００８０】
前記スッテプ３０６に戻り、即ち、二つの符号定数の間の類似性を判定する工程であり、この工程は、図５に示すように、多数のサブ工程を含む。
【００８１】
図５は本発明の二つの符号定数の間の類似性を判定する方法のフローチャートである。その中では、スッテプ５０２では、システムが符号定数のコレクションを入力する。スッテプ５０４は、符号定数がドキュメントコーパス内での分布を表示する。符号定数分布は、符号定数がドキュメントコーパス内での確率分布で表示できる。
【００８２】
符号定数ｓがｎつのドキュメントからなるコーパス内での頻度分布は、以下のように表示できる。
【００８３】
f(s)=[f1(s),f2(s), f3(s)……fn(s)]
【００８４】
ここで、fi(s)は符号定数ｓがi個目のドキュメントから出現する回数である。
【００８５】
頻度測定を標準した後に、符号定数の確率分布を得られ、符号定数ｓがｎつのドキュメントからなるコーパス内での頻度分布は、以下のように表示でき、
【００８６】
p(s)=[p1(s),p2(s),p3(s)……pn(s)]，かつΣpi(s)=1
【００８７】
ここで、pi(s) は符号定数ｓがi個目のドキュメントから出現する確率である。前記の表示は符号定数がドキュメントコーパス内での分布を反映する。
【００８８】
スッテプ５０６では、符号定数の間の類似性を計算する。類似性は符号定数の間の類似程度に対しての定量計量である。より高い類似性の符号定数が、同一コンセプトを代表する確率も高くなる。
【００８９】
スッテプ５０６は、標準統計法を基準として符号定数の間の類似性を計算する。様々の従来の統計法も、全て類似性を評価できるが、本発明では、符号定数がドキュメントコーパス内での実際分布より類似性を計算する。
【００９０】
本発明の類似性計算が採用する統計法は、“互情報”（MI,mutual information）である。
MIの計算式は以下である。
【００９１】
【数１】
2005526317.tif 000003
【００９２】
ここで、pi(s) 及びpi(t)は符号定数ｓ及び符号定数ｔがi個目のドキュメントから出現する確率であり、pi(s,t)は符号定数ｓ及び符号定数ｔがi個目のドキュメントから共に出現する確率である。前記式内の対数は基２の対数である。
【００９３】
本発明のもう一つの類似性する計算方法は、ＫＬ距離（modifide Kullback-Leibner distance）を改善することで実現する。
この計算方法によると、類似性ＳＩＭ（similarity measure）は以下のような式で計算でき、
【００９４】
SIM(s,t)=1.0-KL(s,t)
【００９５】
ここで、KL(s,t)は改良KL距離であり，その計算式は以下のようになる：
【００９６】
【数２】
2005526317.tif 000004
【００９７】
本類似性計算が前記両種の具体的実施方式に限られなく、当該技術に習熟した者が他の統計法により符号定数の間の類似性を計算することは明らかである。
【００９８】
前記改良ＫＬ距離は、ポリセミー問題の処理に使っても良い。前記のように、ポリセミーは、一つの符号定数が様々な意思或は様々なそれと関連する意思を含む場合を指す。符号定数ｐが様々な意思があれば、一方の意思が符号定数ｑに係わり、もう一方の意思が符号定数ｒに係わる。このような場合では、符号定数ｐが符号定数ｑと同時に出現でき、符号定数ｒとも同時に出現できるが、符号定数ｑ及び符号定数ｑと同時に出現できない。前記改良ＫＬ距離計算法より推算して得られた符号定数‘ｐ’‘ｑ’の間の距離KL(p，q)及び符号定数‘ｐ’‘ｒ’の間の距離KL(p，r)が小さいすべきである。ポリセミーに対して補正しないと、二つの組合がより大きい理論距離を有する。補正した後に、その距離が小さくなり、相互間の真実関係を反映する。
【００９９】
データ疎行は、符号定数がドキュメントコーパス内での分布のバランス崩れに導く。実際に出てくる状況に基いて計算して得られた符号定数確率分布は、真実の状況を反映できない。また、ポリセミーが存在するため、統計法より計算した類似性は、符号定数の実際の類似程度を真実に反映できない。類似性を計算する統計法では、符号定数がドキュメントコーパス内に出現した確率を一つのパラメータとして、これによって得られる類似性は、同一符号定数の異なる意思を区分できなく、誤りに導く。
【０１００】
そのため、ステップ５０６によって、実際の分布に応じて計算して得た類似性は、符号定数間の実際の類似程度を完全に反映できない。よって、ステップ５０８では、符号定数分布を精練しかつ新たに類似性を計算して、符号定数の実際の類似程度を反映する。
【０１０１】
ステップ５０８では、符号定数がドキュメントコーパス内での頻度分布を精練する。その後のステップ５１０では、精練した後の分布で再び符号定数の類似性を計算する。頻度分布を精練することは、更なる精確化にされるので、再び計算した類似性をより精確になる。
【０１０２】
本発明の好ましい実施例では、データ疎行の問題を解消するために、符号定数の共同出現頻度に対して精確化処理を行う。スムーズ技術で、符号定数がドキュメントコーパス内での確率分布を精練し、このスムーズ技術は符号定数共同出現頻度を元にする。単一の符号定数の頻度を調整することに対し、符号定数共同出現頻度により符号定数分布頻度を調整及び精練することは、メモリのコストをO(sD)からO(s(s−1))までに減少できる。ここで、ｓとＤは夫々符号定数及びドキュメント数を代表する。
【０１０３】
本発明の好ましい実施例では、ｉ回繰り返しスムーズ処理した後に、符号定数‘ｓ’と‘ｔ’を調整した後の共同出現頻度は、
【０１０４】
【数３】
2005526317.tif 000005
【０１０５】
で表示できる。
【０１０６】
【数４】
2005526317.tif 000006
【０１０７】
ここで,λは予設スムーズパラメータであり，fi(s,x,t)は符号定数s,x及びtがi個目のドキュメント内での連合頻度を表示する。λ値は試験及び誤差より選出し、実験研究よりλの取出可能範囲は1〜10である。
【０１０８】
スムーズ自在を実現するには、比較的に大きいλ値及び多数回の反復を備える必要があり、かつ、スムーズ結果が符号定数の間の類似性の統計値に対しての反応は、非常に敏感である。そのため、その方法を採用するには保守態度を取る。
【０１０９】
前記連合頻度fi(s,x,t)は、様々な従来の統計方法より推定し、本発明の好ましい実施例では、条件確率で符号定数の連合頻度fi(s,x,t)を計算する。
【０１１０】
一つのコーパスでは、数百万のドキュメントを含むが、一般、その中の少ない固定符号定数よりその情報内容を得られる。そのため、ある符号定数と高い類似性を有する部分の符号定数のみを選出して符号定数の分布を調整、精練する。
【０１１１】
前記共同出現頻度
【０１１２】
【数５】
2005526317.tif 000007
【０１１３】
内のパラメータ
【０１１４】
【数６】
2005526317.tif 000008
【０１１５】
は条件確率で推定でき、以下のように具体的に表示される。
【０１１６】
【数７】
2005526317.tif 000009
【０１１７】
ここで、Stat(s,t)は選定される統計量で、σは予設の類似性しきい値で、pi(x|y)は条件確率で、i回目の反復では、yが一つのドキュメント内に含まれるときに、このドキュメントがxを含む可能性があることを表示する。条件確率はバベル定則より計算できる。
バベル定則：
【０１１８】
【数８】
2005526317.tif 000010
【０１１９】
本発明の好ましい実施例では、共同出現情報で確率を推定する。
【０１２０】
【数９】
2005526317.tif 000011
【０１２１】
【数１０】
2005526317.tif 000012
【０１２２】
ここで、
【０１２３】
【数１１】
2005526317.tif 000013
【０１２４】
前記分布精練についての処理方法では、符号定数が関連性を有するが常に共同出現しない場合を考えた。この処理方法は更なる正確な類似性を提供でき、その中では、比較的に高い類似性は、互いに関連あるが、習慣上に常に共同出現しないこれらの符号定数の間の関係を反映する。
【０１２５】
ポリセミーの問題は、符号定数の曖昧性を解除することで解決できる。出現回数頻繁の符号定数が多種のセンスを含む可能性が大きい。そのため、このような曖昧符号定数と其の外の常に共同出現しない符号定数の間の類似性を評価するときに、得た結果は類似性が低いことを示す。そのため、頻繁に出現している符号定数を選出して曖昧性を解除する。曖昧符号定数が代表する異なるセンスは、詞の関連規則計算法で自動に捜索、収集できる。よって、曖昧符号定数の頻度分布を異なる詳しいセンスに対応する頻度分布に分解する。これによって、普通の符号定数と曖昧符号定数とは比較的に高い類似性を備える。
【０１２６】
ポリセミーの調整及び多数の工程は図６に示される。図６は本発明のポリセミーの調整方法のフローチャートである。
【０１２７】
ステップ６０２では、一つの符号定数コレクションを入力し、ステップ６０４では、曖昧符号定数を選出しポリセミーを調整する。曖昧符号定数は、一つ以上の関連あるセンスを含む符号定数を指す。研究によって、一つの符号定数の曖昧性がその出現頻度に正比例となることを発見した。同時に、符号定数頻度分布はジフー定則（Ziff's law）に従う。そのため、出現頻度がｘ％（１０％−２０％）より高い符号定数は、抽出され曖昧性を解除する。
【０１２８】
曖昧符号定数を特定した後に、その後のステップ６０６は、関連規則計算法でこれらの曖昧符号定数の各種センスを捜査する。２０回目世界大型データベース（VLBD）会議の会議記録に、R.Agrawalらより公開された関連規則計算法は、その以上の工程に適応出来る。
【０１２９】
符号定数の頻度分布は、多数の分布に分解され、その中では、センス‘Ｓ’はｓ1…ｓk個の符号定数より構成され、これらの符号定数が、一般、共同に出現する。
【０１３０】
【数１２】
2005526317.tif 000014
【０１３１】
ここで、Sup(s1, …,sk) は、ｓ1…ｓk個の符号定数がコーパス内での連合共同出現のドキュメント数を表示し、sは預定しきい値である。
【０１３２】
本発明の好ましい実施例では、採用される関連規則計算法は、以下のような両方面の制限がある。センスを分析する時にセンス大きさが予定範囲より小さいはずで、計算効率と精確度をバランス良く計算することを注意すること。研究によって、４〜７が良い範囲である。一方、センス毎にステップ６０４で選出した一つの曖昧符号定数‘Ｓ’を含むことを確保し、其の外の符号定数の頻度が符号定数‘Ｓ’の頻度より低くしなければならない、其の更なる曖昧の符号定数に曖昧化されることを避ける。
【０１３３】
本発明に適応できる関連規則計算法は、以下のようになる。
【０１３４】
【数１３】
2005526317.tif 000015
【０１３５】
ステップ６０８では、センス毎内にともに一つの頻度分布を加入し、加入した頻度分布は、その全ての符号定数を構成する共同分布である。センス‘Ｓ’がｊ個のドキュメント内での出現頻度は
【０１３６】
【数１４】
2005526317.tif 000016
【０１３７】
である。
【０１３８】
【数１５】
2005526317.tif 000017
【０１３９】
ステップ６１０では、符号定数の頻度分布を調整しポリセミーの問題を解決する。センス頻度分布によって、ｊ個目のドキュメント内では、符号定数siがセンス集‘S’内での分布は、
【０１４０】
【数１６】
2005526317.tif 000018
【０１４１】
より
【０１４２】
【数１７】
2005526317.tif 000019
【０１４３】
に補正する。
【０１４４】
【数１８】
2005526317.tif 000020
【０１４５】
前記分布精練処理を完成した後に、図５のステップ５１０に戻り、再び全ての符号定数及びセンスの類似性を計算する。
【０１４６】
再び図３を参照し、類似性を判定するステップ３０６を完成した後に、ステップ３０８の階層クラスタである。ステップ３０８では、ステップ３０６で計算された類似性に基いてコンセプトを生じ、得たコンセプトを一コンセプト階層に構成する。
【０１４７】
一コンセプト階層内のコンセプトは、高緊密度及び低連接度を有することがこのましい。その中では、緊密度は一つのクラスタ内の符号定数間の類似程度を推定し、連接度は夫々二つの異なるクラスタからの符号定数の類似程度を反映する。一つの高品質のコンセプト階層では、遠く離れるほどその二つのクラスタが似てなくなる（即ち、高いクラスタ間距離と低い連接度をゆうする）、かつ、各クラスタが高緊密度を有するはず、即ち、クラスタの構成メンバーが似ており、その中では、クラスタの構成メンバーが、符号定数或はその従属サブコンセプトを構成することを指す。
【０１４８】
前記の緊密度が一つのクラスタ（コンセプトは符号定数よりなる一つのクラスタで）を反映する構成要素の間の関連ある緊密程度は、一つのクラスタのクラスタ内距離に対しての度量である。その中では、クラスタ内距離は、クラスタ内の構成要素の間の平均類似性を評価し、緊密度と反比例になる。そのため、緊密関連している符号定数よりなるクラスタは、低いクラスタ内距離及び高い緊密度を有する。クラスタＣのクラスタ内距離は、その相応の緊密度より計算でき、そのクラスタ内距離は緊密度と反比例になる。クラスタの緊密度は、符号定数或はサブクラスタを構成する平均類似性に定義できる。
【０１４９】
クラスタ‘Ｃ’が符号定数より構成すると、その緊密度の計算式は以下のようになる。
【０１５０】
【数１９】
2005526317.tif 000021
【０１５１】
サブクラスタより構成すると、その緊密度の計算式は以下のようになる。
【０１５２】
【数２０】
2005526317.tif 000022
【０１５３】
ここで、Child(C)はクラスタＣのサブクラスタを代表し、Connectivity (Ci,Cj)は、コンセプトCi及びCj.の連接度である。
【０１５４】
二つのコンセプト間の連接度定義が、二つの異なるコンセプト（クラスタ）からの如何なる二つの符号定数間の平均類似程度である。高連接度は低いクラスタ間距離を意味しており、その中では、クラスタ間距離は二つの独立クラスタ類似性の平均値を指す。クラスタ間距離は連接度と反比例になり、即ち、高連接度は低いクラスタ間距離を意味する。類似性が高い二つのコンセプトは、その組成符号定数が緊密関連していることを表明する。
【０１５５】
クラスタ‘Ｓ’及び‘Ｔ’のクラスタ間距離は、その連接度より計算できる。連接度は二つのコンセプトからの如何なる二つの符号定数間の平均類似程度であり、以下のような式で計算できる。
【０１５６】
【数２１】
2005526317.tif 000023
【０１５７】
ここで、|S|及び|T|は夫々クラスタ‘Ｓ’及び‘Ｔ’内の符号定数の数を代表する。
【０１５８】
前記緊密度と連接度の計算は、コンセプトクラスタの基礎である。本発明は一コンセプト階層においてコンセプトをする二種の実施方式を説明する。
【０１５９】
一クラスタ方法は、以下のクラスタ手順に示されるように、貪欲凝集クラスタ法でコンセプトを一つの階層構造に整理する。この方法では、システムが符号定数のコレクションを入力し、符号定数を集束してコンセプトを形成し、また、生じたコンセプトを一つの階層構造に整理する。
【０１６０】
貪欲凝集演算法は、距離が最も小さい二つのクラスタを選択して合併する。本実施方式は二つの原則で合併し、クラスタ間距離が合併に用いるサブクラスタのクラスタ内距離を最大化にさせる。
クラスタ凝集手順：
【０１６１】
【数２２】
2005526317.tif 000024
【０１６２】
前記システムでは、その入力は一つの符号定数コレクションＩであり、このコレクションＩは符号定数C1〜Cnを含む。毎回反復する際に、連接度の高いクラスタは新しいクラスタに合併される。クラスタ合併手順は、図７に示すように、四つのクラスタ合併の場合を考える。
【０１６３】
図７を参照して、クラスタ７０２は‘Ａ’に標記し、Ａ1 〜Ａnのサブクラスタを含み、もう一つのクラスタ７０４は‘Ｂ’に標記し、Ｂ1 〜 Ｂnのサブクラスタを含む。Ａ及びＢのサブクラスタは、コンセプト或は符号定数で良い。クラスタ合併手順によれば、クラスタＡ及びＢは、以下の四つのクラスタ合併方式：MergeTogether、 MergeSibling、 MergeLeft及びMergeRightがある。前記四つの異なる方式で合併して得るクラスタは、夫々クラスタ７０６、クラスタ７０８、クラスタ７１０及びクラスタ７１２に標記される。
【０１６４】
前記四つの合併方式は以下の例で理解できる。クラスタＡ及びＢが選ばれ合併を行うと、二つのクラスタの緊密度と連接度によれば、四つの合併方式があり、そのうち一つの適切な合併モードを試して選ぶことより行える。前記四つの合併方式について、本実施例も二セットのコンセプトクラスタ規則を提供する。一セット目の規則は、クラスタＣが高いクラスタ内距離及び低いクラスタ間距離を有する場合に適応し、詳しい内容は：
【０１６５】
【数２３】
2005526317.tif 000025
【０１６６】
であれば、MergeTogether合併方式を選ぶはず、クラスタ７０２及びクラスタ７０４が一緒に合併されクラスタ７０６を形成する。
【０１６７】
【数２４】
2005526317.tif 000026
【０１６８】
であれば、MergeLeft合併方式を選び、クラスタ７１０を形成する。
【０１６９】
【数２５】
2005526317.tif 000027
【０１７０】
であれば、MergeRight合併方式を選び、クラスタ７１２を形成する。
【０１７１】
【数２６】
2005526317.tif 000028
【０１７２】
であれば、MergeSibling合併方式を選び、クラスタ７０８を形成する。
ここで、θは予設しきい値で、その値は実際の要求に応じて確定し、即ち、生じられたコンセプト階層によって、緊密度及び連接度の要求に対してθの値を確定する。
【０１７３】
二セット目の規則は、クラスタＣのサブクラスタが低いクラスタ内距離及び高いクラスタ間距離、即ち、最小Ｒ（Ｃ）を有する場合に適応し、詳しい内容は：
【０１７４】
【数２７】
2005526317.tif 000029
【０１７５】
前記式では、
【０１７６】
【数２８】
2005526317.tif 000030
【０１７７】
【数２９】
2005526317.tif 000031
【０１７８】
ここで、InterCluster(C)は、Ｃ内の各対のサブクラスタ間の平均類似性である。IntraCluster(C)はＣのサブクラスタの平均類似性である。前記二セット目の規則は、低いＲ（Ｃ）値を有する構造に適応し、この構造では、クラスタ間の親和力が比較的に低く、クラスタ内の親和力が高い。
【０１７９】
コンセプト階層を生成するもう一つの方式は、間接画像接近方法を利用する。画像区切り演算法より原始画像を異なるサブ画像に適当に区切りしクラスタ分類を実現する。図上のノードは符号定数を代表し、両ノードの間の連接線は両ノードの間の類似程度に係わる。
【０１８０】
この方法によれば、全ての符号定数を一つのクラスタとし、そして、これらの符号定数を繰り返し分解しクラスタ（コンセプト）を生成して、全てのコンセプトを一コンセプト階層に整理する。
【０１８１】
画像区切り演算法は、符号定数を一定の区切り方式で多い部分に区切りし、この区切り方式は、異なる区切り部分の間に交叉するラインの比例値、即ち、異なる部分間の交叉ラインの総数量が最も小さくなさせる。図内のライン毎が符号定数間の類似程度を代表するので、選ばれる区切り方法は、なるべくエリア間の交叉ラインを減少し、異なる区切り部分のうち符号定数の類似程度を最も小さくなさせる。これは、同一エリア内の符号定数同士が非常関連しているようになる。
【０１８２】
この工程は、二値画像区切り演算法、例えば、米国Minnesota大学が提案したMETIS画像区切り演算法より実現できる。一つのクラスタＣが二つのサブクラスタＡ及びＢに区切りされ、この区切り方式はクラスタＡ及びＢ間の交叉ラインを最も小さくなさせ、かつ、Ａ及びＢは少なくともＣのうちｘ％の符号定数を含む。研究によれば、ｘ％の値は２０〜４０％の範囲が好適である。しかし、この値％は前記の範囲に制限されない。
【０１８３】
この工程は、まず全部の符号定数を一つのクラスタに見なし、毎回の反復では、一つのクラスタを幾つかの更なる小さいサブクラスタに区切りして、区切りされる数が要求に満足するまで或は十分に細かく区切りされそれ以上に区切り出来ないまでになる時に、この工程を終了する。
【０１８４】
前記区切り工程を完了した後に、緊密度より異なる部分を一つの階層に構成する。画像区切り演算法より生じた複数の区切り部分を初めのクラスタ‘Ｉ’に見なし、このクラスタのうち高い緊密度を有するクラスタを一緒に合併して、一つの新しいクラスタ‘Ｍ’を形成する。クラスタ‘Ｍ’を初めのクラスタ ‘Ｉ’に代わって、クラスタ‘Ｍ’では前記の合併動作を繰り返す。前記の合併動作を反復して、毎回の反復では、コンセプト階層のうち一つ階層のコンセプトを生成する。この合併動作は、合併のクラスタ数が予設値‘ｋ’を満足するまでに反復される。
【０１８５】
さらに区切り部分を処理し、似てる区切り部分同士を近づくと、システムは、毎回の反復では、有効に一組のクラスタを選び合併することが出来る。下記に示される快速合併手順で前記目的を実現できる。この手順は、毎一対クラスタ組合に一々対比し合併に最も適合なクラスタを探し出す必要が無く、これらのお互いに近接しているクラスタのみに対して対比すれば良い。一つのラインクラスタ‘Ａ’、‘Ｂ’及び‘Ｃ’を例として、クラスタ ‘Ｂ’及び‘Ｃ’の間の間隔は、‘Ａ’及び‘Ｂ’より合併してなるクラスタと‘Ｂ’及び‘Ｃ’より合併してなるクラスタとの間の緊密度差値が比較的に大きい間隔の間にあるクラスタを選出して合併し、毎回の合併過程が時間上にラインになさせる。
【０１８６】
本システムも、一つの合併クラスタの緊密度を早く計算できる。クラスタ毎の緊密度及びそのコンセプトの間の連接度は、メモリ１２０に格納しておく。
【０１８７】
クラスタ‘Ａ’及び‘Ｂ’より合併してなるクラスタ‘Ｃ’は、その緊密度が以下の式で計算する。
【０１８８】
【数３０】
2005526317.tif 000032
【０１８９】
前記述べた快速合併手順は、以下のようになる。
【０１９０】
【数３１】
2005526317.tif 000033
【０１９１】
前記合併工程より一コンセプトの階層構造を発生でき、図８に示すように、このコンセプト階層構造は、画像ユーザインターフェース内に表示できる。
【０１９２】
画像ユーザインターフェースは、ユーザに友好な使用インターフェースを提供しており、ユーザがコンセプト階層を有効に閲覧及び検索することには有利である。本発明のシステムでは、ユーザがこのインターフェースを介して生成されたコンセプト階層を編集、操作する。
【０１９３】
図８は本発明の画像ユーザインターフェースの表示画面で、この画像ユーザは本発明の方法よる自動に生成するコンセプト階層を示す。
【０１９４】
画像ユーザインターフェースより、ユーザは智慧分類器８０２内のコンセプト階層を閲覧及び検索出来る。智慧分類器は画像ユーザインターフェースであり、様々な応用が共同に存在する場合に、画像ユーザインターフェースは、ユーザがコンセプト階層を応用してコンセプ検索及び分類構築することには有利である。ユーザは、智慧分類器８０２内のコンセプト階層でコンセプ検索（詳しい内容は、以下の図１０に示される）及び分類構築（詳しい内容は、以下の図１１に示される）を実現出来る。
【０１９５】
一つのコンセプトを展開すると、その含まれるサブコンセプトを表示できるので、一つずつの階層を展開することによって、あるコンセプトが含まれるサブコンセプト及び符号定数を了解できる。図８を参照して、コンセプトaircraft+war'８０４を展開操作し、多数の操作選び項目では、相応の選び項目８０６“表示コンセプト内の専門用語（符号定数）”を選定し、その相応の符号定数はウィンドー８０８に表示される。その中では、方形標記８１０を有する符号定数は、コンセプトaircraft+war'８０４の一つのサブコンセプトに対応しており、円形標記８１２及び三角形８１４を有する符号定数は、夫々コンセプトaircraft+war'のもう二つのサブコンセプトを代表する。
【０１９６】
コンセプト８０４aircraft+war'に所属する下位のサブコンセプトを了解しようする時に、“Expand” 選び項目８１６或は相応ノード８０４をクリップすれば良い。同様、ある特定のサブコンセプトをクリップすれば、その相応の符号定数を表示できる。
【０１９７】
そのため、智慧分類器８０２は、ユーザが一つのサブコンセプトの組成符号定数或は一つの上位コンセプトに所属する下位のサブコンセプトの全ての符号定数を使用できるようにさせる。上位コンセプトは相応のサブコンセプトを展開表示でき、サブコンセプトはその組成符号定数を展開表示できる。
【０１９８】
ユーザは画像ユーザインターフェースによりコンセプト及び符号定数を検索できる。また、画像ユーザインターフェースでは、コンセプト階層を人工編集でき、ユーザはコンセプトを新たに命名したり、コンセプト階層内のコンセプトを追加／削除したり、コンセプトの組成符号定数を追加／削除できる。
【０１９９】
図９に示すように、ユーザは本発明の画像ユーザインターフェースによりコンセプト階層内のコンセプトを検索できる。図９を参照して、智慧分類器８０２には、上位コンセプト８０４aircraft+war'を構成する全てのサブコンセプトが表示され、サブコンセプト９０２‘atmospheric_phenomenon+precipitation’、サブコンセプト９０４‘Japan+Pacific’及びサブコンセプト９０６‘plane +boat’を含む。その中では、サブコンセプト９０２は、さらに、‘atmospheric_phenomenon+precipitation’及びサブコンセプト９１０‘lake+lake’を含む。同様、サブコンセプト９０４及び９０６も相応の下位所属サブコンセプトを含む。智慧分類器８０２もこれらの下位所属サブコンセプトを表示でき、ユーザも、検索ウィンドー９１２ｂにおいて、ある特定のコンセプトを検索できる。
【０２００】
本発明のシステムでは、ユーザがコンセプト階層内の各コンセプトを自動に検索でき、関連ドキュメントを捜索する。図１０は本発明の画像ユーザインターフェースであり、コンセプト階層を示し、かつ、ユーザが自動に発生する検索より関連ドキュメントを検索できる。本システムはコンセプトを自動に検索でき、かつ、このコンセプトに係わるドキュメントに戻れる。図９に示すように、コンセプト８０４aircraft+war'を検索し、このコンセプトに対応する符号定数がウィンドー１００４に表示される。コンセプトが対応する符号定数を検索基準として、ドキュメントを検索して、このコンセプトが対応する符号定数を含むドキュメントを発見出来る。検索返しのドキュメントは、符号定数がドキュメント内に出現したの比例に基いて高くから低くまでに配列しかつウィンドー１００２に表示される。
【０２０１】
コンセプト‘Ｃ’を構成する符号定数毎の比例値は、この符号定数がドキュメントコーパス内での出現頻度を元として計算する。
【０２０２】
一つのコンセプトC={s1, …, sn}について、検索に採用される検索専門用語は、その組成符号定数s1 … sn である。符号定数がドキュメントコーパス内での出現頻度を基礎として検索専門用語毎の比例値を計算する。
【０２０３】
前記例では、比例値は以下の式で計算できる。
【０２０４】
【数３２】
2005526317.tif 000034
【０２０５】
ここで、
【０２０６】
【数３３】
2005526317.tif 000035
【０２０７】
は検索専門用語siの比例値で、[minW, maxW]は予定の比例値範囲である。ここで、
【０２０８】
【数３４】
2005526317.tif 000036
【０２０９】
【数３５】
2005526317.tif 000037
【０２１０】
【数３６】
2005526317.tif 000038
【０２１１】
[minW, maxW]の範囲は[0,1]で良い、好ましい実施方式では、その範囲を調整し比較的に長い符号定数の比例値を減少させる。
【０２１２】
【数３７】
2005526317.tif 000039
【０２１３】
【数３８】
2005526317.tif 000040
【０２１４】
比較的に長い符号定数の検索専門用語に対して、[minW, maxW]の値は[k2, k4]で、比較的に短い符号定数の質問専門用語に対して、そのの値は[k1+k2, k3+k4]である。前記パラメータの一組の具体数は、k1=0.6, k2=0.05, k3=0.8, k4=0.1, d=30で良い。
【０２１５】
本発明のシステムは、コンセプト階層を編集操作出来る。ユーザはコンセプトを新たに命名し、コンセプトを追加／削除し、コンセプト階層ではコンセプトを移動し、並びに一つのコンセプト内の符号定数を追加／削除できる。
【０２１６】
図１１は本発明の画像ユーザインターフェースを示し、その中では、ユーザがインターフェースにより本発明で自動に生じるコンセプト階層から一つのドキュメントを作成できる。ユーザがコンセプト階層の異なる部分からドキュメント分類の異なる類別を得られる。コンセプトの標記から異なる類別を得られる。図１１に示すように、ウィンドー１００２には作成した分類が表示され、その中では、aircraft+war'類別が、コンセプト階層のうち相応のコンセプトaircraft+war'から得る。コンセプト階層内のうち各ノード或はユーザが選定した如何なる部分に対して自動に検索を発生して、関連ドキュメントを対応のコンセプトに繋がるようにすることが出来る。そのため、ユーザが質問により有効に検索し、必要のドキュメントを発見できる。コンセプト階層からドキュメント分類或はドキュメント分類内の類別を自動に得られる。コンセプトへの検索は、検索されたドキュメントをドキュメント分類内の各類別目録内に自動に包摂する。また、検索返しのドキュメントを手動包摂できる。ドキュメント分類内の類別がコンセプト階層の構造（或は部分選定の構造）をそのまま使用でき、ドキュメント分類内のノード毎がコンセプト階層のうち相応コンセプトの標記或は関連検索詞をそのまま使用できる。
【０２１７】
また、前記に開示されたそれぞれの具体的な構成は、単に本発明の実施可能な実施例に過ぎなく、本発明の特徴を局限するものではなく、いずれの当該分野における通常の知識を有する専門家が本発明の分野の中で、適当に変更や修飾などを実施できるが、それらの実施のことが本発明の主張範囲内に納入されるべきことが言うまでもないことである。
【図面の簡単な説明】
【０２１８】
【図１】本発明が適応しているコンピューターの工作テーブルのブロック図である。
【図２】本発明が適応しているコンピューターのインターネットのブロック図である。
【図３】本発明のコンセプト自動識別並びにコンセプト階層構造生成の方法のフローチャートである。
【図４】本発明の一つのドキュメントコーパス内から符号定数を抽出する方法を示す図である。
【図５】本発明の符号定数の間の類似性を判定する一実施方式のフローチャートである。
【図６】本発明のポリセミー調整方法のフローチャートである。
【図７】本発明のコンセプを類似してコンセプト階層構造を生成する方法の説明図である。
【図８】本発明の画像ユーザインターフェースの表示画面で、自動に生成するコンセプト階層を示す図である。
【図９】本発明の画像ユーザインターフェースの表示画面で、ユーザは画像ユーザインターフェースによりコンセプト階層内のあるコンセプトを検索できる。
【図１０】画像ユーザインターフェースがユーザの検索に対して、自動に質問を発生し並びに関連ドキュメントに戻ることを示す図である。
【図１１】本発明の画像ユーザインターフェースより、ユーザが自動に生成するコンセプト階層構造でドキュメント分類を構築することを示す図である。
【符号の説明】
【０２１９】
１００ステーション
１０２マイクロプロセサー
１０４バス
１０６ユーザインターフェース適合器
１０８キーボード
１１０モウス
１１２周辺設備
１１４表示装置
１１６表示適合器
１１８メモリ
１２０不揮発性記憶装置
１２２通信通路
２０２データ処理ネット
２０４、２０６ローカルネット
２０８大型コンピューター
２１０通信通路
２１２記憶装置
２１４通信通路
２１６通信コントローラ
２２０ゲートチャンネルサーバー 
７０２、７０４、７０６、７０８、７１０、７１２クラスタ
８０２智慧分類器
【図１】
2005526317.tif 000041
【図２】
2005526317.tif 000042
【図３】
2005526317.tif 000043
【図４】
2005526317.tif 000044
【図５】
2005526317.tif 000045
【図６】
2005526317.tif 000046
【図７】
2005526317.tif 000047
【図８】
2005526317.tif 000048
【図９】
2005526317.tif 000049
【図１０】
2005526317.tif 000050
【図１１】
2005526317.tif 000051
【国際調査報告】
2005526317.tif 000052
2005526317.tif 000053