(57)【要約】【課題】  ユーザーが特別な文法知識を必要とせずに、テキストに含まれる概念の概観、あるいは概念の検索や拡張、絞込みなどの操作が容易に可能な概念を抽出、表現するテキスト処理方法を提供することを目的とする。【解決手段】  本発明は、入力されたテキストを言語解析し１０２、該言語解析から単語を抽出し、該単語を用いてテキストの内容に含まれている概念を表現する方法であって、テキストデータ構造を生成手段１０３、テキストデータ構造記憶手段１０４、それ自体で意味を表す単語である複数のトークン抽出手段１０５、及びトークン間の関係の抽出手段１０６と、から成る概念表現方法である。【選択図】  図２
2005063030.tif 000002
【特許請求の範囲】
【請求項１】
テキストを言語解析し、該言語解析から単語を抽出し、該単語を用いてテキストの内容に含まれている概念を表現する方法であって、
それ自体で意味を表す単語である複数のトークンと、
前記言語解析結果に基づいて得られる文節間関係情報に基づき定められるトークン間の関係と、により概念を表現することを特徴とする概念表現方法。
【請求項２】
テキストを言語解析し、該言語解析から意図を表す表現を抽出し、該意図を表す表現を用いてテキストの内容に含まれている概念を表現する方法であって、
複数の前記意図表現と、
前記言語解析結果に基づいて得られる文節間関係情報に基づき定められる意図表現間の関係と、
により概念を表現することを特徴とする概念表現方法。
【請求項３】
テキスト情報に含まれる概念表現を生成する概念表現生成方法において、
テキスト情報に形態素解析、係り受け解析を施す言語解析手順と、
前記言語解析手順における言語解析の結果に基づいて、前記テキスト情報を文節情報を保持したテキストデータ構造に変換するテキストデータ構造生成手順と、
生成されたテキストデータ構造を記憶するテキストデータ構造記憶手順と、
該テキストデータ構造に含まれる文節情報に基づいて、それ自体で意味を表す自立語を抽出してトークンを生成するトークン生成手順と、
該テキストデータ構造の文節間関係情報に基づいて所定のトークン間関係を抽出するトークン間関係抽出手順と、
該トークン間関係抽出手順で抽出されたトークン及びトークン間関係を用いて概念表現を生成する概念表現生成手順と、
を持つことを特徴とする概念表現生成方法。
【請求項４】
１つの文節にトークン及び付属語が含まれており、
前記トークンが接辞と接続可能な品詞を有しており、
かつ前記トークンが含まれる文節内に前記トークンの前後に連続した接辞又はそれに相当する付属語が存在すること、を条件として、
前記トークン及び付属語を結合することによりトークンを新たに生成する拡張トークン抽出手順を用いたことを特徴とする、請求項３記載の概念表現生成方法。
【請求項５】
トークンを含む複数の連接した文節の内の一であり、
前記一の文節における前記トークンが名詞又はそれに相当する品詞を有しており、
かつ前記一の文節内の付属語並びに前記一の文節の前後に連接した文節内のトークン及び付属語が、名詞若しくはそれに相当する品詞を有するか又はそれらの品詞と接続可能な品詞を有していること、を条件として、
前記文節内の付属語に加え、前記一の文節の前後に連接した文節内のトークン及び付属語をさらに結合することによりトークンを新たに生成する拡張トークン抽出手順を用いたこと特徴とする請求項３記載の概念表現生成方法。
【請求項６】
トークンを含む複数の連接した文節の内の一であって、
前記一の文節における前記トークンが、動詞又はそれに相当する品詞を有しており、
かつ前記トークンが含まれる文節内の付属語並びに前記一の文節の前後に連接する文節内のトークン及び付属語が動詞若しくはそれに相当する品詞と活用を有するか又はそれらの品詞と接続可能な品詞と活用を有していること、を条件として、
前記一の文節内の付属語に加え、前記一の文節の前後に連接した文節内のトークン及び付属語をさらに結合することによりトークンを新たに生成する拡張トークン抽出手順を用いたこと特徴とする請求項３記載の概念表現生成方法。
【請求項７】
テキスト情報に含まれる概念表現を生成する概念表現生成方法において、
テキスト情報に形態素解析、係り受け解析を施す言語解析手順と、
前記言語解析手順における言語解析の結果に基づいて、前記テキスト情報を文節情報を保持したデータ構造に変換するテキストデータ構造生成手順と、
生成されたテキストデータ構造を記憶するテキストデータ構造記憶手順と、
該テキストデータ構造の文節情報に基づいて、所定の付属語表現パターンを意図表現として抽出する意図表現抽出手順と、
該テキストデータ構造の文節間関係情報に基づいて所定の意図表現間の関係を抽出する意図表現間関係抽出手順と、
該手順で抽出された意図表現及び意図表現間関係を用いて概念表現を生成する概念表現生成手順と、
を持つことを特徴とする概念表現生成方法。
【請求項８】
前記テキストデータ構造生成手順において生成される文節情報を保持したデータ構造が、整数表現、小数表現、分数表記、概数表記、番号表記、電話番号表記、番地表記、範囲表記、並列表記、連続並列表記、時間表記及び日付表記のいずれか、である場合に、
該数量表現と連接する文節列を一文節に結合しテキストデータ構造を修正するデータ構造修正手順、
を用いたこと特徴とする、請求項３又は７記載の概念表現生成方法。
【請求項９】
テキスト情報に含まれる概念表現を生成する概念表現生成装置において、
テキスト情報に形態素解析、係り受け解析を施す言語解析手段と、
前記言語解析手段における言語解析の結果に基づいて、前記テキスト情報を文節情報を保持したテキストデータ構造に変換するテキストデータ構造生成手段と、
生成されたテキストデータ構造を格納するテキストデータ構造データベースと、
該テキストデータ構造に含まれる文節情報に基づいて、それ自体で意味を表す自立語を抽出してトークンを生成するトークン生成手段と、
該テキストデータ構造の文節間関係情報に基づいて所定のトークン間関係を抽出するトークン間関係抽出手段と、
該トークン間関係抽出手順で抽出されたトークン及びトークン間関係を用いて概念表現を生成する概念表現生成手段と、
を持つことを特徴とする概念表現生成装置。
【請求項１０】
テキスト情報に含まれる概念表現を生成する概念表現生成装置において、
テキスト情報に形態素解析、係り受け解析を施す言語解析手段と、
前記言語解析手段における言語解析の結果に基づいて、前記テキスト情報を文節情報を保持したテキストデータ構造に変換するテキストデータ構造生成手段と、
生成されたテキストデータ構造を格納するテキストデータ構造データベースと、
該テキストデータ構造の文節情報に基づいて、所定の付属語表現パターンを意図表現として抽出する意図表現抽出手段と、
該テキストデータ構造の文節間関係情報に基づいて所定の意図表現間の関係を抽出する意図表現間関係抽出手段と、
該手順で抽出された意図表現及び意図表現間関係を用いて概念表現を生成する概念表現生成手段と、
を持つことを特徴とする概念表現生成装置。
【請求項１１】
請求項１又は２記載の概念表現方法をコンピュータにより実行させるプログラム。
【請求項１２】
請求項１１記載の概念表現方法プログラムが記録されているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量のテキストデータを分析することを目的としたテキストマイニング技術に係わり、特に文書集合内に含まれる特徴的な概念を表現することに関する。
【背景技術】
【０００２】
従来、文書の特徴的な概念は、一定以上の出現頻度をもつ語句、語句群などの表層表現、所謂キーワード、もしくは共起する複数のキーワード群、キーワードを用いたアンド、オアの論理式によって表現されることが多かった。
【０００３】
しかしながら、キーワードや、複数キーワードの共起情報、複数キーワードの論理式の表現では、例えば、「ＯＳのインストール」という概念を含む文書群を検索しようとした場合、「ＯＳ」＆「インストール」というキーワードの論理式を概念表現とすることになるが、「ＯＳのインストールができない」（概念に合致）という文書も引けるが、「ＯＳはＷｉｎｄｏｗｓ（登録商標）95だが、ドライバーがインストールできない」という文書も引いてしまい、検索精度に悪影響を及ぼすという問題があり、概念記述に限界があることが明らかになってきている。さらに、ユーザーの所望する概念は、必ずしも高頻度に出現する単語とは限らず、頻度に基づくキーワード抽出で、カバーできない事例も明らかになっていている。
特定の語句を、概念辞書や、シソーラスを利用して、概念表現に変換し、概念表現を用いて文書処理を行なう方法も提案されている。例えば、抽出した表層情報を、カテゴリ辞書、概念定義辞書を用いて変換し、有益な情報を付加した概念表現を生成する。この表現方法は、多彩な日本語表記バリエーションを概念にまとめることができ、さらに概念が予め階層化されたものであれば、概念表現を用いた文書や文書群の階層化が可能となる（例えば特許文献２）。
【特許文献１】特開2001-75966
【特許文献２】特開2001-84250
【非特許文献１】日本文音声変換のための数詞読み規則」宮崎正弘 1984 情報処理学会論文誌Vol.25.No.6
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、表現変換には、予め概念辞書やシソーラスが必要であり、さらに、分野によって概念体系は違うため、これらの構築および保守には大変なコストがかかるという弱点がある。また、ここにおける概念表現は、単語単位であり、キーワードを用いた概念表現における問題点が、そのまま残る。
【０００５】
対象文書を構文解析して、その結果得られる語と語の関係構文木や線形リストで概念を表現する方法も提案されている（例えば特許文献１）。語と語の関係構文木の形式で概念を表現するため、単語での表現に比べ、情報が豊富で、ごみの少ない概念が生成できる。しかし、表記を統一する為の変換辞書が必要な上、表現方法が、知識パターンとしての構文木や線形リストであるため、そういった表現になじみの少ないユーザーには、難解であり、データの概観も難しく、抽出した概念の組み合わせ等の操作がしにくいという問題点がある。
【０００６】
上記問題に鑑み、本発明は、テキストから、そのテキストの内容を表現する有益な概念情報を低コストに抽出し、ユーザーにわかりやすく、操作しやすい表現方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は請求項１に記載されるように、テキストを言語解析し、該言語解析から単語を抽出し、該単語を用いてテキストの内容に含まれている概念を表現する方法であって、それ自体で意味を表す単語である複数のトークンと、前記言語解析結果に基づいて得られる文節間関係情報に基づき定められるトークン間の関係と、により概念を表現した。これにより、トークンという扱いやすい表示で、ユーザーにわかりやすく、表現の指定、拡張を行いやすい概念表現を提供することができた。
【０００８】
また、請求項２に記載の発明は、テキストを言語解析し、該言語解析から意図を表す表現を抽出し、該意図を表す表現を用いてテキストの内容に含まれている概念を表現する方法であって、複数の前記意図表現と、前記言語解析結果に基づいて得られる文節間関係情報に基づき定められる意図表現間の関係と、により概念を表現した。これにより、主に自立語で構成されるトークンとは異なり、文節内の付属語などにより付加される意味的情報を表現することができた。
【０００９】
また、請求項３の発明は、テキスト情報に含まれる概念表現を生成する概念表現生成方法において、テキスト情報に形態素解析、係り受け解析を施す言語解析手順と、前記言語解析手順における言語解析の結果に基づいて、前記テキスト情報を文節情報を保持したテキストデータ構造に変換するテキストデータ構造生成手順と、生成されたテキストデータ構造を記憶するテキストデータ構造記憶手順と、該テキストデータ構造に含まれる文節情報に基づいて、それ自体で意味を表す自立語を抽出してトークンを生成するトークン生成手順と、該テキストデータ構造の文節間関係情報に基づいて所定のトークン間関係を抽出するトークン間関係抽出手順と、該トークン間関係抽出手順で抽出されたトークン及びトークン間関係を用いて概念表現を生成する概念表現生成手順と、を持つことを特徴とする概念表現生成方法を提供した。これにより、テキストから1つのトークンあるいは複数トークンを用いた概念表現を生成することができた。
【００１０】
また、請求項４に記載の発明は、１つの文節にトークン及び付属語が含まれており、前記トークンが接辞と接続可能な品詞を有しており、かつ前記トークンが含まれる文節内に前記トークンの前後に連続した接辞又はそれに相当する付属語が存在すること、を条件として、前記トークン及び付属語を結合することにより新たに生成された拡張トークンを用いて、請求項３記載の概念表現生成方法を提供した。これにより、同一文節内のトークン及び付属語が結合でき、さらに、その拡張トークンの情報をもとに新たな概念表現を提供できた。
【００１１】
また、請求項５に記載の発明では、トークンを含む複数の連接した文節の内の一であり、前記一の文節における前記トークンが名詞又はそれに相当する品詞を有しており、かつ前記一の文節内の付属語並びに前記一の文節の前後に連接した文節内のトークン及び付属語が、名詞若しくはそれに相当する品詞を有するか又はそれらの品詞と接続可能な品詞を有していること、を条件として、前記文節内の付属語に加え、前記一の文節の前後に連接した文節内のトークン及び付属語をさらに結合することにより新たに生成された拡張トークンを用いて、請求項３記載の概念表現生成方法を提供した。これにより、複数文節にわたる名詞相当のトークンを結合し拡張トークンを生成でき、さらに、その拡張トークンの情報をもとに新たな概念表現を提供できた。
【００１２】
また、請求項６に記載の発明は、トークンを含む複数の連接した文節の内の一であって、前記一の文節における前記トークンが、動詞又はそれに相当する品詞を有しており、かつ前記トークンが含まれる文節内の付属語並びに前記一の文節の前後に連接する文節内のトークン及び付属語が動詞若しくはそれに相当する品詞と活用を有するか又はそれらの品詞と接続可能な品詞と活用を有していること、を条件として、前記一の文節内の付属語に加え、前記一の文節の前後に連接した文節内のトークン及び付属語をさらに結合することにより新たに生成された拡張トークンを用いて、請求項３記載の概念表現生成方法を提供した。これにより、複数文節にわたる動詞相当のトークンを結合し拡張トークンを生成でき、さらに、その拡張トークンの情報をもとに新たな概念表現を提供できた。
【００１３】
また、請求項７の発明は、テキスト情報に含まれる概念表現を生成する概念表現生成方法において、テキスト情報に形態素解析、係り受け解析を施す言語解析手順と、前記言語解析手順における言語解析の結果に基づいて、前記テキスト情報を文節情報を保持したデータ構造に変換するテキストデータ構造生成手順と、生成されたテキストデータ構造を記憶するテキストデータ構造記憶手順と、該テキストデータ構造の文節情報に基づいて、所定の付属語表現パターンを意図表現として抽出する意図表現抽出手順と、該テキストデータ構造の文節間関係情報に基づいて所定の意図表現間の関係を抽出する意図表現間関係抽出手順と、該手順で抽出された意図表現及び意図表現間関係を用いて概念表現を生成する概念表現生成手順と、を持つことを特徴とする概念表現生成方法を提供した。これにより、テキストから1つの意図表現あるいは複数の意図表現を用いた概念表現を生成することができた。
【００１４】
また、請求項８に記載の発明は、前記テキストデータ構造生成手順において生成される文節情報を保持したデータ構造が、整数表現、小数表現、分数表記、概数表記、番号表記、電話番号表記、番地表記、範囲表記、並列表記、連続並列表記、時間表記及び日付表記のいずれか、である場合に、該数量表現と連接する文節列を一文節に結合しテキストデータ構造を修正することができ、これを用いて請求項３又は７記載の概念表現生成方法を提供した。これにより、指定される数量表現に関る条件を満たす連接する文節列を一文節に結合することで、数詞がトークンである文節より生成される複数の、ただし意味的には価値が低い概念表現の生成を抑制し、意味のある概念表現のみを生成する仕組みを提供できた。
【００１５】
また、請求項９に記載の発明は、テキスト情報に含まれる概念表現を生成する概念表現生成装置において、テキスト情報に形態素解析、係り受け解析を施す言語解析手段と、前記言語解析手順における言語解析の結果に基づいて、前記テキスト情報を文節情報を保持したテキストデータ構造に変換するテキストデータ構造生成手段と、生成されたテキストデータ構造を格納するテキストデータ構造データベースと、該テキストデータ構造に含まれる文節情報に基づいて、それ自体で意味を表す自立語を抽出してトークンを生成するトークン生成手段と、該テキストデータ構造の文節間関係情報に基づいて所定のトークン間関係を抽出するトークン間関係抽出手段と、該トークン間関係抽出手順で抽出されたトークン及びトークン間関係を用いて概念表現を生成する概念表現生成手段と、を持つことを特徴とする概念表現生成装置を提供した。これにより、テキストから1つのトークンあるいは複数トークンを用いた概念表現を生成することができた。
【００１６】
また、請求項１０に記載の発明は、テキスト情報に含まれる概念表現を生成する概念表現生成装置において、テキスト情報に形態素解析、係り受け解析を施す言語解析手段と、前記言語解析手順における言語解析の結果に基づいて、前記テキスト情報を文節情報を保持したテキストデータ構造に変換するテキストデータ構造生成手段と、生成されたテキストデータ構造を格納するテキストデータ構造データベースと、該テキストデータ構造の文節情報に基づいて、所定の付属語表現パターンを意図表現として抽出する意図表現抽出手順と、該テキストデータ構造の文節間関係情報に基づいて所定の意図表現間の関係を抽出する意図表現間関係抽出手順と、該手順で抽出された意図表現及び意図表現間関係を用いて概念表現を生成する概念表現生成手順と、を持つことを特徴とする概念表現生成装置を提供した。これにより、テキストから1つの意図表現あるいは複数の意図表現を用いた概念表現を生成することができた。
【００１７】
また、請求項１１に記載された発明は、請求項１又は２記載の概念表現方法をコンピュータにより実行させるプログラムである。
【００１８】
請求項１１に記載された発明により、トークン又は意図表現を用いて概念を表現するプログラムを提供することができた。
また、請求項１２に記載の発明は、請求項１又は２に記載の概念表現方法をコンピュータにより実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供した。これにより、本発明を記録した記録媒体を提供することができた。
【発明の効果】
【００１９】
本発明により、テキストから、そのテキストの内容を表現する有益な概念情報を低コストに抽出し、ユーザーにわかりやすく、操作しやすい表現方法を提供することができた。
【発明を実施するための最良の形態】
【００２０】
［本発明で用いる概念表現の概観］
本発明の概念表現は、テキストを言語解析した結果得られる文節あるいは文節間関係情報に基づいている。言語解析としては、たとえば形態素解析、文節係り受け解析を利用することができる。形態素解析はテキストに含まれる単語を分析する。係り受け解析は、テキストに含まれる文節を解析し、文節間の関係として係りと受けの関係にある文節を解析する。例文として「ソフトウェアのインストールが正常に実行できない」というテキストを使用する。
【００２１】
図１は、該例文を言語解析した結果を示す。同図において、「自」は自立語を、「付」は付属語をあらわす。自立語は動詞、形容詞、名詞などの品詞の単語であり、付属語とは助詞、助動詞などの品詞の単語である。通常文節は1個の自立語と、０個以上の付属語で構成される。言語解析方法によっては、1文節に複数個の自立語が含まれるような結果を出すものもあるが、ここでは、文節にはかならず1個のみの自立語しか含まないように文節を生成する解析方法を利用するものとする。従って、まず言語解析により、概念表現を行いたいテキストは本発明に適した形で、文を構成する基本的な単位に分類される。
【００２２】
本発明では、前記基本的な単位のなかから概念を表現する基本単位として、トークン及び意図表現を抽出すると共に、前記基本単位間の関係を所定の表現方法で表現することで、テキストの内容を概念表示する。
【００２３】
トークンとは、それ自体で１つの意味をあらわす単語であり、自立語を利用することができる。例えば、図１では、「ソフトウェア」「インストール」「正常」「実行」がトークンとなる。トークンの表現はトークンの表記を利用することもできるし、トークンの代表的表記に変換したものを利用することもできる。
【００２４】
意図表現とは、文節内の付属語による意味の付加を表す表現であり、付属語のある特定の表現パターンを検出することで、その文節に付加されている意図を解析し、意図表現として抽出する。例えば、「〜ない（助動詞）」「〜ず（助動詞）」という表現は「打消」の意味を、「〜できる（補助動詞）」という表現は「可能」の意味を、「〜たい（助動詞）」という表現は「要望」の意味を、文節に対して付加しているとすることができる。従って、これらはいずれも意図表現として抽出される。
【００２５】
また、図１の「実行できない」という文節から「〜できる（可能）」と「〜ない（打消）」の意図表現が抽出される。意図表現は例えば「（＋打消）」「（＋可能−打消）」というように表現することができる、ここで「＋XX」はその意図表現が付加されていることを、「−XX」はその意図表現が付加されていないことを表している。従って、「〜できない」という表現では、「（＋可能＋打消）」という意図表現が抽出される。
【００２６】
トークン及び意図表現を用いた概念表現の例は以下のようになる。
【００２７】
トークンのみの場合：「情報」  「ソフトウェア」
意図表現のみの場合：「（＋打消）」  「（＋可能−打消）」
同様に、トークンと意図表現の組み合わせを用いた概念表現の例は以下のようになる。
【００２８】
トークンと意図表現の場合：「実行（＋可能＋打消）」  「購入（＋要望）」
トークンと意図表現の組み合わせとは、ある文節に指定されたトークンが含まれていて、かつその文節に指定された意図表現が付加されていることを意味する。またトークンと意図表現の組み合わせでは、意図表現を指定しない表現すなわちトークンのみと同じ表現や、トークンを指定しない表現すなわち意図表現のみと同じ表現も利用することができる。
【００２９】
続いて、基本単位間の関係の表現方法について説明する。
【００３０】
基本単位間に関係が結ばれるということは、基本単位間に意味的な強い関係があることをあらわす。意味的な強い関係とは、それらの文節が、基本的には係り受け関係にあることを表す。例えば、基本単位間の関係を「⇒」で結ぶものとすると、「情報⇒検索」という概念表現は、係り受け関係にある2つの文節において係り文節に「情報」が、受け文節に「検索」が含まれていることを意味する（「情報を検索する」）。
【００３１】
基本単位間の関係として文節間の係り受け関係を利用することで、よく文書検索などで利用される単語の論理式「ソフトウェア＆インストール」のように単にテキスト内の共起出現関係を指定するのではなく、基本単位がテキスト内で意味的に強い関係をもって出現していることを指定することができる。
【００３２】
文節係り受け関係は、ある文節が係り文節になる場合は受け文節は１つのみであるが、複数の係り文節が同じ1つの受け文節に係ることができる。例えば、図１における文節４は、文節２と文節３の受け文節となっている。そのため、本概念表現における基本単位間の関係の表現は、複数の係り文節を持つ受け文節という文節間関係を表現する場合と、しない場合の２通りが可能である。
１）複数の係り文節を持つ受け文節という文節間関係を表現しない場合、概念表現は基本単位の単純な1次元のリスト表現となる。
概念表現例１：基本単位⇒基本単位、  基本単位⇒基本単位⇒基本単位
２）複数の係り文節を持つ受け文節という文節間関係を表現する場合、概念表現は図２２のような基本単位のツリー表現となる。
【００３３】
受け文節は１つの係り文節しか持たないと規定した表現の場合、概念表現はユーザーにとって簡単でわかりやすく、表現の拡張などの操作も行いやすいが、複雑な文節係り受け関係構造の表現ができない問題がある。複数の係り文節を持つ受け文節という文節間関係を表現する場合、複雑な文節係り受け関係構造も表現できるが、ユーザーにとっては複雑でわかりにくく、操作も行いにくいと考えられる。いずれの表現態様とも利用することができるが、以降の実施例では、ユーザーにとって分かりやすく操作もしやすい、受け文節は１つの係り文節しか持たない表現方法を用いることとして説明する。
【００３４】
図１の例文に基づいて、基本単位としてトークンのみを利用した場合の概念表現例を以下に示す。
１：  「ソフトウェア」
２：  「ソフトウェア⇒インストール」
３：  「ソフトウェア⇒インストール⇒実行」
図１の例文に基づいて、基本単位として意図表現のみを利用した場合の概念表現例を以下に示す。
１：  「（＋可能）」
２：  「（＋可能＋打消）」
なお、例文にはないが、意図表現間の係り受け表現も可能である。
３：  「（＋可能）⇒（＋要望＋打消）」
図１の例文に基づいて、基本単位としてトークンと意図表現を利用した場合の概念表現例を以下に示す。
１：  「実行（＋可能）」
２：  「実行」
３：  「（＋可能）」
４：  「インストール⇒実行（＋可能＋打消）」
５：  「ソフトウェア⇒インストール⇒実行（＋可能＋打消）」
また、意味的に独立な個々の基本単位を要素とした論理式で、概念を表現することもできる。これにより、概念間のテキスト内共起関係を表現することができる。図１の例文に基づいて、論理式を用いた概念表現例を以下に示す。なお、＆はＡＮＤなど一般的な論理積を表し、｜はｏｒなど一般的な論理和を表す。また、この他にも一般的な論理式の利用が可能である。
１：  「インストール⇒実行（＋可能＋打消）  ＆  ユーザー⇒対応」
２：  「購入（＋要望）  ｜  性能⇒向上（＋要望）」
［本発明の動作内容］
図２は、トークンによる概念表現生成過程の流れ図を示す。概念表現の対象となるテキスト入力手段１０１によりテキストを入力し、該テキストに対し言語解析手段１０２により言語解析が行われる。続いて、テキストデータ構造生成手段１０３が前記言語解析の結果得られたテキストの構造情報を基に、テキストを文、文節、単語、係り受け関係などの情報を含むデータ構造に変換する。該データ構造はテキストデータ構造記憶手段１０４で格納される。格納後、トークン抽出手段１０５によりトークンが抽出され、また、トークン間関係抽出手段１０６によりトークン間関係が抽出される。そして、概念表現生成手段１０７により係り受け関係に基づいた概念表現が生成される。
【００３５】
図３、図４は、それぞれ意図表現又はトークン及び意図表現による概念表現生成過程のブロック図を示す。図中、図２と同一構成ブロックについては同一符号を用いることとしその説明は省略する。
【００３６】
以下各動作ごとに説明する。
《テキストの入力手段１０１》
テキスト入力手段１０１では、概念表示の対象となるテキスト入力する。キーボードを用いて入力することも可能であるし、すでにテキストが記録されているファイルを対象としても良い。その他、スキャニング、コピー＆ペーストなど様々な方法で入力可能である。
《言語解析手段１０２》
言語解析手段１０２では、入力されたテキストに対して、形態素解析と係り受け解析の言語解析を行う。形態素解析ではテキストに含まれる単語を解析する。係り受け解析ではテキストに含まれる文、文節を解析し、文節間の関係として係りと受けの関係にある文節を解析する。たとえば、「ソフトウェアのインストールが正常に実行できない。」という文を解析した場合の解析結果は、前述した図１のようになる。すなわち、前記例文では、文節が４つ抽出され、文節１乃至３は自立語、付属語を各１つ含み、文節４は自動詞１つと付属語２つを含むこと、並びに、文節１が文節２に係り、文節２及び３が文節４に係ることが解析される。なお、品詞解析がなされることが陽には現れていないが、本手段でかかる情報の抽出を含む一般的な言語解析がなされる。
《テキストデータ構造生成手段１０３》
テキストデータ構造生成手段１０３では、言語解析手段の結果に基づき、前記入力されたテキストデータをテキストデータ構造に変換する。
【００３７】
図５は、変換後のテキストデータ構造を示す。テキストに含まれる各文、文に含まれる各文節、各文節に含まれる単語、の形式で構造が表される。
【００３８】
図６は、テキスト、文、文節等の各構成要素が保持する情報を示す。すなわち、テキストはテキストに含まれる文IDリストを管理し、文は自分の文IDと文に含まれる文節リストを管理する。文節は自分の文節IDと文節に含まれる単語IDリスト、係り文節IDリスト、受け文節IDを管理する。
【００３９】
各ID は各リストにおける識別番号であり、単語IDは前記単語リストの識別番号である。係り文節IDリストは、当該文節を受けとする係り文節のIDである。上記例にもあるように、1つの受け文節に対して複数の文節が係り文節となりうるので係り文節IDリストで管理する。受け文節IDは当該文節が係り文節となる受け文節のIDである。係り文節は受け文節を1つしかとることができない。
【００４０】
図７は、単語リストの一実施例を示す。テキストに含まれる単語に対してユニークな識別番号を付与した単語リストを生成し、単語の管理を行うものとする。その際、品詞情報や全体における出現頻度を算出しておくこともできる。
【００４１】
文節が管理する情報として、係り受けの関係の種類を保持することも可能である。たとえば連体修飾なのか連用修飾なのか、などである。また文節を結ぶ助詞の種類により関係の種類を記述することもできる。
【００４２】
また同義語辞書を持ち同義語を持つ単語に関して代表表記情報をもたせることができる。これは図７に示すように単語リストの項目として同義語代表表記を持つことにより実現できる。
《テキストデータ構造記憶手段１０４》
テキストデータ構造記憶手段では、テキストデータ構造生成手段１０３で生成されたテキストデータ構造を記憶、管理する。これをデータベースとして用いることで、必要な情報を検索するような場合に、検索しやすい形式での記憶、管理が可能となる。
《概念表現基本単位生成手段》
概念表現基本単位は、前記トークン又は意図表現のことを示すため、図２乃至図４における、トークン抽出手段、意図表現抽出手段は、概念表現基本単位の生成手段と一部重複する。このため、トークン抽出手段、意図表現抽出手段については、概念表現基本単位生成手段の項で説明する。
【００４３】
（トークンによる概念表現）
トークン抽出手段１０５はテキストデータ構造記憶手段の情報から各文節に対してトークンを抽出する。文節内の単語情報から、自立語品詞である単語抽出してトークンとする。本実施例では言語解析時に１文節１自立語となるように解析をしているので、文節内の自立語をトークンとして利用することができる。
【００４４】
上記テキスト例の場合、トークンとして以下の4個が抽出される。
トークン１：  ソフトウェア
トークン２：  インストール
トークン３：  正常
トークン４：  実行
（意図表現による概念表現）
意図表現抽出手段２０１はテキストデータ構造記憶手段の情報から各文節に対して意図表現を抽出する。文節内の単語情報から、特定の表現パターンを抽出し、意図表現情報を生成する。たとえば「打消」「要望」「疑問」「可能」という意図表現は、下記のような単語あるいは表現パターンが含まれている場合に抽出することができる。
意図表現「打消」：助動詞「ない」、助動詞「ず」、助動詞「まい」、補助形容詞  「にくい」、
意図表現「要望」：助動詞「たい」、
意図表現「疑問」：終助詞「か」、終助詞「か」＋終助詞「な」、記号「？」
意図表現「可能」：補助動詞「できる」、助動詞「れる」、助動詞「られる」
上記テキスト例の場合、意図表現として以下のものが抽出される。
意図表現１：  （＋可能＋打消）
また、文節から抽出された意図表現を組み合わせることで意図表現を生成することもできる。その場合、上記テキスト例からは以下の意図表現が抽出される。
意図表現１：  （＋可能）
意図表現２：  （＋打消）
意図表現３：  （＋可能＋打消）
（トークンと意図表現の組み合わせによる概念表現）
概念表現基本単位としてトークンと意図表現の組み合わせを利用した場合について説明する。本発明である概念表現方法は、トークン抽出手段１０５と意図表現抽出手段２０１の結果に基づいて、トークン及び意図表現を抽出する。例えば、「実行できない」という文節があった場合、トークン抽出手段１０５によりトークンとして「実行」が抽出され、意図表現抽出手段２０１により意図表現として「（＋可能＋打消）」が抽出される。概念表現基本単位生成手段３０１は、これらを組み合わせた概念表現基本単位として「実行（＋可能＋打消）」を生成する。
【００４５】
上記テキスト例の場合、概念表現基本単位として以下のものが生成される。
概念表現基本単位１：  ソフトウェア
概念表現基本単位２：  インストール
概念表現基本単位３：  正常
概念表現基本単位４：  実行（＋可能＋打消）
また、意図表現を文節から抽出された意図表現の組み合わせからも生成する場合は、以下のものが概念表現基本単位として生成される。
概念表現基本単位１：  ソフトウェア
概念表現基本単位２：  インストール
概念表現基本単位３：  正常
概念表現基本単位４：  実行
概念表現基本単位４：  実行（＋可能）
概念表現基本単位４：  実行（＋打消）
概念表現基本単位４：  実行（＋可能＋打消）
《概念表現基本単位間の関係抽出》
係り受け関係に基づいた概念表現基本単位間の関係により、概念を表示する方法について説明する。
【００４６】
概念表現基本単位としてトークンを利用場合にはトークン間関係抽出手段１０６が、概念表現基本単位として意図表現を利用する場合には意図表現間関係抽出手段２０２が、概念表現基本単位としてトークンと意図表現の組み合わせを利用する場合には概念表現基本単位間関係抽出手段３０２が、それぞれ基本概念間関係抽出を行う。
【００４７】
図８は、文節間関係に基づいた概念表現基本単間関係の抽出方法のフローチャートを示す。各文について、文節ＩＤを基に文の先頭から該文節Ｋｍが係る受け文節Ｋｘの存否を確認し、ある場合には係り受け構造を抽出し、さらに他の文節に係る受け文節Ｋｙの存否を確認し、ある場合にはさらに係り受け構造を抽出する。一文中の各文節で係り受け構造がなくなるまでこれを行い、一文が終了したら文ＩＤを基に次の文で係り受け関係を抽出する。
【００４８】
概念表現基本単位間の関係は、テキストデータ構造記憶手段１０４に記憶されている文節間の係り受け関係を利用する。「ソフトウェアのインストールが正常に実行できない」というテキストデータ構造が記憶されている場合は、前述したとおり図１に示すテキストデータ構造が生成される。
【００４９】
例えば、文節２から生成される概念表現基本単位は、文節１及び文節４から生成される概念表現基本単位と関係があり、以下のような２つの関係表現が抽出される。
文節１基本単位⇒文節２基本単位
文節２基本単位⇒文節４基本単位
概念表現基本単間関係は３個以上のものであっても構わない。したがって上記テキスト例からは以下の４個の概念表現基本単位間関係が抽出される。
概念表現基本単位間関係１：  文節１⇒文節２
概念表現基本単位間関係２：  文節２⇒文節４
概念表現基本単位間関係３：  文節３⇒文節４
概念表現基本単位間関係４：  文節１⇒文節２⇒文節４
《概念表現の生成手段１０７》
（トークン間関係による概念表現）
概念表現は、生成された概念表現基本単位、概念表現基本単位間関係を用いて、概念表現生成手段１０７において生成される。
【００５０】
例えば、上記テキスト例の場合、１つの文、４つの文節で構成されており、文節間関係から抽出される概念表現基本単位間関係は以下の４つである。
概念表現基本単位間関係１：  文節１⇒文節２
概念表現基本単位間関係２：  文節２⇒文節４
概念表現基本単位間関係３：  文節３⇒文節４
概念表現基本単位間関係４：  文節１⇒文節２⇒文節４
また、概念表現基本単位としてトークンを利用した場合、前述したとおり各文節からは以下のトークンが抽出される。
文節１トークン：  ソフトウェア
文節２トークン：  インストール
文節３トークン：  正常
文節４トークン：  実行
従って、文節間関係とトークンから、概念表現を生成すると、以下の８個の概念表現が生成される。
概念表現１（文節１トークン）：  ソフトウェア
概念表現２（文節２トークン）：  インストール
概念表現３（文節３トークン）：  正常
概念表現４（文節４トークン）：  実行
概念表現５（概念表現基本単位間関係１）：ソフトウェア⇒インストール
概念表現６（概念表現基本単位間関係２）：インストール⇒実行
概念表現７（概念表現基本単位間関係３）：正常⇒実行
概念表現８（概念表現基本単位間関係４）：ソフトウェア⇒インストール⇒実行
（意図表現間関係による概念表現）
概念表現基本単位として意図表現を利用した場合、各文節からは以下の意図表現が抽出される。
文節１意図表現：  なし
文節２意図表現：  なし
文節３意図表現：  なし
文節４意図表現：  （＋可能＋打消）
文節１、２、３からは意図表現は抽出されないため、概念表現は以下の１個が生成される。
概念表現１（文節４意図表現）：  （＋可能＋打消）
また、意図表現を文節から抽出された意図表現を組み合わせることで生成する場合は、各文節からは以下の意図表現が抽出される。
文節１意図表現：  なし
文節２意図表現：  なし
文節３意図表現：  なし
文節４意図表現１：（＋可能）
文節４意図表現２：（＋打消）
文節４意図表現３：（＋可能＋打消）
この場合、概念表現は以下のものが生成される。
概念表現１（文節４意図表現１）：  （＋可能）
概念表現２（文節４意図表現２）：  （＋打消）
概念表現３（文節４意図表現３）：  （＋可能＋打消）
（トークンと意図表現の組み合わせ間関係による概念表現）
概念表現基本単位としてトークンと意図表現の組み合わせを利用した場合、各文節からは以下の概念表現基本単位が抽出される。
文節１概念表現基本単位：  ソフトウェア
文節２概念表現基本単位：  インストール
文節３概念表現基本単位：  正常
文節４概念表現基本単位：  実行（＋可能＋打消）
概念表現は、概念表現基本単位および概念表現基本単位間関係により生成するので、以下の８個の概念表現が生成される。
概念表現１（文節１概念表現基本単位）  ：ソフトウェア
概念表現２（文節２概念表現基本単位）  ：インストール
概念表現３（文節３概念表現基本単位）  ：正常
概念表現４（文節４概念表現基本単位）  ：実行（＋可能＋打消）
概念表現５（概念表現基本単位間関係１）：ソフトウェア⇒インストール
概念表現６（概念表現基本単位間関係２）：インストール⇒実行（＋可能＋打消）
概念表現７（概念表現基本単位間関係３）：  正常⇒実行（＋可能＋打消）
概念表現８（概念表現基本単位間関係４）：  ソフトウェア⇒インストール⇒実行（＋可能＋打消）
また、意図表現を文節から抽出された意図表現を組み合わせることで生成する場合は、以下のものが概念表現基本単位として生成される。
文節１概念表現基本単位１：  ソフトウェア
文節２概念表現基本単位２：  インストール
文節３概念表現基本単位３：  正常
文節４概念表現基本単位４：  実行
文節４概念表現基本単位５：  実行（＋可能）
文節４概念表現基本単位６：  実行（＋打消）
文節４概念表現基本単位７：  実行（＋可能＋打消）
その場合、概念表現は以下のものが生成される。
概念表現１（文節１概念表現基本単位１）  ：ソフトウェア
概念表現２（文節２概念表現基本単位２）  ：インストール
概念表現３（文節３概念表現基本単位３）  ：正常
概念表現４（文節４概念表現基本単位４）  ：実行
概念表現５（文節４概念表現基本単位５）  ：実行（＋可能）
概念表現６（文節４概念表現基本単位６）  ：実行（＋打消）
概念表現７（文節４概念表現基本単位７）  ：実行（＋可能＋打消）
概念表現８（概念表現基本単位間関係１）  ：ソフトウェア⇒インストール
概念表現９（概念表現基本単位間関係２）  ：インストール⇒実行
概念表現１０（概念表現基本単位間関係２）：インストール⇒実行（＋可能）
概念表現１１（概念表現基本単位間関係２）：インストール⇒実行（＋打消）
概念表現１２（概念表現基本単位間関係２）：インストール⇒実行（＋可能＋打消）
概念表現１３（概念表現基本単位間関係３）：正常⇒実行
概念表現１４（概念表現基本単位間関係３）：正常⇒実行（＋可能
概念表現１５（概念表現基本単位間関係３）：正常⇒実行（＋打消）
概念表現１６（概念表現基本単位間関係３）：正常⇒実行（＋可能＋打消）
概念表現１７（概念表現基本単位間関係４）：ソフトウェア⇒インストール⇒実行
概念表現１８（概念表現基本単位間関係４）：ソフトウェア⇒インストール⇒実行（＋可能）
概念表現１９（概念表現基本単位間関係４）：ソフトウェア⇒インストール⇒実行（＋打消）
概念表現２０（概念表現基本単位間関係４）：ソフトウェア⇒インストール⇒実行（＋可能＋打消）
［拡張トークンの抽出］
これまでの発明内容では、基本概念を構成する主要素であるトークンの生成・抽出方法について、文節内の自立語より生成するとしか規定されていない。しかしながら、文書の形態素解析や係り受け解析結果をベースとした文書検索や文書分類技術に関する種々の研究や発明においては、処理過程において抽出されるトークンとして接辞結合語や名詞複合語等の所謂複合語も採用することにより結果の精度向上ができるものと考えられる。さらに、複合語トークンに対応する概念表現とその複合語トークンを構成する源トークンとの関連情報を提供することで、ユーザーが概念表現間の関係を把握することを支援することなども考えられ、これによりユーザーはより豊かな情報分析をおこなうことが可能になるものと考えられる。
【００５１】
以上から、以降では複合語トークンを生成し、生成した複合トークンをもとにさらに概念表現を生成することで、より精度の高い概念表現を生成する仕組みを提供する方法について説明する。
《同一文節内における拡張トークンの抽出》
本実施例では、指定される条件を満たす概念表現について、対象概念表現に対応するトークンとトークンが含まれる文節内の付属語を結合することにより1つ以上のトークンを新たに生成する。この際、前記指定される条件として、対象概念表現は、1文節からなるという条件が暗黙的に規定される。
【００５２】
図９は、拡張トークン抽出過程を含むトークンによる概念表現生成過程の流れ図を示す。同図中、図１と同一構成部分には同一符号を用いるものとし、その説明は省略する。図９では、テキストデータ構造を格納後、トークン抽出中断１０５だけでなく、拡張トークン抽出手段１０８へ処理される場合がある点、及び、概念表現拡張関係情報記憶手段５０１を含む点で図２と異なる。拡張トークン抽出手段１０８は、後述する拡張トークンを抽出する手段を、概念表現拡張関係情報記憶手段５０１は、前記拡張トークン抽出手段にて生成されるトークンに対応する概念表現と生成源である概念表現との対応関係情報を記憶する。
【００５３】
拡張トークンの抽出例として、形態要素解析結果から文節が式1に示すような構造として抽出されるものを対象とし、その一例として構造例として式2に示すような文節が抽出されている場合を考える。ここで、接辞などの品詞をもつ単語も付属語として扱うこととする。なお、*は0語以上連続することを示す（正規表現の詳細については、例えば、“正規表現、Jeffrey E. F. Friedl著（歌代和正監訳）、オライリージャパン（１９９９）”を参照）。
【００５４】
<文節> = <付属語>*<自立語><付属語>*
…（１）
<付属語1><付属語2><自立語><付属語3>  …（２）
式2に示す文節から概念表現を生成することとすると、トークンすなわち<自立語>が概念表現である。このとき、拡張トークンを生成する条件として”トークンと隣接する付属語が互いに接続可能な品詞を有する場合、トークンと付属語を適切に結合したものを拡張トークンとする”という条件が指定されているとすると、<付属語2>と<自立語>が互いに接続可能な品詞を持つ場合、「<付属語2><自立語>」が拡張トークンとなり、それがあらたな概念表現となる。この際、拡張トークンである<付属語2><自立語>が有する品詞は適切に変更される。
【００５５】
さらに、<付属語2><自立語>と<付属語3>もまた、接続可能な品詞を有する場合、<付属語2><自立語><付属語3>も拡張トークンとなる。
【００５６】
（接辞の場合）
トークンに隣接する付属語が接辞もしくはそれに相当する品詞を有する場合を例にして適用例を説明する。
【００５７】
ここでは、”トークンと隣接する付属語が接辞もしくはそれに相当する品詞を有し、かつトークンが接辞と接続可能な品詞を有する場合、対象トークンと付属語を適切に結合したものを拡張トークンとする”という条件が指定されているものとする。
【００５８】
例えば、”超高性能化が進むパーソナルコンピュータを語る。”という文がある場合、これを前記言語解析した結果を図１０に示す。同図において、単語の下のアルファベットは、対応する単語の品詞を示しており、p、n、s、a、v、はそれぞれ、接頭辞、名詞、接尾辞、助詞、動詞を示している。本例文は、５つの文節から成り、文節１に「性能」という自立語の前後にそれぞれ２つの付属語が連接している。
【００５９】
ここで、接辞結合のルールとして以下の条件を設定する。
・最近接の接頭を優先する
・接頭辞との結合を接尾辞の結合より優先する
・接尾辞とトークンを結合して生成される拡張トークンはトークンと同一の品詞を持つ
・生成される拡張トークンは生成された文節に対応づけられる
ただし、接合結合の条件やルールは上記に限定されるものではなく、例えば品詞をより詳細に設定し、品詞ごとに異なる条件やルールを指定したり、さらに品詞だけではなく単語の表記も考慮した条件やルールを設定しても良い。
【００６０】
図１１は、接辞接合による拡張トークン生成手続きの疑似コードを示す。まず、接頭辞列の処理として、対象となる文節に、トークンに近接する接頭辞列が含まれている場合は拡張トークンに前記トークンを代入し、該トークンと接頭辞が接続可能であるときは該トークンの先頭に接頭辞を結合する。同様な処理を次に近接する接頭辞に行う。次に接尾辞の処理として、対象となる文節に、トークンに近接する接尾辞列が含まれている場合は拡張トークンに前記トークンを代入し、該トークンと接尾辞が接続可能であるときは該トークンの終端に接尾辞を結合する。同様な処理を次に近接する接尾辞に行う。
図１０に示す文では、文節1が上記条件に適合する。文節1から生成される概念表現は”性能”であり、これに対し図１１に示す手続きを適用することで、"高性能"、"超高性能"、"超高性能化"という拡張トークン、すなわち概念表現を得ることができる。
《複数文節における拡張トークンの抽出》
指定される条件を満たす概念表現について、対象概念表現に対応するトークンとトークンが含まれる文節内の付属語に加え、前記特定の文節の近傍の文節内のトークンおよび付属語をさらに結合することにより1つ以上のトークンを新たに生成する。この際、前記指定される条件として、対象概念表現は、2文節以上の複数文節からなるという条件が暗黙的に規定される。また、ここでは個々の文節は、文節関係情報をもつものとし、係り受け解析システムは係り受け関係として、結合可能な文節ついはそれを示す情報を出力可能なものとする。
【００６１】
ここでは、係り受け解析システムは、係り受け関係を持つ文節が以下の条件を満たす場合、係り受け関係情報として結合可能な情報を含むものとする。
・ともに品詞が名詞もしくはそれに相当するトークンを含む文節である
・ともに品詞が動詞もしくはそれに相当するトークンを含む文節である
（複数文節における拡張トークンの抽出：名詞の場合）
概念表現に含まれる係り受け関係のある文節対が、ともに品詞が名詞もしくはそれに相当するトークンを含む場合について説明する。   
例えば、”高性能システムを導入する。”という文がある場合、これを係り受け解析した結果を図１２に示す。同図において記号avは補助動詞を示している。従って、本例文は３つの文節から成り、文節１は付属語と自立語、文節２と３は自立語と付属語からなっており、各単語の品詞がそれぞれ解析される。
【００６２】
トークン抽出手段１０５、トークン間関係抽出手段１０６、及び、同一文節内における拡張トークン抽出手段を経て、概念表現として次に示されるものが抽出される。
概念表現1(文節1トークン)       : 性能
概念表現2(文節2トークン)       : システム
概念表現3(文節3トークン)       : 導入
概念表現4(文節1⇒文節2)        : 性能
⇒ システム
概念表現5(文節2⇒文節3)        : システム
⇒ 導入
概念表現6(文節1⇒文節2⇒文節3) : 性能 ⇒ システム ⇒ 導入
概念表現7(文節1拡張トークン)       : 高性能
概念表現8(文節1拡張⇒文節2)        : 高性能
⇒ システム
概念表現9(文節1拡張⇒文節2⇒文節3) : 高性能 ⇒ システム ⇒ 導入
概念表現７から概念表現９が前記接辞結合により抽出した拡張トークンをもとに生成される概念表現である。
【００６３】
ここで、名詞文節結合のルールとして以下の条件を設定する。
・連続するすべての係り受け文節のトークンは、名詞もしくはそれに相当する品詞を有する
・係り文節の接辞以外の付属語はすべて拡張トークンに結合する
・受け文節の付属語はすべて拡張トークンに結合しない
・生成される拡張トークンの品詞は受け文節のトークンを継承する
ただし、名詞文節結合の条件やルールは上記に限定されるものではなく、例えば品詞をより詳細に設定し、品詞ごとに異なる条件やルールを指定したり、さらに品詞だけではなく単語の表記も考慮した条件やルールを設定しても良い。また、すべての付属語は拡張トークンに含めないルールを設定しても良い。
【００６４】
図１３に名詞文節結合による拡張トークン生成手続きの疑似コードを示す。すなわち、対象概念表現が連続する複合関係をもつ係り受け文節列からなり、      
かつすべての文節のトークンは名詞系の品詞をもつ場合、拡張トークンに対象文節の付属語とトークンを代入する。これを先頭文節から繰り返し、最終文節に限り、拡張トークンに対象文節のトークンのみを代入する。”高性能システムを導入する。”という例文では、概念表現4、5、6、8、9が上記条件に適合する。これらの概念表現に対し図１３に示す手続きを適用することで、下記の拡張トークンを得ることができる。
拡張トークン1(概念表現4から) : 性能システム
拡張トークン2(概念表現5から) : システムを導入
拡張トークン3(概念表現6から) : 性能システムを導入
拡張トークン4(概念表現8から) : 高性能システム
拡張トークン5(概念表現8から) : 高性能システムを導入
（複数文節における拡張トークンの抽出：動詞の場合）
概念表現に含まれる係り受け関係のある文節対が、ともに品詞が動詞もしくはそれに相当するトークンを含む場合について説明する。   
例えば、”回答を導き出す。”という文がある場合、これを係り受け解析した結果を図１４に示す。本例文は、３つの文節から成り、文節１は自立語と付属語、文節２と３は自立語で構成されている。
【００６５】
従って、トークン抽出手段１０５、トークン間関係抽出手段１０６を経て、概念表現として次に示されるものが抽出される。
概念表現1(文節1トークン)       : 回答
概念表現2(文節2トークン)       : 導く
概念表現3(文節3トークン)       : 出す
概念表現4(文節1⇒文節2)        : 回答
⇒ 導く
概念表現5(文節2⇒文節3)        : 導く
⇒ 出す
概念表現6(文節1⇒文節2⇒文節3) : 回答 ⇒ 導く ⇒ 出す
なお、単語表記は動詞の場合終止形で記述している。
【００６６】
ここで、動詞文節結合のルールとして以下の条件を設定する。
・連続する係り受け文節のトークンはすべて動詞もしくはそれに相当する品詞を有する
・係り文節の動詞は実際の活用形のまま結合する。
・生成される拡張トークンの品詞は受け文節のトークンを継承する
ただし、名詞文節結合の条件やルールは上記に限定されるものではなく、例えば品詞をより詳細に設定し、品詞ごとに異なる条件やルールを指定したり、さらに品詞だけではなく単語の表記も考慮した条件やルールを設定しても良い
図１５に動詞文節結合による拡張トークン生成手続きの疑似コードを示す。すなわち、対象概念表現が連続する複合関係をもつ係り受け文節列からなり、      
かつすべての文節のトークンが動詞系の品詞をもつ場合、拡張トークンに対象文節のトークンを実際の活用形で代入する。これを先頭文節から繰り返し、最終文節に限り、拡張トークンに対象文節のトークンを終止形で代入する。
”回答を導き出す。”という例文では、概念表現５が上記条件に適合する。この概念表現に対し図１５に示す手続きを適用することで、下記に示す拡張トークンを得ることができる。
拡張トークン1(概念表現5から) : 導き出す
《概念表現拡張関係情報記憶手段５０１》
トークン抽出手段１０５により抽出されたトークン及び拡張トークン抽出手段１０８で抽出された拡張トークンは概念表現拡張関係情報記憶手段５０１で格納される。拡張トークンを含むテキストデータ構造を格納するには、図７に例示されているトークンを管理するテキストデータ構造を利用し、生成元のトークンIDと合わせて管理する構造を用いることで、トークンが拡張トークンである場合にも適応させることができる。
【００６７】
例えば、前記接辞結合の例示を継承すると、トークン:”性能”から3つの拡張トークンが生成される。この際、トークンのデータ構造が図１６に示すような構造になっていればよい。同図において、参照トークンIDには、生成元のトークンIDが記録されている。
［数詞表現による概念表示生成方法］
これまで数詞表現(数表記)に関する複合語に関しては、特に言及していないが、数詞表現が多様であり使用頻度も高いことを考えると、基本概念表現において数詞表現もまた考慮することで、精度の高い概念表現を提供できるものと考えられる。ここで、数表記とは、数詞や助数詞などが連接して一つの意味を表す単語を構成するものであり、その一例を下記に示す。なお、下記で記号^は文節の区切りを示し、また連続する数詞は一つの数詞として抽出されるものとする。
【００６８】
ex1 整数表記 :二千二
ex2 整数表記 : 2^,^002
ex3 小数表記 : 0^.^4
ex4 分数表記 : 2^/^5
ex5 番号表記 : 001^-^000^-^0002
例えば、ex5は電話番号表記であるが、これまでに開示した手続きにより概念表現を生成した場合、個別の数詞や記号のみで構成されるもののみが得られることとなり、それゆえそれら概念表現から整数表記以上の意味（本来の電話番号としての意味）を取得するのは困難である。
【００６９】
また、ex２の第３文節とex５の第5文節から生成される概念表現はそれぞれ整数としては同値であるが、これらの比較には意味を求めるのは不合理である。すなわち、ex5から生成される概念表現はあくまで個々の文節を結合してひとつの文節生成し(したがって、トークンも1つになる)、その文節から概念表現を生成することではじめて意味のある概念表現を生成刷ることが可能になるものと考えられる。
【００７０】
ところで、例えば文献８によると、数表記を、”整数型”、”小数型”、”分数型”、”概数型”、"棒読み(電話番号・番地)型"、"範囲型"、”並記型”の7つの型に分類しており、さらに分類された各々の数表記の構成規則が詳細に開示されている。したがって、前記文献８に開示されている数表記の構成規則を適切に利用することで、適切な数表記トークンが生成可能であり、これにより、より高精度な概念表現を生成できるものと考えられる。
【００７１】
また、これまで説明した概念表現は、意図表現情報も合わせて保持できる構造になっているため、この意図表現情報として前記数詞表現の分類体系の情報を付加することによって高度な概念表現の利用法が期待される。
《テキストデータ構造の修正:連接する文節の結合》
図１７は、テキストデータ構造修正手段１０９を含むトークンによる概念表現生成過程のブロック図を示す。同図中、図２と同一構成部分には同一符号を用いるものとし、その説明は省略する。図１７では、テキストデータ構造を生成後、テキストデータ構造修正手段１０９で数詞表現のテキストデータが構造修正される点で図２と異なる。
【００７２】
数詞表現一般のテキストデータ構造の修正について説明する。まず、前提として数詞表現による実施例の場合、文節を式のように定義する。また、文節を構成する自立語をトークンと呼ぶ。また、式３における自立語の前に接続する付属語を前方付属語、自立語の後ろに接続する付属語を後方付属語と呼ぶ。
【００７３】
文節
：＝ [付属語]*[自立語][付属語]*  …（３）
テキストデータ構造修正手段１０９では、テキストデータ構造生成手段103において生成される文節情報を保持したデータ構造について、指定される数量表現に関する条件を満たす連接する文節列を一文節に結合し、テキストデータ構造を修正する。この際、指定される条件を満たす、結合元である複数文節に関する情報は適切に削除される。
例として、”電話番号は001-111-2222です”というテキストデータが与られたとして、その係り受け解析結果を図１８に示す。なお、同図において、記号：n、nu、s、avはそれぞれ名詞、数詞、記号、助動詞を示す。本例文は７つの文節を含み、文節３から７が数詞表現そのものか又は数詞表現を含む。
【００７４】
図１９は、本例文のテキストデータ構造を示す。同図に示すように、数詞表現のテキストデータであっても、図７と同様のテキストデータ構造を取るものとする。
【００７５】
つぎに指定される数量表現判定条件(構成規則)と文節再構成方法を下記に示す。なお、ここでは、電話番号表記を扱っているが、電話番号表記に関する構成規則に関する詳細な説明は後述することとし、ここでは簡易な条件と構成規則を使用する。
ここでの電話番号表記の構成規則：
・トークンの品詞が数詞であるか表記が記号:ハイフンと一致する文節が連接している。
ここでの文節再構成方法：
・判定条件を満たす全文節について、先頭文節の前方付属語と終端文節の後方付属語以外のすべての文節を構成する単語を文節の並び順にしたがって結合し、トークンを生成する。
・結合元文節への係り関係は、すべて生成される文節が受ける。
・前記先頭文節の前方付属語を前方付属語と、前記終端文節の後方付属語を後方付属語と、および生成したトークンをトークンとした文節を生成する。
・生成したトークンの品詞は数詞になる。
【００７６】
図１８及び１９に示されるテキストデータについて、前記判定条件を適用すると条件を満たすのは、文節3から文節7までの文節列であるので、この文節列に対し前記構成規則を適用することにより、テキストデータ構造は図２０及び２１のように修正することができる。
【００７７】
以下、個別の数量表現の説明と構成規則を説明する。各数詞表現において文節再構成方法は同じものが利用できる。
《整数表記》
本例では、数字文字、漢数字文字、および桁を示す1文字を総称して数詞文字、数詞文字の連続したものを数詞単語と呼ぶこととし、想定する形態素解析系は前記単語を適切に切り出し、かつ品詞を割り当てることができるものとする。さらに、簡単のため、記号と数字文字について、1バイトと2バイトの表記の違いは適切に統一されているものとし、以下ではバイトの違いはないものとする。
【００７８】
整数表記とは、例えば下記に示すようなものであり、数詞単語のみもしくは先頭数詞単語以外は3つの数詞文字で構成される数詞単語と記号コンマを繰り返すものである。
【００７９】
15660
1万5660
1万5千660
一万五千六百六十
一万五六六〇
一五六六〇
15,660
一五,六六〇
整数表記を正規表現で記述すると式４及び式５のように記述できる。ただし、+は一つ以上の存在を示し、また式中の空白は視認性を高めるためのものである。さらに、まる括弧記号“（”と“）”は文字リテラルでなく、＋や＊と同じ正規表現のメタ文字であり、式（５）においてはまる括弧対は文字列のグループ化を示す。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【００８０】
数詞文字+  …（４）
数詞文字+(記号コンマ 数詞文字 数詞文字 数詞文字)+  …（５）
すなわち、整数表記の構成規則は式４及び式５を用いて下記のように記述できる。
整数構成規則
・連接する文節列のトークンを結合したものが式４しくは式５の正規表現に対し真となる。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【００８１】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な整数表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、整数表記であるという情報を付加しても良い。
《小数表記》
整数表記とは、例えば下記に示すようなものであり、数詞単語、記号ピリオド、および数詞単語の順に結合したものである。
【００８２】
5.12
五.十二
五十.十二
小数表記を正規表現で記述すると式６のように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【００８３】
数詞文字+ 記号ピリオド 数詞文字+  …（６）
すなわち、小数表記の構成規則は式６に示される正規表現を用いて次のように記述できる。
小数構成規則
・連接する文節列のトークンを結合したものが式６の正規証言に対し真となる。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【００８４】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な小数表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、小数表記であるという情報を付加しても良い。
《分数表記》
分数表記とは、例えば下記に示すようなものであり、数詞単語、記号スラッシュ、および数詞単語の順に結合したもの、もしくは数詞単語、文字列”分の"、および数詞単語の順に結合したものである。
【００８５】
5/12
五/十二
5分の12
五分の十二
分数表記を正規表現で記述すると式７のように記述できる。ただし、|は選択を示し、まる括弧対は選択の対象範囲の制限を示す。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【００８６】
数詞文字+(記号スラッシュ |“分の”)数詞文字+  …（７）
すなわち、分数表記の構成規則は式７に示される正規表現を用いて次のように記述できる。
分数構成規則
・連接する文節列のトークンを結合したものが式７正規表現に対し真となる。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【００８７】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な分数表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、分数表記であるという情報を付加しても良い。
《概数表記》
概数表記とは、14,5==じゅうしごなどと呼ぶ、例えば下記に示すようなものであり、数詞文字、記号コンマ、および数詞単語の順に結合したもの、もしくは数詞単語、記号コンマ、および数詞文字の順に結合したものであり、かつ記号カンマの両端にある数詞文字の絶対差は1であるという特性をもつ。この特性により、整数表記と概数表記の区別が可能となる。
【００８８】
14,5
十四,五
2,30
二,三十
二,三〇
概数表記を正規表現で記述すると式８もしく式９のように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【００８９】
数詞文字
記号コンマ 数詞文字+  …（８）
数詞文字+
記号コンマ 数詞文字  …（９）
すなわち、概数表記の構成規則は式８もしくは式９に示される正規表現を用いて次のように記述できる。
概数構成規則
・連接する文節列のトークンを結合したものが式８か式９のいずれかの正規表現に対し真となる。
・記号カンマの両端にある数詞文字の絶対差は1である。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【００９０】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な概数表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、概数表記であるという情報を付加しても良い。
《番号表記》
番号表記とは、クレジットカード番号、旅券番号等、例えば下記に示すようなものであり、複数の数詞単語を区切り文字で結んだものである。また、ひとつの番号表記では、区切り文字はすべて同一であるとする。
【００９１】
34+5677
00/1222
045-22222-223
番号表記を正規表現で記述すると式１０のように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【００９２】
数詞文字+(任意記号 数詞文字)+  …（１０）
すなわち、番号表記の構成規則は式８もしくは式１０に示される正規表現を用いて次のように記述できる。
番号構成規則
・連接する文節列のトークンを結合したものが式１０正規表現に対し真となる。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【００９３】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な概数表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、概数表記であるという情報を付加しても良い。
【００９４】
なお、式１０の正規表現において記号は任意記号となっているため、番号表記の正規表現は他の数量表現と同時に真となりうる可能性が極めて高い。このため、番号表現の構成規則を含め、複数の構成規則を適用する場合には、番号表現の構成規則の優先順位を下げる必要があるものと考えられる。
《電話番号表記》
番号表記とは、例えば下記に示すようなものであり、文字数が規定された３つの数詞単語を記号ハイフン、記号中点、もしくは記号括弧と記号括弧を区切り文字として結んだものである。
【００９５】
045-590-1683
045(590)1683
〇四五五-九〇-一六八三
〇四五五・九〇・一六八三
〇四五(五九〇)一六八三
電話番号表記を正規表現で記述すると式１１から式１４までのように記述できる。ただし、$Ｎ（Ｎは自然数)は前方参照であり、正規表現でＮ番目の開きまる括弧によって選択された文字列を示す。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【００９６】
数詞文字
数詞文字 数詞文字 (記号ハイフン|記号中点) 数詞文字 数詞文字 数詞文字 $1 数詞文字 数詞文字 数詞文字 数詞文字  …（１１）
数詞文字
数詞文字 数詞文字 数詞文字 (記号ハイフン|記号中点) 数詞文字 数詞文字 $1 数詞文字 数詞文字 数詞文字 数詞文字  …（１２）
数詞文字
数詞文字 数詞文字 記号開き括弧 数詞文字 数詞文字 数詞文字 閉じ括弧 数詞文字 数詞文字 数詞文字 数詞文字  …（１３）
数詞文字
数詞文字 数詞文字 数詞文字 記号開き括弧 数詞文字 数詞文字 閉じ括弧 数詞文字 数詞文字 数詞文字 数詞文字  …（１４）
すなわち、電話番号表記の構成規則は式１１から式１４のいずれかに示される正規表現を用いて次のように記述できる。
電話番号構成規則
・連接する文節列のトークンを結合したものが式１１から式１４までのいずれかの正規表現に対し真となる。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【００９７】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な電話番号表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、電話番号表記であるという情報を付加しても良い。
《番地表記》
番号表記とは、例えば下記に示すようなものであり、文字数にヒューリスティックな制約が規定された３つの数詞単語を記号ハイフン、記号中点、文字”の”、もしくは文字”ノ”を区切り文字として結んだものである。
【００９８】
1-20-402
1・20・402
1ノ20ノ402
一の二十の四〇二
一ノ二十ノ四〇二
一-二十-四〇二
一・二十・四〇二
番地表記を正規表現で記述すると式１５までのように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【００９９】
数詞文字+ (記号ハイフン|記号中点|”の”|”ノ”) 数詞文字+ $1 数詞文字+  …（１５）
番地表記を構成する数詞単語におけるヒューリスティックな制約としては、”数詞単語の文字数は、1から4までが主である”、”先頭の数詞単語の文字数は1であることが主である”ということが推測される。
【０１００】
また、電話番号表記のための正規表現式、式１１から式１４までと、上記式１５では同時に真となる可能性がある。したがって、この場合には、”番地表記の場合、番号表記の直前が固有名詞であることが極めて多い”というヒューリスティックな仮説を用いることができる。
【０１０１】
すなわち、番地表記の構成規則は式１５に示される正規表現を用いて次のように記述できる。なお、補助規則は、電話番号表記と番地表記とを弁別するために用いるものである。
番地構成規則
・連接する文節列のトークンを結合したものが式１５の正規表現に対し真となる。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
番地構成補助規則
・先頭数詞単語の文字数は1である。
・数量表現の直前に固有名詞がある。
【０１０２】
上記構成規則および補助構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な番地表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、番地表記であるという情報を付加しても良い。
《範囲表記》
範囲表記とは、例えば下記に示すようなものであり、2つの数詞単語を記号ハイフン、文字、”〜”、もしくは文字列”から”を区切り文字として結んだものであり、区切り文字の両端の数詞単語は常に右側の数詞単語が左側の数詞単語より大きいという特性をもつ。
【０１０３】
56〜58
56から58
五十六〜五十八
五六〜五八
範囲表記を正規表現で記述すると式１６のように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【０１０４】
数詞文字+ (記号ハイフン|”〜”|”から”) 数詞文字+  …（１６）
範囲表記の構成規則は式１６に示される正規表現を用いて次のように記述できる。
範囲構成規則
・連接する文節列のトークンを結合したものが式１６の正規表現に対し真となる。
・区切り文字の両端の数詞単語は右側の数詞単語が左側の数詞単語より大きい。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【０１０５】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な範囲表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、範囲表記であるという情報を付加しても良い。
《並記表記》
並記表記とは、例えば下記に示すようなものであり、複数の数詞単語を記号コンマを区切り文字として結んだものである。数詞単語が示す値間の関係性は特に規定しないことが特徴となる。
【０１０６】
1,55,17,1000
一、五十五、十七、千
一、五五、一七、一〇〇〇
並記表記を正規表現で記述すると式１７のように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【０１０７】
数詞文字+ (記号コンマ 数詞文字+)+  …（１７）
並記表記の構成規則は式１７に示される正規表現を用いて次のように記述できる。
並記構成規則
・連接する文節列のトークンを結合したものが式１７の正規表現に対し真となる。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【０１０８】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な並記表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、並記表記であるという情報を付加しても良い。
なお、式５、式８、式９が真となる文字列(文節列)に対しては、式１７も真となる。ただし、整数表記と概数表記に関しては、構成規則に付加的な制約条件が付置されているため、弁別可能であるが、並記表記に関しては付加的な制約条件は付加されていない。したがって、並記表現の構成規則を整数表記および／もしくは概数表記の構成規則と同時に適用する場合には、並記表現の構成規則の優先順位を下げる必要があるものと考えられる。
《線形並記表記》
線形並記表記とは、例えば下記に示すようなものであり、構造は並記表記で同一であるが。数詞単語が示す値に線形関係があることを特徴とする。
【０１０９】
54,55,56,57
五十四、五十六、五十八、六十
〇、一〇、二〇、三〇
線形並記表記を正規表現で記述すると式１７のように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【０１１０】
線形並記表記の構成規則は式１７に示される正規表現を用いて次のように記述できる。
線形並記構成規則
・連接する文節列のトークンを結合したものが式１７の正規表現に対し真となる。
・各数詞単語が示す値に線形関係がある。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【０１１１】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な線形並記表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、線形並記表記であるという情報を付加しても良い。
《時間表記》
時間表記とは、例えば下記に示すようなものであり、三つの個々に値に関する制約をもつ数詞単語を記号コロンを区切り文字として結んだもの、もしくは前記個々に制約を有する数詞単語に固有の文字を付置したものである。数詞単語が有する制約は、先頭数詞単語の値は0以上24以下、その他の数詞単語の値は0以上59以下の値をとるということである。
【０１１２】
12:30:03
１２時３０分３秒
時間表記を正規表現で記述すると式１８もしくは式１９のように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。なお、時間表記及び日付表記の詳細な正規表現については、前述の文献（“正規表現、Jeffrey E. F. Friedl著（歌代和正監訳）、オライリージャパン（１９９９）”）に詳しい。
【０１１３】
数詞文字+ 記号コロン 数詞文字+ 記号コロン 数詞文字+  …（１８）
数詞文字+ ”時” 数詞文字+ ”分” 数詞文字+”秒”  …（１９）
時間表記の構成規則は式１８もしくは式１９に示される正規表現を用いて次のように記述できる。
時間構成規則
・連接する文節列のトークンを結合したものが式１８もしくは式１９の正規表現に対し真となる。
・先頭数詞単語の値は0以上24以下、その他の数詞単語の値は0以上59以下の値をとる。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【０１１４】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な時間表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、時間表記であるという情報を付加しても良い。
《日付表記》
日付表記とは、例えば下記に示すようなものであり、二もしくは三つの個々に制約をもつ数詞単語を記号スラッシュを区切り文字として結んだもの、もしくは前記個々に制約を有する数詞単語に固有の文字を付置したものである。数詞単語が有する制約は、数詞単語が三つの場合には、左側からそれぞれ、文字長が2もしくは4である、値が1以上12以下である、値が1以上31以下である、ということになる。また、二つに場合には、左側からそれぞれ、値が1以上12以下である、値が1以上31以下である、ということになる。なお、ここでの制約は、簡単化のため厳密性を多少低下させているが、より厳密な制約条件を設定することも可能である。
【０１１５】
2002/05/30
12/5/30
2000年5月30日
12年5月30日
日付表記を正規表現で記述すると式２０もしくは式２１のように記述できる。なお、本例では簡単のため、あまり厳密性を考慮していない正規表現例を例示しているが、さらに厳密に設計した正規表現を用いてもよい。
【０１１６】
(数詞文字+ 記号スラッシュ)? 数詞文字+ 記号スラッシュ 数詞文字+  …（２０）
(数詞文字+ ”年”)? 数詞文字+ ”分” 数詞文字+”秒”   …（２１）
日付表記の構成規則は式２０もしくは式２１に示される正規表現を用いて次のように記述できる。
日付構成規則
・連接する文節列のトークンを結合したものが式２０もしくは式２１の正規表現に対し真となる。
・数詞単語が三つの場合には、左側からそれぞれ、文字長が2もしくは4である、      値が1以上12以下である、および値が1以上31以下である。
・数詞単語が二つの場合には、左側からそれぞれ、値が1以上12以下である、および値が1以上31以下である。
・連接する文節において先頭文節の前方付属語および終端文節の後方付属語以外付属語は存在しない。
【０１１７】
上記構成規則を満足する文節列を同定し、前記文節再構成方法を適用すれば、適切な日付表記を有するトークンからなる文節が生成でき、この文節から適切な概念表現を生成することができる。さらに、この概念表現の意図表現情報として、日付表記であるという情報を付加しても良い。
［概念表現生成装置］
図２３は、トークン及びトークン間関係により概念表現を生成する装置のブロック図である。概念表現の対象となるテキスト入力手段１０１によりテキストが入力され、該テキストに対し言語解析手段１０２により言語解析が行われる。続いて、テキストデータ構造生成手段１０３が前記言語解析の結果得られたテキストの構造情報を基に、テキストを文、文節、単語、係り受け関係などの情報を含むデータ構造に変換する。該データ構造はテキストデータ構造記憶手段１０４で格納される。このとき記憶装置やデータベース６０６にテキストデータ構造が格納される。格納後、トークン抽出手段１０５によりトークンが抽出され、また、トークン間関係抽出手段１０６によりトークン間関係が抽出される。そして、概念表現生成手段１０７により係り受け関係に基づいた概念表現が生成される。
【０１１８】
図２４は、意図表現及び意図表現間関係により概念表現を生成する装置のブロック図である。同図中、図２３と同一構成部分には同一符号を用い、その説明は省略する。図２４では、トークンの代わりに意図表現を用い概念表現するため、意図表現抽出手段２０１及び意図表現間関係抽出手段２０２を有する点で図２３と異なる。
【０１１９】
これらの装置でトークン又は意図表現を用いた概念表現が生成できるが、これら２つの装置を組み合わせ、トークン及び意図表現を用いた概念表現を生成する装置も当然に想到できる。また、前記拡張トークンを抽出する装置や前記数詞表現を生成する装置も同様に想到できる。
［概念表現方法をコンピュータにより実行させるプログラム］
図２５は、概念表現方法をプログラムとして実行させるハードウェア（コンピュータ及び周辺装置）の一例である。キーボードやマウス等のポインティングデバイスからなる入力装置６０１、又はテキストが入力されている記憶装置６０２から、テキストが入力され、入出力制御部６０４を介し、システム全体を統括的に制御する主制御部（CPU）６０５にて本発明であるプログラムにより本発明が実行され、再び入出力制御部６０４を介して記憶装置６０６に格納される。入力中のテキストは表示装置６０３に表示することができ、生成された概念表現は表示装置６０３や出力装置６０７で出力できる。なお、本プログラムは記憶装置６０６に格納されている。本プログラムの配布段階又は実行段階においても、後述するコンピュータ読み取り可能なCD-ROMなどの記録媒体に格納されていても良い。
【０１２０】
図２の流れ図を元に本プログラムの内容を説明する。本発明の一実施形態では、主制御部６０５にて、言語解析処理を行い、図７のようなテキストデータ構造を生成し、該テキストデータ構造を記憶装置６０６に格納すると共に、トークン又はトークン間関係を抽出した後、概念表現を生成する処理を行う。
【０１２１】
本プログラムは、当然に、意図表現及び意図表現間関係による概念表現、並びに、トークン及び意図表現を組み合わせた概念表現、並びに拡張トークン及び数詞表現によるテキストデータ構造の修正を含んだ処理形式に拡張することができる。また、主制御装置及び記憶装置を備えた携帯電話で実行することもできる。
［概念表現方法をコンピュータに実行させるプログラムが記録された記録媒体］
図２６は、前述した概念表現方法をコンピュータに実行させるプログラムが記録された記録媒体の一例を示す。同図は、例として、プログラムのデータ信号列が記録されたCD-ROM７０１などの光ディスク及び光りピックアップ処理により該信号列を読み取る装置７０２を示す。
【０１２２】
本発明は、前記記録媒体に制限されるものではなく、コンピュータに読み取り可能なフロッピー（登録商標）ディスク、メモリーカードなどの磁気記録媒体など様々な形態をとり得る。
【図面の簡単な説明】
【０１２３】
【図１】本実施例による言語解析例である。
【図２】トークンによる概念表現生成方法の流れ図である。
【図３】意図表現による概念表現生成方法の流れ図である。
【図４】トークン及び意図表現による概念表現生成方法の流れ図である。
【図５】言語解析された後のテキストデータ構造を示す。
【図６】テキスト、文、文節等の各構成要素が保持する情報である。
【図７】単語リストの例である。
【図８】概念表現基本単間関係の抽出方法のフローチャートである。
【図９】拡張トークン抽出過程を含む概念表現生成方法の流れ図である。
【図１０】言語解析結果の一例である。
【図１１】接辞接合による拡張トークン生成手続きの疑似コードである。
【図１２】言語解析結果の一例である。
【図１３】名詞文節結合による拡張トークン生成手続きの疑似コードである。
【図１４】言語解析結果の一例である。
【図１５】動詞文節結合による拡張トークン生成手続きの疑似コードである。
【図１６】拡張トークンを含む単語リストの例である。
【図１７】テキストデータ構造修正手段を含むトークンによる概念表現生成過程の流れ図である。
【図１８】言語解析結果の一例である。
【図１９】構造修正前の数詞表現を含むテキストデータ構造の一例である。
【図２０】言語解析結果の一例である。
【図２１】構造修正後の数詞表現を含むテキストデータ構造の一例である。
【図２２】複数の文節を持つ係り受け関係の構造例である。
【図２３】トークン及びトークン間関係により概念表現を生成する装置のブロック図の一例
【図２４】意図表現及び意図表現間関係により概念表現を生成する装置のブロック図の一例である。
【図２５】概念表現方法をプログラムとして実行させるハードウェアの一例である。
【図２６】概念表現方法をコンピュータに実行させるプログラムが記録された記録媒体の一例である。
【符号の説明】
【０１２４】
１０１  テキスト入力手段
１０２  言語解析手段
１０３  テキストデータ構造生成手段
１０４  テキストデータ構造記憶手段
１０５  トークン抽出手段
１０６  トークン間関係抽出手段
１０７  概念表現生成手段
１０８  拡張トークン抽出手段
１０９  テキストデータ構造修正手段
２０１  意図表現抽出手段
２０２  意図表現間関係抽出手段
３０１  概念表現基本単位生成手段
３０２  概念表現基本単位間関係抽出手段
５０１  概念表現拡張関係情報記憶手段
６０１  入力装置
６０２  入力用記憶装置の例
６０３  表示装置
６０４  入出力制御部
６０５  主制御装置
６０６  記憶装置
６０７  出力装置
７０１  光ディスク
７０２  光ディスク読み取り装置
【図１】
2005063030.tif 000003
【図２】
2005063030.tif 000004
【図３】
2005063030.tif 000005
【図４】
2005063030.tif 000006
【図５】
2005063030.tif 000007
【図６】
2005063030.tif 000008
【図７】
2005063030.tif 000009
【図８】
2005063030.tif 000010
【図９】
2005063030.tif 000011
【図１０】
2005063030.tif 000012
【図１１】
2005063030.tif 000013
【図１２】
2005063030.tif 000014
【図１３】
2005063030.tif 000015
【図１４】
2005063030.tif 000016
【図１５】
2005063030.tif 000017
【図１６】
2005063030.tif 000018
【図１７】
2005063030.tif 000019
【図１８】
2005063030.tif 000020
【図１９】
2005063030.tif 000021
【図２０】
2005063030.tif 000022
【図２１】
2005063030.tif 000023
【図２２】
2005063030.tif 000024
【図２３】
2005063030.tif 000025
【図２４】
2005063030.tif 000026
【図２５】
2005063030.tif 000027
【図２６】
2005063030.tif 000028