(57)【要約】【課題】入力文中の記号について当該入力文の文脈に即した文字列を取得すると共に記号を文字列に変換するための辞書の作成コストを削減する。【解決手段】記号変換装置１において、役割特定手段１３は入力文１９中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から当該記号の役割を特定するための分類器である分類モデル１８とに基づき、当該記号の役割を特定する。変換文字列選択手段１４は役割特定手段１３によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列２０と決定する。【選択図】図１
2011180836.tif 000002
【特許請求の範囲】
【請求項１】
入力文に含まれる記号を文字列に変換する記号変換装置であって、
入力文中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から記号の役割を特定するための分類器とに基づき、当該記号の役割を特定する役割特定手段と、
前記役割特定手段によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列と決定する変換文字列選択手段と
を備えたこと
を特徴とする記号変換装置。
【請求項２】
学習用のテキスト集合に含まれるテキスト文書における記号と共起する語を用いて当該記号の役割に対応した語義の集合を抽出することにより前記語義辞書を生成する語義辞書生成手段をさらに備えたこと
を特徴とする請求項１に記載の記号変換装置。
【請求項３】
前記テキスト集合に含まれるテキスト文書中の単語の品詞と当該文書中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量を算出し、この算出した文特徴量と当該記号の役割との対応関係を学習することにより、前記分類器を作成する分類器生成手段をさらに備えたこと
を特徴とする請求項２に記載の記号変換装置。
【請求項４】
前記分類器生成手段は前記記号の文特徴の成分として前記語義辞書中の前記テキスト文書における記号の語義と当該テキスト文書中の語との意味的な類似度を加えた特徴量を算出し、この算出した文特徴量と当該記号の他の役割との対応関係を学習することにより、他の分類器を作成すること
を特徴とする請求項３に記載の記号変換装置。
【請求項５】
前記役割特定手段は入力文中の記号の文特徴量と前記他の分類器とに基づき当該記号の役割として内容添加、装飾、モダリティのいずれかを特定すること
を特徴とする請求項４に記載の記号変換装置。
【請求項６】
入力文に含まれる記号を文字列に変換する記号変換方法であって、
役割特定手段が、入力文中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から記号の役割を特定するための分類器とに基づき、当該記号の役割を特定するステップと、
変換文字列選択手段が、前記役割特定手段によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列と決定するステップと
を有すること
を特徴とする記号変換方法。
【請求項７】
語義辞書生成手段が学習用のテキスト集合に含まれるテキスト文書における記号と共起する語を用いて当該記号の役割に対応した語義の集合を抽出することにより前記語義辞書を生成するステップを
さらに有すること
を特徴とする請求項６に記載の記号変換方法。
【請求項８】
分類器生成手段が、前記テキスト集合に含まれるテキスト文書中の単語の品詞と当該文書中の記号の出現位置とを成分とする当該記号の文特徴量を算出し、この算出した文特徴量と当該記号の役割との対応関係を学習することにより前記分類器を作成するステップを
さらに有すること
を特徴とする請求項７に記載の記号変換方法。
【請求項９】
前記分類器生成手段が、前記記号の文特徴の成分として前記語義辞書中の前記テキスト文書における記号の語義と当該テキスト文書中の語との意味的な類似度を加えた特徴量を算出し、この算出した文特徴量と当該記号の他の役割と対応関係を学習することにより、他の分類器を作成するステップを
さらに有すること
を特徴とする請求項８に記載の記号変換方法。
【請求項１０】
請求項１から５のいずれか１項に記載の記号変換装置を構成する各手段としてコンピュータを機能させることを特徴とする記号変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子文書に含まれる記号を単語に変換するための技術に関する。
【背景技術】
【０００２】
キーボードからの入力を記号に変換する機能を持った入力端末から入力された文書に対し、入力された記号を、記号が表現する単語に変換する技術がある。
【０００３】
例えば、特許文献１に開示された変換技術によると、電子メールの文書を変換対象の文書とし、その電子メールアドレスのドメイン名に応じて、当該文書中の記号を文字列に変換する。記号は、一つの記号に一つの単語を与えた変換テーブルによって変換される。
【０００４】
また、特許文献２に開示された変換技術は、電子メールの文書を変換対象の文書とし、当該文書中に含まれる記号である絵文字に、複数の意味候補から絵文字の意味を表す単語を１つ選択し与えることで、文中の絵文字を文字列に変換する。記号の意味候補は、１つの記号に、記号の意味を示す複数の候補文字列を対応付けた変換用辞書によって与えられる。前記複数の意味候補の中から、対象文において、記号が表す意味を選択する方法として、複数の候補からユーザが選択する方法、複数の候補から置き換えられた頻度が高いものを選択する方法、複数の候補から自動的に１つを選択する方法のいずれかの方法で行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−９６４５４号公報
【特許文献２】特開２００３−２９６２４６号公報
【特許文献３】特開２００７−３１７１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、記号を単語に変換する際に、一つの記号に一つの単語を与えた変換テーブルによって変換しているので、記号が意味を持たないような場合や、一つの記号が複数の意味を持ち、一文中において、記号が持つ複数の意味のいずれかを表現しているような場合に、対応できない。
【０００７】
特許文献２では、一つの記号が複数の意味を持っている場合に対応できるものの、複数の候補から単語を自動的に選択する方法については記載されていない。また、記号が意味を持たないような場合については考慮されていない。
【０００８】
また、特許文献１も特許文献２も、変換テーブルや変換用辞書の自動生成については言及しておらず、人手で構築する必要があり、多大なコストを要する。
【課題を解決するための手段】
【０００９】
そこで、本発明は、入力文に含まれる記号に対し記号が表現する文字列を与える際に、１つの記号が、特に意味を持たない場合や、複数の意味候補を持つ場合に、文の特徴量を用いることにより、文中における記号を、記号が表す適切な文字列に変換する。また、記号の役割に対応した語義集合を格納した語義辞書を予め備えることで、記号の文脈に即した語義の集合を効率的に得ることができる。
【００１０】
本発明の記号変換装置の態様としては、入力文に含まれる記号を文字列に変換する記号変換装置であって、入力文中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から記号の役割を特定するための分類器とに基づき、当該記号の役割を特定する役割特定手段と、前記役割特定手段によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列と決定する変換文字列選択手段とを備える。
【００１１】
本発明の記号変換方法の態様としては、入力文に含まれる記号を文字列に変換する記号変換方法であって、役割特定手段が、入力文中の単語の品詞と入力文中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量と、任意の文特徴量から記号の役割を特定するための分類器とに基づき、当該記号の役割を特定するステップと、変換文字列選択手段が、前記役割特定手段によって特定された当該記号の役割に対応した語義集合を、記号の役割に対応した語義集合を格納した語義辞書から引き出し、この引き出した語義集合のうちで当該記号を語義に置換した当該入力文の文特徴と当該語義との類似度が最も大きい語義を当該記号の変換文字列と決定するステップとを有する。
【００１２】
前記記号変換装置及び記号変換方法において、前記分類器は、前記テキスト集合に含まれるテキスト文書中の単語の品詞と当該文書中の記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴量を算出し、この算出した文特徴量と当該記号の役割との対応関係を学習することにより作成するとよい。この分類器は記号の役割として内容語を特定するのに有効である。
【００１３】
また、前記記号の文特徴の成分として前記語義辞書中の前記テキスト文書における記号の語義と当該テキスト文書中の語との意味的な類似度を加えた特徴量を算出し、この算出した文特徴量と当該記号の他の役割との対応関係を学習することで他の分類器を作成してもよい。この分類器は記号の役割として内容添加、装飾、モダリティのいずれかを特定するに有効である。
【００１４】
尚、本発明は上記の記号変換装置を構成する各手段としてコンピュータを機能させる記号変換プログラムの態様とすることもできる。
【発明の効果】
【００１５】
以上の発明によれば入力文中の記号について当該入力文の文脈に即した文字列を取得できると共に記号を文字列に変換するための辞書の作成コストの削減が実現する。
【図面の簡単な説明】
【００１６】
【図１】発明の実施形態に係る記号変換装置のブロック構成図。
【図２】語義辞書生成手段による内容語語義辞書の作成手順を説明したチャート図。
【図３】語義辞書生成手段によるモダリティ語義辞書の作成手順を説明したチャート図。
【図４】役割分類モデル生成手段の動作例を説明したチャート図。
【図５】役割分類モデル生成手段による内容語役割分類モデルの作成手順を説明したチャート図。
【図６】役割分類モデル生成手段による内容添加役割分類モデルの作成手順を説明したチャート図。
【図７】役割分類モデル生成手段による装飾・モダリティ役割分類モデルの作成手順を説明したチャート図。
【図８】役割特定手段の動作例を説明したフローチャート図。
【図９】変換文字列選択手段の動作例を説明したフローチャート図。
【図１０】役割特定手段による内容語語義の特定手順を説明したチャート図。
【図１１】役割特定手段によるモダリティ語義の特定手順を説明したチャート図。
【図１２】テキスト集合の一例を説明した図。
【図１３】記号一覧の一例を説明した図。
【図１４】内容語語義辞書の一例を説明した図。
【図１５】モダリティ語義辞書の一例を説明した図。
【図１６】記号及びこれを含んだ文書の一例を示した図。
【図１７】発明の実施形態に係る記号変換装置を実装するハードウェア構成図。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１８】
［概要］
図１に示された発明の実施形態に係る記号変換装置１は入力された電子文書に含まれる一つの記号が特に意味を有しない場合や複数の意味候補を有する場合に当該記号の文特徴量に対応した役割情報に基づき当該記号を適切な文字列に変換する。
【００１９】
本実施形態で扱われる記号は記号一覧１５として定められたものを記号とする。記号は図１３に例示の記号一覧１５のような例えば携帯端末から入力可能な絵文字が挙げられる。
【００２０】
記号の役割については、予め定めたｎ種類の役割に限定するものとする。ここでは、例えば、以下の４つの役割であるとする。
（１）図１６（ａ）に例示された文書のように記号が内容語（名詞、動詞、形容詞の単語）の代わりとして用いられ、文中において内容語としての役割を果たす「内容語」としての役割。
（２）図１６（ｂ）に例示された文書のように記号が文中の内容語の繰り返しとして用いられる「内容添加」としての役割。
（３）図１６（ｃ）に例示された文書のように記号が本文の内容語に関係なく単なる飾りとして用いられる「装飾」としての役割。
（４）図１６（ｄ）に例示された文書のように記号が本文の内容に対して何かしらの感情表現を付加するために用いられる「モダリティ」としての役割。
【００２１】
記号は、役割によって変換の必要の有無があり、内容語、モダリティの役割の場合は、記号が文中において意味を持っているため変換の必要があるが、装飾、内容添加の場合は、記号が文中において意味を持っていないため変換の必要がないとする。
【００２２】
［記号変換装置１の構成］
記号変換装置１は図１７に示されたＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３、ハードディスクドライブ装置５４、Ｉ／Ｆ（入出力デバイス）５５等のハードウェアリソースを備える。このハードウェアリソースがソフトウェアリソース（ＯＳ、アプリケーション等）と協働することより図１に示された記号変換装置１を構成する語義辞書生成手段１１、役割分類モデル生成手段１２、役割特定手段１３、変換文字列選択手段１４とが実装される。
【００２３】
記号変換装置１を構成する各機能手段１１〜１４について説明する。
【００２４】
語義辞書生成手段１１は、学習用のテキスト集合１６に含まれるテキスト文書における記号一覧１５の記号と共起する語を用いて当該記号の語義の集合を抽出することで語義辞書１７を生成する。語義とは記号が内容語、モダリティの役割をなすときの語義辞書１７にて定義される当該記号の意味をなす語である。テキスト集合１６のテキスト文書には例えば図１２に示したように識別子（ＩＤ）と当該文書に含まれる記号の役割を示す役割情報が付されている。図１２に示された事例では内容語、内容添加、装飾、モダリティの４つの役割が設定されているが、役割の個数や定義はこの事例に限定されることなく変更が可能である。語義辞書１７には図１４，１５にそれぞれ例示された内容語義辞書２５，モダリティ語義辞書３３がある。
【００２５】
役割分類モデル生成手段１２は、テキスト集合１６に含まれるテキスト文書中の記号毎に当該文書中の単語の品詞と当該記号の出現位置とを成分とする特徴ベクトルである文特徴量を学習して、文特徴量から記号の役割を特定するための役割分類モデル１８を作成する。
【００２６】
役割分類モデル１８には図４を参照して説明される後述の内容語役割分類モデル４７、内容添加役割分類モデル４８、装飾・モダリティ役割分類モデル４９がある。
【００２７】
内容語役割分類モデル４７は記号の文特徴量から当該記号の役割として内容語を特定するための分類器である。当該分類器は記号を含む文書内の記号の前後の品詞情報と当該記号の出現位置とを成分とする特徴ベクトルである当該記号の文特徴と記号の役割との対応関係を学習して得られたものである。
【００２８】
内容添加役割分類モデル４８は、記号の文特徴量から当該記号の役割として内容添加の役割としての内容語を特定するための分類器である。当該分類器は、記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置と内容語語義辞書２５中の当該記号の語義と当該文書中の内容語との意味的な類似度とを成分とする特徴ベクトルである当該記号の文特徴量と記号の役割との対応関係を学習して得られたものである。
【００２９】
装飾・モダリティ役割分類モデル４９は、記号の文特徴量から当該記号の役割として装飾、モダリティの役割として内容語を特定するための分類器である。当該分類器は、記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置とモダリティ語義辞書３３中の当該記号の語義と当該文書中の内容語との意味的な類似度とを成分とする特徴ベクトルである当該記号の文特徴量と記号の役割との対応関係を学習して得られたものである。
【００３０】
役割特定手段１３は、入力文１９中の単語の品詞と入力文１９中の記号の出現位置とまたはさらに語義辞書１７中の当該記号の語義と当該文中の内容語との意味的な類似度を成分とする当該記号の文特徴量と、役割分類モデル１８とに基づき該記号の役割を特定する。
【００３１】
変換文字列選択手段１４は、入力文１９中の記号に対し、役割特定手段１３によって特定された当該記号の役割に基づき、語義辞書１７中の該記号の語義へ該記号を置換したときの該入力文と、該語義との類似度が最も大きい語義を変換文字列２０と決定する。
【００３２】
［記号変換装置１の動作例］
記号変換装置１は、予め作成された語義辞書１７、役割分類モデル１８を用いて、入力文１９に含まれる記号を適切な変換文字列２０に変換する。
【００３３】
［１］語義辞書生成手段１１による語義辞書１７（内容語語義辞書２５，モダリティ語義辞書３３）の作成
記号の表す文字列は、役割によって性質が異なるとする。例えば、内容語の役割のときの図１６（ｅ）に例示された「記号」は｛太陽、夏、朝、晴れ｝などの「内容語」の意味を有するものである。モダリティの役割のときの同「記号」は｛楽しい、嬉しい、美味しい｝などの「モダリティ」の意味を有するものである。そのため、役割によって語義辞書を用意する。ここでは、内容語は内容語語義辞書２５に格納され、モダリティはモダリティ語義辞書３３に格納される。語義辞書生成手段１１は内容語語義辞書２５及びモダリティ語義辞書３３の作成を行う。
【００３４】
図２を参照しながら語義辞書生成手段１１による内容語語義辞書の作成手順（Ｓ２１〜Ｓ２４）について説明する。ここでは図１６（ｂ）に例示された文書のように記号が当該文書中の内容語の繰り返しとして用いられる内容添加の役割の性質から、当該記号と共起する内容語を用いて、記号の内容語としての役割における語義の抽出を行う。
【００３５】
Ｓ２１：学習用のテキスト集合１６に含まれるテキスト文書の中の記号毎に（同一の記号が同一テキスト文書に重複して用いられている場合であっても記号毎に）、当該記号と共起する内容語を抽出する。
【００３６】
Ｓ２２：前記記号毎に、Ｓ２１で抽出された複数の内容語の中でも、類似しているものを集合にするため、クラスタリングを行う。クラスタリングを行うにあたり、特許文献３に開示された概念ベクトル推定方法で生成される概念ベクトル集合を用い、各内容語の概念ベクトルを算出し、ウォード法によってクラスタリングを行う。
【００３７】
Ｓ２３：前記記号毎に、Ｓ２２で抽出された内容語の集合から内容語語義として信頼度が高いものを得るために、特許文献３の手法で生成される当該記号のベクトルと当該集合の重心ベクトルの距離が閾値以内のものを当該記号の語義を表す語集合であるとして抽出する。
【００３８】
Ｓ２４：前記記号毎に、Ｓ２３で抽出された語集合の中から内容語語義として信頼度が高いものを得るために、当該語集合に含まれる各語の当該記号との文中での共起回数の平均が閾値以上のものを、当該記号の語義を表す語集合として抽出する。この抽出された語集合が内容語語義辞書２５である。内容語語義辞書２５は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。図１４に内容語語義辞書２５の一例を示した。
【００３９】
図３を参照しながら語義辞書生成手段１１によって実行されるモダリティ語義辞書の作成手順Ｓ３１〜Ｓ３２について説明する。ここでは図１６（ｆ）に例示された文書のような、記号と共起する感性語（形容詞）から、記号のモダリティとしての役割における語義の抽出を行う。
【００４０】
Ｓ３１：記号一覧１５の記号毎にテキスト集合１６のテキスト文書の中で当該記号と共起する感性語を抽出する。
【００４１】
Ｓ３２：前記記号毎に、当該記号と文中で一定数以上共起する感性語を、当該記号のモダリティ語義を表す語として抽出する。この抽出された語集合がモダリティ語義辞書３３である。モダリティ語義辞書３３は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。図１５にモダリティ語義辞書３３の一例を示す。
【００４２】
［２］役割分類モデル生成手段１２による役割分類モデル１８（内容語役割分類モデル４７，内容添加役割分類モデル４８，装飾・モダリティ役割分類モデル４９）の作成
役割分類モデル生成手段１２は、文中の各記号に対し４つの役割のいずれかが付与されたテキスト集合１６のデータを用いて学習を行うことにより、４つの役割（内容語，内容添加，装飾，モダリティ）のそれぞれについて分類を行うための分類器を生成する。この分類器は、４つの役割の一つ一つに対応して生成する。先ず、内容語とそれ以外を識別するもの、次に、内容添加とそれ以外を識別するもの、その次に、装飾とモダリティを識別するものの順に生成する。
【００４３】
学習の際は、各分類において分類を最も適切に行える記号に対する文特徴量を抽出し、学習を行う。分類器の生成の際は、既に分類済みの役割が付与された記号に関する学習データは用いない。本実施形態では学習の手法として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）の手法が適用される。
【００４４】
図４を参照しながら役割分類モデル生成手段１２による役割分類モデルの作成手順Ｓ４１〜Ｓ４６について説明する。
【００４５】
Ｓ４１：学習のために取得したテキスト集合１６の形態素解析を行う。
【００４６】
Ｓ４２：内容語を分類するための分類器である内容語役割分類モデル４７を生成する。
【００４７】
図５を参照しながらステップＳ４２における内容語役割分類モデル４７を生成する具体的な手順Ｓ５１，Ｓ５２について説明する。
【００４８】
内容語の役割は、例えば図１６（ａ）に示された「文書」のように、文書に含まれる「記号」が内容語（例えばビール）の代わりとして用いられ、当該文書において内容語としての役割を果たすものであるので、当該「記号」の前後の品詞情報に特徴がある。そこで、学習対象の記号に対しては、当該記号を含む文書内の記号の前後の品詞情報と当該記号の出現位置とを成分とする特徴ベクトルで示される当該記号の文特徴を学習することにより内容語役割分類モデル４７を生成する。
【００４９】
（Ｓ５１）ステップＳ４１によるテキスト集合１６の全文書の形態素解析結果から得られた記号毎に、当該記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。
【００５０】
（Ｓ５２）ステップＳ５１で抽出された記号の文特徴量と、記号の役割との対応関係を、ＳＶＭ法によって学習することで、任意の文特徴量から記号が内容語の役割を意味するものかまたはその他の役割を意味するものかを特定するための分類器を生成する。この生成された分類器が内容語役割分類モデル４７である。内容語役割分類モデル４７は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。
【００５１】
Ｓ４３：ステップＳ４２で内容語役割分類モデル４７が生成されたので、内容語の役割が付与された記号に関する学習データを削除する。
【００５２】
Ｓ４４：内容添加を分類するための分類器である内容添加役割分類モデル４８を生成する。
【００５３】
図６を参照しながらステップＳ４４における内容添加役割分類モデル４８を生成する具体的な手順Ｓ６１，Ｓ６２について説明する。
【００５４】
内容添加の役割は、例えば図１６（ｂ）に示された「文書」のように記号が文中の内容語の繰り返しとして用いられるので、文中の内容語のいずれかと、内容語語義辞書２５中の語義との意味的な類似度が非常に大きくなる。そこで、学習対象の記号に対しては、当該記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置と内容語語義辞書２５中の当該記号の語義と当該文書中の内容語との意味的な類似度とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。この記号の文特徴量を学習することにより内容添加役割分類モデル４８を生成する。
【００５５】
（Ｓ６１）ステップＳ４１によるテキスト集合１６の全文書の形態素解析結果から得られた記号毎に、当該記号を含む文書内の当該記号の前後の品詞情報と当該記号の出現位置とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。また、内容語語義辞書２５中の当該記号の語義の各々と前記文書の内容語各々との意味的な類似度の最大値を、前記決定された記号の文特徴量の成分として追加する。単語間の意味的な類似度は、特許文献３の手法で生成される概念ベクトル集合を用い、単語それぞれの概念ベクトルの間の内積によって算出できる。
【００５６】
（Ｓ６２）ステップＳ６１で抽出された記号の文特徴量と、記号の役割との対応関係を、ＳＶＭ法によって学習することで、任意の文特徴量から記号が内容添加の役割を意味するものかまたはその他の役割を意味するものかを特定するための分類器を生成する。この生成された分類器が内容添加役割分類モデル４８である。内容添加役割分類モデル４８は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。
【００５７】
Ｓ４５：ステップＳ４４で内容添加役割分類モデル４８が生成されたので、内容添加の役割が付与された記号に関する学習データを削除する。
【００５８】
Ｓ４６：装飾とモダリティを分類するための分類器である装飾・モダリティ役割分類モデル４９を生成する。
【００５９】
図７を参照しながらステップＳ４６における装飾・モダリティ役割分類モデル４９を生成する具体的な手順Ｓ７１，Ｓ７２について説明する。
【００６０】
装飾の役割は、図１６（ｃ）に例示された「文書」のように記号が本文の内容語に関係なく単なる飾りとして用いられるので、記号が文の両端に来る場合や、冒頭、末尾に来るという特徴がある。また、モダリティの役割は、図１６（ｄ）に例示した「文書」のように、記号が本文の内容に対して何かしらの感情表現を付加するために用いられるので、文中の内容語のいずれかと、モダリティ語義辞書３３中の語義との意味的な類似度が大きくなるという特徴がある。そこで、学習対象の記号については、当該記号を含む文書内の当該記号の前後の品詞情報と、当該記号の出現位置と、当該文書中の同一記号の出現位置と、モダリティ語義辞書３３中の当該記号の語義と当該文書中の内容語との意味的な類似度とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。そして、この文特徴を学習することにより装飾・モダリティ役割分類モデル４９を生成する。
【００６１】
（Ｓ７１）ステップＳ４１によるテキスト集合１６の全文書の形態素解析結果から得られた記号毎に、当該記号を含む文書内の当該記号の前後の品詞情報と、当該記号の出現位置と、当該文書中の同一記号の出現位置とを成分とする特徴ベクトルを当該記号の文特徴量として抽出する。また、モダリティ語義辞書３３中の当該記号の語義の各々と当該文書中の内容語各々との意味的な類似度の最大値を、前記決定された記号の文特徴量の成分として追加する。単語間の意味的な類似度は、特許文献３の手法で生成される概念ベクトル集合を用い、単語それぞれの概念ベクトルの間の内積によって算出できる。
【００６２】
（Ｓ７２）ステップＳ７１で抽出された記号の文特徴量と、記号の役割との対応関係を、ＳＶＭ法によって学習することで、任意の文特徴量から記号が装飾の役割か、モダリティの役割かを特定するための分類器を生成する。この生成された分類器が装飾・モダリティ役割分類モデル４９である。装飾・モダリティ役割分類モデル４９は記号変換装置１の記憶部（ハードディスクドライブ装置５４）に保存される。
【００６３】
以上のＳ４１〜４６の学習処理は学習対象であるテキスト集合１６の全ての文書に含まれる記号について実行される。
【００６４】
尚、上記の事例では分類モデル４７，４８，４９はそれぞれステップＳ４２，Ｓ４４，Ｓ４６で作成されているが、単一のステップすなわちステップＳ４２で内容語義辞書２５、モデリティ語義辞書３３を用いて内容語・内容添加・装飾・モダリティ役割分類モデルを作成するようにしてもよい。
【００６５】
［３］入力文１９に含まれる記号の変換文字列２０への変換
入力文１９に含まれる記号の文字列への変換の手順は、役割特定手段１３が当該記号の役割を特定する手順と、変換文字列選択手段１４が前記特定された記号の役割と語義辞書１７とに基づき当該記号を変換文字列２０に変換する手順とからなる。
【００６６】
（３−１）記号の役割を特定する手順
図８を参照しながら記号の役割の特定手順Ｓ８１〜Ｓ９０について説明する。
【００６７】
役割特定手段１３は、入力文１９を受けると、役割分類モデル生成手段１２で生成された３つの分類モデルを用いて、入力文１９に含まれる一記号の役割を特定する。具体的には、入力文１９中の一記号の文特徴量を抽出し、内容語役割分類モデル４７、内容添加役割分類モデル４８、装飾・モダリティ役割分類モデル４９の順で各分類モデルを用いて当該文特量に基づき当該記号の役割を特定する。具体的な特定手順を以下に説明する。
【００６８】
Ｓ８１：入力文１９の形態素解析を行う。
【００６９】
Ｓ８２：内容語の分類における文特徴量の抽出を行うため、Ｓ８１の形態素解析によって得られた入力文１９中の一記号の文特徴量を抽出する。文特徴の抽出には前述のステップＳ５１と同様の方法が適用される。
【００７０】
Ｓ８３：ステップＳ８２で抽出された文特徴量に基づき内容語役割分類モデル４７から当該記号の役割を特定する。
【００７１】
Ｓ８４：ステップＳ８３で特定された当該記号の役割が内容語である場合（Ｙｅｓ）、役割を抽出するステップＳ９０に移行し、当該記号の役割を内容語役割分類モデル４７から内容語と特定する。一方、前記特定された記号の役割が内容語でない場合（Ｎｏ）、ステップＳ８５での内容添加の分類における文特徴量の抽出に進む。
【００７２】
Ｓ８５：内容添加の分類における文特徴量の抽出を行うため、当該記号の文特徴量を抽出する。文特徴の抽出には前述のステップＳ６１と同様の方法が適用される。
【００７３】
Ｓ８６：ステップＳ８５で抽出された文特徴量に基づき内容添加役割分類モデル４８から当該記号の役割を特定する。
【００７４】
Ｓ８７：ステップＳ８６で特定された当該記号の役割が内容添加である場合（Ｙｅｓ）、役割を抽出するＳ９０に移行して、当該記号の役割を内容添加役割分類モデル４８から内容添加と特定する。一方、前記特定された記号の役割が内容添加でない場合（Ｎｏ）、装飾・モダリティの分類における文特徴量の抽出に進む。
【００７５】
Ｓ８８：装飾・モダリティの分類における文特徴量の抽出を行うため、当該記号の文特徴量を抽出する。文特徴の抽出には前述のステップＳ７１と同様の方法が適用される。
【００７６】
Ｓ８９：ステップＳ８８で抽出された文特徴量に基づき装飾・モダリティ役割分類モデル４９から当該記号の役割を特定する。その後、役割を抽出するステップＳ９０に移行する。
【００７７】
Ｓ９０：ステップＳ８３，８６，８９のいずれかで特定された当該記号の役割を各々の分類モデル４７，４８，４９から抽出する。すなわち、Ｓ８３で特定された当該記号の役割としての内容語を内容語役割分類モデル４７から引き出す。Ｓ８６で特定された当該記号の役割としての内容添加を内容添加役割分類モデル４８から引き出す。Ｓ８９で特定された当該記号の役割としての装飾・モダリティを装飾・モダリティ役割分類モデル４９から引き出す。
【００７８】
（３−２）記号を変換文字列２０に変換する手順
変換文字列選択手段１４は、入力文１９中の対象としている一記号に対し、役割特定手段１３によって特定された役割に基づき語義辞書１７（内容語義辞書２５，モダリティ語義辞書３３）から変換文字列２０を抽出することで当該記号の文字列への変換を行う。
【００７９】
図９を参照しながら記号の文字列への変換手順Ｓ９１〜Ｓ９６について説明する。
【００８０】
Ｓ９１：入力文１９とこの入力文中の一記号のステップＳ９０で役割特定手段１３によって抽出された役割を取得する。
【００８１】
Ｓ９２：ステップＳ９１で取得した記号の役割が内容語の役割であった場合（Ｙｅｓ）、ステップＳ９３に移行する。一方、内容語の役割でなかった場合（Ｎｏ）、ステップＳ９４に移行する。
【００８２】
Ｓ９３：前記取得された記号の内容語語義の特定を行う。
【００８３】
図１０を参照しながらステップＳ９３における内容語語義を特定する具体的な手順Ｓ１０１，Ｓ１０２について事例に基づき説明する。
【００８４】
（Ｓ１０１）入力文１９の対象としている一記号に対して内容語語義辞書２５中の当該記号の語義のそれぞれを代入した場合の入力文１９の特徴を抽出し、これを文特徴１０４とする。例えば、入力文１９が、図１６（ｇ）に例示された文書であったとする。図１４に示された内容語語義辞書２５から、図１６（ｅ）に示した記号部の語義集合は（語義ａ：太陽，語義ｂ：夏，語義ｃ：朝，…）である。次に、同記号部に当該記号の語義それぞれを代入した場合の、入力文｛文Ａ（語義ａ）：「午後には太陽がでるよ」，文Ｂ（語義ｂ）：「午後には夏がでるよ」，文Ｃ（語義ｃ）：「午後には朝がでるよ」，…｝の特徴である文特徴（文Ａの文特徴＝Ａ’，文Ｂの文特徴＝Ｂ’，文Ｃの文特徴＝Ｃ’，…）を算出する。文特徴は、特許文献３の手法で生成される概念ベクトル集合を用い、入力文１９中の各単語の概念ベクトルを算出し、これらの概念ベクトルの重心を入力文の特徴ベクトルとする。重心の算出は以下の式（１）による演算によって行う。
【００８５】
【数１】
2011180836.tif 000003
【００８６】
（Ｓ１０２）当該記号の各語義の概念ベクトルで定義された各語義の特徴（特徴［語義ａ：太陽］，特徴［語義ｂ：夏］，特徴［語義ｃ：楽しい］，…）と、ステップＳ１０１で抽出した該語義それぞれを代入した場合の入力文の文特徴１０３（文Ａの文特徴＝Ａ’，文Ｂの文特徴＝Ｂ’，文Ｃの文特徴＝Ｃ’，…）とを、語義毎に比較し、最も類似度の高い文特徴を持った語義を、変換文字列と決定する。例えば、語義ａについては、語義ａの特徴である概念ベクトルと、語義ａを入力文に代入した文Ａの文特徴Ａ’とを比較する。
【００８７】
Ｓ９４：ステップＳ９１で該記号の役割がモダリティの役割であった場合（Ｙｅｓ）、ステップＳ９５に移行する。モダリティの役割でなかった場合は、当該記号の役割は内容添加、あるいは、装飾であるため、語義は”無し”として特定して、ステップＳ９６に移行する。
【００８８】
Ｓ９５：当該記号のモダリティ語義の特定を行う。
【００８９】
図１１を参照しながらステップＳ９５におけるモリダリティ語義を特定する具体的な手順Ｓ１１１，Ｓ１１２について事例に基づき説明する。モダリティ語義の特定は、内容語語義の特定手順（Ｓ１０１，Ｓ１０２）と同じ方法で行われる。このとき、辞書はモダリティ語義辞書３３を用いる。
【００９０】
（Ｓ１１１）入力文１９の対象としている一記号に対してモダリティ語義辞書３３中の当該記号の語義のそれぞれを代入した場合の入力文１９の特徴を抽出し、これを文特徴１１３とする。
【００９１】
（Ｓ１１２）当該記号の各語義の概念ベクトルで定義された各語義の特徴と、ステップＳ１１１で抽出した該語義をそれぞれ代入した場合の入力文１９の文特徴１１３とを、語義毎に比較し、最も類似度の高い文特徴を持った語義を、変換文字列２０と決定する。
【００９２】
Ｓ９６：当該記号を、ステップＳ９３，Ｓ９４，Ｓ９５のいずれかで特定された語義に変換する。この語義が当該記号の変換文字列２０として出力される。変換文字列２０は記号変換装置１のＩ／Ｆ（入出力デバイス）５５を介して出力表示される。
【００９３】
［本実施形態の効果］
以上の記号変換装置１によれば、テキスト集合において、文中で記号と共起する語を用いるので、文中の記号について、文脈に即した語義の集合を取得できる。
【００９４】
また、記号の役割に対応した語義集合を格納した語義辞書を予め作成することで、記号の文脈に即した語義の集合が得られ、記号を文字列に変換するための辞書の作成コストの削減が実現する。
【００９５】
さらに、記号が出現するテキスト集合から獲得した文特徴量と記号の役割の関係性に基づき生成された記号の役割を特定するための分類器（内容語役割分類モデル４７，内容添加役割分類モデル４８，装飾・モダリティ役割分類モデル４９）に基づき役割の特定を行う。これにより、文中の記号について、文脈に即した役割を特定することができる。例えば、記号の役割として、内容語、内容添加、装飾、モダリティ等を特定できる。
【００９６】
また、記号の役割を特定した後に、変換文字列を決定することで、記号の役割が、変換すべき意味を持つ役割か、そうでない役割かを判別することができる。したがって、文中の記号について、変換すべき役割の記号のみを対応する文字列に変換し、そうでない記号を削除することができる。
【００９７】
［本発明のプログラムとしての態様］
本発明は、専用のハードウェアにより実現されるもの以外に、上述の記号変換装置１を構成する機能手段１１〜１８としてコンピュータを機能させる記号変換プログラムの態様とすることもできる。また、このプログラムを格納したコンピュータ読み取り可能な記録媒体も本発明の一態様となる。記録媒体としては、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭに例示されるような、図１７に示されたＣＰＵ５１が記録媒体読取装置５６を介して読み取り可能な周知の記録媒体５７が挙げられる。または、コンピュータシステムに内蔵されるハードディスクドライブ装置５４等の記憶装置が例示される。さらに、記録媒体としては、通信回線を介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように一定時間プログラムを保持しているものも含まれる。
【００９８】
尚、本発明は、以上の実施の形態に限定されることなく、明細書及び特許請求の範囲内において種々変更・応用が可能である。例えば、記号が用いられている言語の言語処理技術に適用可能である。
【符号の説明】
【００９９】
１…記号変換装置
１１…語義辞書生成手段
１２…役割分類モデル生成手段（分類器生成手段）
１３…役割特定手段
１４…変換文字列選択手段
１７…語義辞書
１８…役割分類モデル（分類器）
【図１】
2011180836.tif 000004
【図２】
2011180836.tif 000005
【図３】
2011180836.tif 000006
【図４】
2011180836.tif 000007
【図５】
2011180836.tif 000008
【図６】
2011180836.tif 000009
【図７】
2011180836.tif 000010
【図８】
2011180836.tif 000011
【図９】
2011180836.tif 000012
【図１０】
2011180836.tif 000013
【図１１】
2011180836.tif 000014
【図１２】
2011180836.tif 000015
【図１３】
2011180836.tif 000016
【図１４】
2011180836.tif 000017
【図１５】
2011180836.tif 000018
【図１６】
2011180836.tif 000019
【図１７】
2011180836.tif 000020