(57)【要約】【課題】カタカナ表記の末尾に、拡張パターンが接続されている場合であっても、これを適切に解析することができる形態素解析装置、カタカナ拡張表記辞書作成方法および形態素解析方法を提供する。【解決手段】入力された文字列を形態素に分割する形態素解析装置１のプロセッサ等と、形態素解析手段よって参照される形態素の表記および該表記の属性を登録した形態素辞書１３と、カタカナ表記末尾の拡張パターンと、当該拡張パターンが適用される拡張ルールを記述したカタカナ表記拡張ルール記憶手段１２と、形態素辞書１３に登録されたカタカナ表記末尾に拡張ルールを適用して、当該カタカナ表記を変形し、形態素辞書１３に登録されていない表記を得るカタカナ表記拡張部１１と、カタカナ表記拡張部１１によって得られた拡張表記を登録するためのカタカナ拡張表記辞書１４とを備えたことを特徴とする。【選択図】　　　図１
2004145842.tif 000002
【特許請求の範囲】
【請求項１】
入力された文字列を形態素に分割する形態素解析手段と、
前記形態素解析手段よって参照される形態素の表記および該表記の属性を登録した形態素辞書と、
カタカナ表記末尾の拡張パターンと、当該拡張パターンが適用される拡張ルールを記述したカタカナ表記拡張ルール記憶手段と、
前記形態素辞書に登録されたカタカナ表記末尾に前記拡張ルールを適用して、当該カタカナ表記を変形し、前記形態素辞書に登録されていない表記を得るカタカナ表記拡張手段と、
前記カタカナ表記拡張手段によって得られた拡張表記を登録するためのカタカナ拡張表記辞書と、
を備えたことを特徴とする形態素解析装置。
【請求項２】
前記カタカナ表記拡張手段において、前記カタカナ表記の属性である品詞が、前記拡張ルール記憶手段に記載された品詞と一致する場合にのみ、該表記を拡張して前記カタカナ拡張表記辞書に登録することを特徴とする請求項１に記載の形態素解析装置。
【請求項３】
前記形態素解析手段は、前記形態素辞書に加えて、前記カタカナ拡張表記辞書を参照することを特徴とする請求項１または２に記載の形態素解析装置。
【請求項４】
前記形態素解析手段は、前記形態素辞書による解析結果に、当該形態素辞書に未登録のカタカナ表記が含まれる場合にのみ、前記カタカナ拡張表記辞書を参照することを特徴とする請求項３に記載の形態素解析装置。
【請求項５】
前記表記手段による表記拡張により、前記形態素辞書に登録された表記末尾が変形するカタカナ表記について、表記拡張によって変化しない部分文字列を、前記形態素の属性として持ち、前記形態素解析部は、入力文字列に一致する表記がない場合に、不変化部と入力文字列の一致を確認し、一致する場合は、該不変化部に対応する表記を、前記表記拡張部に送ることを特徴とする請求項１から４の何れかに記載の形態素解析装置。
【請求項６】
カタカナ表記末尾の拡張パターンと、当該拡張パターンが適用される拡張ルールを、形態素辞書に登録されたカタカナ表記末尾に適用して、当該カタカナ表記を変形し、前記形態素辞書に登録されていない拡張表記を得る拡張カタカナ表記取得ステップと、
前記拡張カタカナ表記取得ステップによって得られた拡張表記をカタカナ拡張表記辞書に登録するカタカナ拡張表記登録ステップ、
を備えたことを特徴とするカタカナ拡張表記辞書作成方法。
【請求項７】
前記カタカナ表記拡張ステップにおいて、前記カタカナ表記の属性である品詞が、前記拡張ルールで定めた品詞と一致する場合にのみ、該表記を拡張して前記カタカナ拡張表記辞書に登録することを特徴とする請求項６に記載のカタカナ拡張表記辞書作成方法。
【請求項８】
形態素の表記および該表記の属性を登録した形態素辞書を参照して、入力された文字列を形態素に分割する形態素解析ステップと、
語尾が拡張された拡張カタカナ表記が登録されたカタカナ拡張表記辞書を参照して、上記形態素に分割した文字列を異なる形態素に分割する形態素解析ステップと、
を含む請求項６または７に記載の形態素解析方法。
【請求項９】
前記形態素解析ステップにおいて、前記形態素辞書による解析結果に、当該形態素辞書に未登録のカタカナ表記が含まれる場合にのみ、前記カタカナ拡張表記辞書を参照することを特徴とする請求項８に記載の形態素解析方法。
【請求項１０】
カタカナ表記についての属性に、表記拡張によって変化しない部分文字列を前記形態素の属性として前記形態素辞書に持ち、
前記形態素解析ステップにおいて、入力文字列に一致する表記がない場合に、不変化部と入力文字列の一致を確認し、一致する場合は、該不変化部に対応する表記を、前記カタカナ表記拡張ステップに渡すことを特徴とする請求項６から９の何れかに記載の形態素解析方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された文字列を形態素に分割して音声合成等に利用する形態素解析技術に関し、具体的にはカタカナ表記の末尾に、拡張パターンが接続されている場合であっても、これを適切に解析することができる形態素解析装置、カタカナ拡張表記辞書作成方法および形態素解析方法に関する。
【０００２】
【従来の技術】
日本語テキストの形態素解析において、カタカナ語の解析は、辞書に登録されていない語が多いという点で、大きな問題の一つである。
【０００３】
特に、英語の書名やタイトルなどを、そのままカタカナ表記にしたテキストの場合、通常は辞書登録されない複数形や過去形などの語尾変化形が原因となり、適切な解析結果が得られないという問題が生じる。特開２０００−３３９３１３公報においては、大量の対訳コーパスから、人手をかけずにカタカナ語を収集し、辞書登録することで増化するカタカナ語に対処している。
【０００４】
【発明が解決しようとする課題】
しかしながら、良質のコーパスを入手することは困難であるうえに、大量のカタカナ語を辞書本体に追加することで、辞書サイズの増化や、管理の負荷増大などの問題が生じる。また、コーパスから収集した表記では、網羅性に欠けるという問題もある。
【０００５】
本発明は、形態素辞書には手を加えずに、複数形や過去形などの語尾変化形を含むカタカナ文字列に対し、適切な解析結果を得ることができる形態素解析装置、カタカナ拡張表記辞書作成方法および形態素解析方法を提供することを目的とする。
【０００６】
本発明は、形態素辞書には手を加えずに、複数形や過去形などの語尾変化形を含むカタカナ文字列を辞書登録するカタカナ拡張表記辞書作成方法に関する。
【０００７】
【特許文献１】
特開２０００−３３９３１３号
【０００８】
【課題を解決するための手段】
本発明の形態素解析装置は、入力された文字列を形態素に分割する形態素解析手段と、前記形態素解析手段よって参照される形態素の表記および該表記の属性を登録した形態素辞書と、カタカナ表記末尾の拡張パターンと、当該拡張パターンが適用される拡張ルールを記述したカタカナ表記拡張ルール記憶手段と、前記形態素辞書に登録されたカタカナ表記末尾に前記拡張ルールを適用して、当該カタカナ表記を変形し、前記形態素辞書に登録されていない表記を得るカタカナ表記拡張手段と、前記カタカナ表記拡張手段によって得られた拡張表記を登録するためのカタカナ拡張表記辞書とを備えたことを特徴とする。
【０００９】
これにより、形態素辞書に登録されたカタカナ表記から、拡張ルールによって自動生成された拡張表記を、形態素辞書とは分離したカタカナ拡張表記辞書により管理することで、形態素辞書の管理に要する負荷を軽減することができる。なお、本発明のカタカナ表記は、特に英語の単語のカタカナ表記に適用されるが、いわゆる和製英語にかかるカタカナ表記にも適用することができる。カタカナ表記の末尾は、過去分詞、現在分詞等とした拡張カタカナ表記に変換される。
【００１０】
本発明の形態素解析装置では、前記カタカナ表記拡張手段は、カタカナ表記の属性である品詞が、前記拡張ルール記憶手段に記載された品詞と一致する場合にのみ、該表記を拡張して前記カタカナ拡張表記辞書に登録することができる。
【００１１】
この場合には、拡張対象の表記を品詞によって限定しているので、カタカナ拡張表記辞書のサイズを抑えることができる。
【００１２】
本発明の形態素解析装置では、前記形態素解析手段は、前記形態素辞書に加えて、前記カタカナ拡張表記辞書を参照することができる。これにより、形態素辞書本体とともにカタカナ拡張表記辞書を用いて解析を行なうことにより、通常は適切な解析結果が得られないようなカタカナ文字列に対して、適切な解析結果を得ることができる。
【００１３】
本発明の形態素解析装置では、前記形態素解析手段において、前記形態素辞書による解析結果に、当該形態素辞書に未登録のカタカナ表記が含まれる場合にのみ、前記カタカナ拡張表記辞書を参照することができる。これにより、自動作成された拡張表記による解析結果が、人手によって作成された形態素辞書による解析結果よりも優先されないようにし、より信頼性の高い結果を得ることができる。
【００１４】
さらに、本発明の形態素解析装置では、前記表記手段による表記拡張により、前記形態素辞書に登録された表記末尾が変形するカタカナ表記について、表記拡張によって変化しない部分文字列を、前記形態素の属性として持つことができる。
【００１５】
本発明のカタカナ拡張表記辞書作成方法は、カタカナ表記末尾の拡張パターンと、当該拡張パターンが適用される拡張ルールを、形態素辞書に登録されたカタカナ表記末尾に適用して、当該カタカナ表記を変形し、前記形態素辞書に登録されていない拡張表記を得る拡張カタカナ表記取得ステップと、前記拡張カタカナ表記取得ステップによって得られた拡張表記をカタカナ拡張表記辞書に登録するカタカナ拡張表記登録ステップを備えたことを特徴とする。また、本発明のカタカナ拡張表記辞書作成方法では、前記カタカナ表記拡張ステップにおいて、前記カタカナ表記の属性である品詞が、前記拡張ルールで定めた品詞と一致する場合にのみ、該表記を拡張して前記カタカナ拡張表記辞書に登録することができる。
【００１６】
本発明の形態素解析方法は、形態素の表記および該表記の属性を登録した形態素辞書を参照して、入力された文字列を形態素に分割する形態素解析ステップと、語尾が拡張された拡張カタカナ表記が登録されたカタカナ拡張表記辞書を参照して、上記形態素に分割した文字列を異なる形態素に分割する形態素解析ステップとを含むことを特徴とする。
【００１７】
本発明の形態素解析方法は、前記形態素解析ステップにおいて、前記形態素辞書による解析結果に、当該形態素辞書に未登録のカタカナ表記が含まれる場合にのみ、前記カタカナ拡張表記辞書を参照することができる。
【００１８】
さらに本発明の形態素解析方法では、カタカナ表記についての属性に、表記拡張によって変化しない部分文字列を前記形態素の属性として前記形態素辞書に持ち、前記形態素解析ステップにおいて、入力文字列に一致する表記がない場合に、不変化部と入力文字列の一致を確認し、一致する場合は、該不変化部に対応する表記を、前記カタカナ表記拡張ステップに渡すことができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態を詳細に説明する。
【００２０】
図１は、本発明の形態素解析装置におけるカタカナ表記拡張手段の一実施例を示す構成図である。
【００２１】
図１において、形態素解析装置１は、表記拡張部１１と、カタカナ表記拡張ルール記憶手段１２と、形態素辞書１３と、カタカナ拡張表記辞書１４とを含む。なお、図示はしないがこれらの解析処理は、ＣＰＵ等の適宜のプロセッサとＲＯＭ，ＲＡＭ等に記憶された解析プログラムにより実行され、これらＣＰＵ等やプログラムが本発明の形態素解析手段を構成する。
【００２２】
表記拡張部１１は、カタカナ表記拡張ルール記憶手段１２を参照して形態素辞書１３に登録されたカタカナ表記を拡張し、得られた拡張表記をカタカナ拡張表記辞書１４に格納する。図１に示すように、カタカナ表記拡張ルール記憶手段１２には、表２（ａ）〜（ｃ）を内容とする３つのサブセット１２１，１２２，１２３が設けられており、どのサブセット、あるいは幾つのサブセットを使用するかは、任意に選択可能とする。
【００２３】
表１は、形態素辞書１３に登録された「表記」と、その属性である「品詞」の記述例であり、表１ではカタカナ表記についてのみ示してある。
【００２４】
【表１】
2004145842.tif 000003
【００２５】
表２（ａ）〜（ｃ）では、各サブセット１２１，１２２，１２３は、それぞれ、「入力表記」と、「出力表記」と、「入力品詞」と、「出力品詞」との各欄をそなえている。「入力表記」はカタカナ表記の末尾と比較される表記であり、「出力表記」は拡張ルールが適用されたときの末尾の変換後表記である。本実施形態では、カタカナ表記を拡張する場合に、形態素辞書１３に登録されているカタカナ表記の形態素について適用されるもので、表２（ａ）〜（ｃ）の「入力品詞」は、表１の形態素辞書中の「表記」欄に記載されたカタカナ表記の品詞と比較され、これらが同一のときに、カタカナ表記末尾の拡張が行なわれる。表２（ａ）〜（ｃ）の「出力品詞」は、カタカナ表記末尾の拡張が行なわれたときの拡張後のカタカナ表記の品詞を示している。
【００２６】
【表２】
2004145842.tif 000004
【００２７】
以下、図２のフローチャートにより、形態素解析処理を説明する。ここでは、説明の便宜上、１つのサブセットのみについてのカタカナ末尾拡張を行なうものとする。
【００２８】
まず、形態素辞書１３（表１参照）中のカタカナ表記を取り出す（Ｓ１０１）。ここでは、カタカナ表記はカタカナ拡張表記辞書１４に未だ登録されていないものとする。つぎに、表２（ａ）〜（ｃ）で、先頭のルールから順に、対象となるカタカナ表記末尾が、各行の「入力表記」（→の左側）と一致するか否かをチェックする（Ｓ１０３）。一致しないときは、処理をＳ１０１に戻し、処理すべきカタカナ表記がないときには処理を終了する（Ｓ１０２）。Ｓ１０３において、対象となるカタカナ表記末尾が、ある行の「入力表記」と一致するときは、対象となるカタカナ表記の品詞がサブセットの「入力品詞」と一致するか否かをチェックする（Ｓ１０４）。一致しないときは、処理をＳ１０１に戻し、処理すべきカタカナ表記がないときには処理を終了する（Ｓ１０２）。Ｓ１０４において、対象となるカタカナ表記の品詞がサブセットの「入力品詞」と一致するときは、対象となるカタカナ表記末尾を出力表記に変換し（Ｓ１０５）、これを「出力品詞」に書き込まれている品詞とともに、カタカナ拡張表記辞書１４に格納する（Ｓ１０６）。この後、処理をＳ１０１に戻し、処理すべきカタカナ表記がないときには処理を終了する（Ｓ１０２）。
【００２９】
なお、各サブセットの末尾ルールにおける入力表記「φ」は、対象となるカタカナ表記の末尾に、該ルールに記載された出力表記を付加することを意味する。
【００３０】
形態素解析装置１においては、末尾文字列のチェックに加えて、該カタカナ表記の属性として形態素辞書に記載された品詞と、拡張ルールの入力品詞が一致するかどうかもチェックすることができる。なお、表２（ａ）において、入力品詞における「＊」はワイルドカードで、「＊名詞」は品詞名の末尾が名詞である場合（サ変名詞・副詞的名詞等、その他人名・姓・名・地名・固有名詞）に一致することを意味する。
【００３１】
表３は、表２（ａ）〜表２（ｃ）の全てのルールを用いて、表１のカタカナ表記を拡張した場合のカタカナ拡張表記辞書の例である。ここでは、品詞による拡張表記の制限を行っている。
【００３２】
【表３】
2004145842.tif 000005
【００３３】
まず、「アプリケーション」なる表記を対象とした場合の表記拡張処理の具体例を示す。表２（ａ）においては同表記の末尾に一致する入力表記は記述されていないため、末尾のルールが適用されて、拡張表記「アプリケーションズ」が得られ、カタカナ拡張表記辞書１４に格納される。
【００３４】
表２（ｂ）においても同様に末尾のルールが適用可能であるが、このルールが適用されるべき入力品詞が「サ変名詞」であるのに対し、「アプリケーション」の品詞は表１を参照すると「普通名詞」であるため、拡張表記「アプリケーションド」はカタカナ拡張表記辞書に格納されない。
【００３５】
表２（ｃ）においては、入力表記「ン」のルールが適用可能だが、このルールが適用されるべき入力品詞が「サ変名詞」であるので、やはり品詞が一致しないため、拡張表記「アプリケーショニング」はカタカナ拡張表記辞書１４に格納されず、拡張辞書のサイズを抑えることができる。
【００３６】
次に、「オート」を対象表記とした場合、表２（ａ）〜表２（ｃ）のいずれにおいても入力表記「ト」のルールが適用可能だが、このルールが適用されるべき入力品詞が「接頭辞」であるので、いずれも品詞が一致しないため、拡張表記「オーツ」「オーティド」「オーティング」はいずれもカタカナ拡張表記辞書１４に格納されず、やはり拡張辞書のサイズを抑えることができる。
【００３７】
図３は、形態素解析装置における他の実施形態を示す構成図である。図３において形態素解析装置２は、形態素解析部２１と、形態素辞書２２と、カタカナ拡張表記辞書２３とを含む。
【００３８】
形態素解析部２１は、形態素辞書２２およびカタカナ拡張表記辞書２３を参照しながら入力文字列を解析し、形態素列を出力する。
【００３９】
図３における形態素解析装置２による処理を以下に説明する。図３において、形態素解析部２１が、入力文字列を入力すると、まず形態素辞書２２を参照して形態素解析を行なう。つぎに、入力文字列にカタカナ表記の形態素が含まれている場合において、当該カタカナ表記の形態素が形態素辞書２２に含まれているときは、形態素辞書２２による解析を行なうがカタカナ拡張表記辞書２３による解析は行なわない。入力されたカタカナ表記の形態素が形態素辞書２２に含まれていないときは、カタカナ拡張表記辞書２３を参照して入力文字列を解析する。入力されたカタカナ表記の形態素がカタカナ表記の形態素が形態素辞書２２、カタカナ拡張表記辞書２３の何れにも含まれないときは、形態素解析部２１は、未登録形態素としての処理を行なう。
【００４０】
以下は、入力文字列として与えられるカタカナ文字列の例である。
（Ａ−１）　アプリケーションズパッケージ
（Ｂ−１）　フレキシブルプリンティドサーキット
（Ｃ−１）　オートフォーカシングシステム
（Ｄ−１）　フォーカストラック
【００４１】
表１の形態素辞書のみを参照した上記文字列の解析結果を以下に示す。ここでは、本実施形態が想定する形態素解析処理では、同一文字種の連続において、たとえば「／登録語／未登録語／登録語／．．．」となるような解析を行わず、未登録語以降、次の異なる文字種（ここでは、カタカナ以外の文字）までの全体を未登録語として切り出すものとする。
【００４２】
この拡張ルールをそのまま適用した場合、（Ａ−２）（Ｂ−２）（Ｃ−２）においては、それぞれ「アプリケーション」「プリント」「フォーカス」の語尾変化形が原因となり、未登録語「ズパッケージ」、「プリンティドサーキット」、「フォーカシングシステム」が生成され、適切な解析結果が得られていない。なお、（Ｄ−２）においては、未登録語を含まない解析結果が得られる。
【００４３】
（Ａ−２）　／アプリケーション（普通名詞）／ズパッケージ／
（Ｂ−２）　／フレキシブル（形容動詞）／プリンティドサーキット／
（Ｃ−２）　／オート（接頭辞）／フォーカシングシステム／
（Ｄ−２）　／フォーカス（普通名詞）／トラック（普通名詞）／
以下は、表１の形態素辞書と表３のカタカナ拡張表記辞書を参照して上記文字列を解析した場合の解析結果の例である。（Ａ−３），（Ｂ−３），（Ｃ−３）において、それぞれ拡張表記によって適切な解析結果が得られる。
【００４４】
（Ａ−３）　／アプリケーションズ（普通名詞）／パッケージ（サ変名詞）／（Ｂ−３）　／フレキシブル（形容動詞）／プリンティド（普通名詞）／サーキット（普通名詞）／
（Ｃ−３）　／オート（接頭辞）／フォーカシング（普通名詞）／システム（普通名詞）／
【００４５】
なお、（Ｄ−１）に対しては形態素辞書のみによる解析によって、未登録語を含まない解析結果（Ｄ−２）が得られているため、カタカナ拡張表記辞書を参照する解析は行わないので、
（Ｄ−３）　／フォーカスト（普通名詞）／ラック（普通名詞）／
といった解析結果は生じない。
【００４６】
ところで、（Ｂ−１）「フレキシブルプリンティドサーキット」および（Ｃ−１）「オートフォーカシングシステム」については、形態素辞書の登録語である「プリント」「フォーカス」に一致する文字列が含まれない。このため、表１に示したような形態素辞書の構成では、表記拡張が行なわれないことになる。このようなことを想定して、表４に示すような構成の形態素辞書を備えることで、表記拡張を行なうことができる。
【００４７】
【表４】
2004145842.tif 000006
【００４８】
ここでは、表記拡張により、形態素辞書に登録された表記末尾が変形する可能性がある場合には、表記拡張によって変化しない部分文字列（不変化部）を、該形態素の属性として持つものとする。
【００４９】
たとえば、「フォーカス」に対しては「フォーカ」が、「プリント」に対しては「プリン」が不変化部となる。形態素解析部は、入力文字列に一致する表記がない場合に、不変化部と入力文字列の一致を確認し、一致する場合は、該不変化部に対応する表記を、表記拡張部に送る。
【００５０】
（Ｂ−１）では、「プリンティドサーキット」の「プリン」が「プリント」の不変化部に一致するため、表記拡張部に「プリント」が送られ、図４−２の「ト→ティド」が適用されて拡張表記「プリンティド」が得られ、この拡張表記を用いて解析することで、解析結果（Ｂ−３）が得られる。
【００５１】
（Ｃ−１）では、「フォーカシングシステム」の「フォーカ」が「フォーカス」の
不変化部に一致するため、表記拡張部に「フォーカス」が送られ、図４−３の「ス→シング」が適用されて拡張表記「フォーカシング」が得られ、この拡張表記を用いて解析することで、解析結果（Ｃ−３）が得られる。
【００５２】
【発明の効果】
本発明では、人手によって作成された形態素辞書と、拡張ルールによって自動生成されたカタカナ拡張表記辞書を分離したので、形態素辞書の登録数が不用意に大きなることはなく、また管理に要する負荷を低減することができる。
【００５３】
また、カタカナ表記を全て登録せずに、語尾変化に着目して特定のルールにより拡張されたカタカナ表記のみを登録することにしたので、カタカナ拡張表記辞書のサイズを抑えることができる。
【００５４】
さらに、形態素解析において、形態素辞書にないカタカナ文字について、カタカナ拡張表記辞書を参照するようにでき、通常は適切な解析結果が得られないようなカタカナ文字列に対しても適正な（すなわち、信頼性が高い）解析が可能となる。
【図面の簡単な説明】
【図１】図１は、本発明の形態素解析装置におけるカタカナ表記拡張手段の一実施例を示す構成図である。
【図２】形態素解析処理を示すフローチャートである。
【図３】形態素解析装置における他の実施形態を示す構成図である。
【符号の説明】
１、２　形態素解析装置
１１　表記拡張部
１２　カタカナ表記拡張ルール記憶手段
１３，２２　形態素辞書
１４，２３　カタカナ拡張表記辞書
１２１，１２２，１２３　カタカナ表記拡張ルール記憶手段のサブセット
２１　形態素解析部
【図１】
2004145842.tif 000007
【図２】
2004145842.tif 000008
【図３】
2004145842.tif 000009