(57)【要約】【課題】辞書に登録すべき優先度の高い候補語を精度よく抽出することができるようにする。【解決手段】入力部１１０が、単語の表記である登録候補語と、当該登録候補語の読みとの入力を受け付け、登録候補判定部１３０により、当該登録候補語の読みと、形態素解析部１２０が当該登録候補語に対して形態素解析を行うことにより得られた登録候補語の読みとが同一でないと判定された場合に、汎用語判定部１５０が、テキスト群に対する登録候補語の出現頻度を算出し、出現頻度が閾値以上である場合に、登録候補語を辞書に登録すべき新語の候補であると判定する。【選択図】図２
2020166509.tif 000002
【特許請求の範囲】
【請求項１】
単語の表記である登録候補語と、前記登録候補語の読みとの入力を受け付ける入力部と、
前記登録候補語に対して形態素解析を行う形態素解析部と、
前記入力された前記登録候補語の読みと、前記形態素解析部により得られた前記登録候補語の読みとが同一であるか否かを判定する登録候補判定部と、
前記登録候補判定部により同一でないと判定された場合に、テキスト群に対する前記登録候補語の出現頻度を算出し、前記出現頻度が閾値以上である場合に、前記登録候補語を辞書に登録すべき新語の候補であると判定する汎用語判定部と、
を含む新語候補抽出装置。
【請求項２】
前記登録候補判定部は、更に、前記入力された前記登録候補語の読みと、前記形態素解析部により得られた前記登録候補語の読みとが同一である場合、前記形態素解析部により得られた前記登録候補語の品詞に未知語を示す品詞が含まれているか否かを判定し、
前記汎用語判定部は、更に、前記登録候補判定部により前記登録候補語の品詞に未知語を示す品詞が含まれていると判定された場合に、テキスト群に対する前記登録候補語の出現頻度を算出し、前記出現頻度が閾値以上である場合に、前記登録候補語を辞書に登録すべき新語の候補であると判定する
請求項１記載の新語候補抽出装置。
【請求項３】
前記新語の候補は、前記形態素解析で用いられる辞書に登録すべき新語の候補である請求項１又は２記載の新語候補抽出装置。
【請求項４】
入力部が、単語の表記である登録候補語と、前記登録候補語の読みとの入力を受け付け、
形態素解析部が、前記登録候補語に対して形態素解析を行い、
登録候補判定部が、前記入力された前記登録候補語の読みと、前記形態素解析部により得られた前記登録候補語の読みとが同一であるか否かを判定し、
汎用語判定部が、前記登録候補判定部により同一でないと判定された場合に、テキスト群に対する前記登録候補語の出現頻度を算出し、前記出現頻度が閾値以上である場合に、前記登録候補語を辞書に登録すべき新語の候補であると判定する
新語候補抽出方法。
【請求項５】
入力部が、単語の表記である登録候補語と、前記登録候補語の読みとの入力を受け付け、
形態素解析部が、前記登録候補語に対して形態素解析を行い、
登録候補判定部が、前記入力された前記登録候補語の読みと、前記形態素解析部により得られた前記登録候補語の読みとが同一であるか否かを判定し、
汎用語判定部が、前記登録候補判定部により同一でないと判定された場合に、テキスト群に対する前記登録候補語の出現頻度を算出し、前記出現頻度が閾値以上である場合に、前記登録候補語を辞書に登録すべき新語の候補であると判定する
ことを含む処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、新語候補抽出装置、新語候補抽出方法、及びプログラムに係り、特に、辞書に登録すべき新語の候補を抽出するための新語候補抽出装置、新語候補抽出方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から、形態素解析において、新しい語（以下、新語）に追随することは、解析精度を保つうえで重要な要素であることが知られている。従来研究としてｗｉｋｉｐｅｄｉａやＷｅｂテキスト等から新語を獲得する手法が検討されている（例えば、非特許文献１）。非特許文献１の手法は、完全に自動で新語を辞書に登録する想定の技術である。形態素解析に用いる辞書に登録すべきか否かの判定は「未定義語一語になる」、「形態素解析結果が一文字形態素のみからなる」、「複数のカタカナ語形態素からなる語のうち、語とその主辞の分布類似度が低いもの」というルールで実施している。
【０００３】
また、関連する研究として、形態素よりも長い固有名詞や複合語を収集した辞書を作成する方式についても報告されている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】柴田知秀，村脇有吾，黒橋禎夫，河原大輔，“実テキスト解析をささえる語彙知識の自動獲得”，言語処理学会第１８回年次大会発表論文集，２０１２，ｐ．ｐ．８１−８４．
【非特許文献２】佐藤敏紀，橋本泰一，奥村学，単語分かち書き用辞書生成システムＮＥｏｌｏｇｄの運用−文書分類を例にして−，情報処理学会研究報告  Ｖｏｌ．２０１６−ＮＬ−２２９，Ｎｏ．１５，２０１６．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１に示すルールだけでは、一般にあまり使われていない語等、優先度の低い語が辞書に多数含まれてしまうため、辞書を用いた形態素解析の精度が低くなってしまう、という問題があった。
【０００６】
また、非特許文献２では、文書分類や情報抽出等の言語処理の応用タスク向けとなっており、形態素解析辞書という観点はない。そのため、形態素解析に悪影響を及ぼす表現も辞書に多数含まれてしまうため、辞書を用いた形態素解析の精度が低くなってしまう、という問題があった。例えば、「ごめんね、ママ」（歌のタイトル）という語がＮＥｏｌｏｇｄの辞書に含まれているが、この語は歌のタイトルではない文脈でも出現する表現である。この例のような語は、形態素解析辞書に登録する語としてはふさわしくない。
【０００７】
更に、形態素解析の精度担保の観点から、新語か否かの判定は最終的には人手により判断することが望ましく、大量の登録語候補を全て人手で確認することはコストが大きい、という問題があった。
【０００８】
本発明は上記の点に鑑みてなされたものであり、辞書に登録すべき優先度の高い候補語を精度よく抽出することができる新語候補抽出装置、新語候補抽出方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る新語候補抽出装置は、単語の表記である登録候補語と、前記登録候補語の読みとの入力を受け付ける入力部と、前記登録候補語に対して形態素解析を行う形態素解析部と、前記入力された前記登録候補語の読みと、前記形態素解析部により得られた前記登録候補語の読みとが同一であるか否かを判定する登録候補判定部と、前記登録候補判定部により同一でないと判定された場合に、テキスト群に対する前記登録候補語の出現頻度を算出し、前記出現頻度が閾値以上である場合に、前記登録候補語を辞書に登録すべき新語の候補であると判定する汎用語判定部と、を備えて構成される。
【００１０】
また、本発明に係る新語候補抽出方法は、入力部が、単語の表記である登録候補語と、前記登録候補語の読みとの入力を受け付け、形態素解析部が、前記登録候補語に対して形態素解析を行い、登録候補判定部が、前記入力された前記登録候補語の読みと、前記形態素解析部により得られた前記登録候補語の読みとが同一であるか否かを判定し、汎用語判定部が、前記登録候補判定部により同一でないと判定された場合に、テキスト群に対する前記登録候補語の出現頻度を算出し、前記出現頻度が閾値以上である場合に、前記登録候補語を辞書に登録すべき新語の候補であると判定する。
【００１１】
また、本発明に係るプログラムは、入力部が、単語の表記である登録候補語と、前記登録候補語の読みとの入力を受け付け、形態素解析部が、前記登録候補語に対して形態素解析を行い、登録候補判定部が、前記入力された前記登録候補語の読みと、前記形態素解析部により得られた前記登録候補語の読みとが同一であるか否かを判定し、汎用語判定部が、前記登録候補判定部により同一でないと判定された場合に、テキスト群に対する前記登録候補語の出現頻度を算出し、前記出現頻度が閾値以上である場合に、前記登録候補語を辞書に登録すべき新語の候補であると判定することを含む処理をコンピュータに実行させる。
【００１２】
本発明に係る新語候補抽出装置、新語候補抽出方法及びプログラムによれば、入力部が、単語の表記である登録候補語と、当該登録候補語の読みとの入力を受け付け、形態素解析部が、登録候補語に対して形態素解析を行い、登録候補判定部が、入力された登録候補語の読みと、形態素解析部により得られた登録候補語の読みとが同一であるか否かを判定する。
【００１３】
そして、汎用語判定部が、登録候補判定部により同一でないと判定された場合に、テキスト群に対する登録候補語の出現頻度を算出し、出現頻度が閾値以上である場合に、当該登録候補語を辞書に登録すべき新語の候補であると判定する。
【００１４】
このように、単語の表記である登録候補語と、当該登録候補語の読みとの入力を受け付け、当該登録候補語の読みと、当該登録候補語に対して形態素解析を行うことにより得られた表記の読みとが同一でないと判定された場合に、テキスト群に対する登録候補語の出現頻度を算出し、出現頻度が閾値以上である場合に、登録候補語を辞書に登録すべき新語の候補であると判定することにより、辞書に登録すべき優先度の高い候補語を精度よく抽出することができる。
【００１５】
また、本発明に係る新語候補抽出装置の前記登録候補判定部は、更に、前記入力された前記登録候補語の読みと、前記形態素解析部により得られた前記登録候補語の読みとが同一である場合、前記形態素解析部により得られた前記登録候補語の品詞に未知語を示す品詞が含まれているか否かを判定し、前記汎用語判定部は、更に、前記登録候補判定部により前記登録候補語の品詞に未知語を示す品詞が含まれていると判定された場合に、テキスト群に対する前記登録候補語の出現頻度を算出し、前記出現頻度が閾値以上である場合に、前記登録候補語を辞書に登録すべき新語の候補であると判定することができる。
【００１６】
また、本発明に係る新語候補抽出装置の前記新語の候補は、前記形態素解析で用いられる辞書に登録すべき新語の候補であるとすることができる。
【発明の効果】
【００１７】
本発明の新語候補抽出装置、新語候補抽出方法、及びプログラムによれば、辞書に登録すべき優先度の高い候補語を精度よく抽出することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係る新語候補抽出装置として機能するコンピュータの概略構成を示すブロック図である。
【図２】本発明の実施の形態に係る新語候補抽出装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る形態素解析部による解析結果の第１の例を示す概略図である。
【図４】本発明の実施の形態に係る形態素解析部による解析結果の第２の例を示す概略図である。
【図５】本発明の実施の形態に係る形態素解析部による解析結果の第３の例を示す概略図である。
【図６】本発明の実施の形態に係る新語候補抽出装置の新語候補抽出処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を用いて説明する。
＜本発明の実施の形態に係る新語候補抽出装置の概要＞
本実施の形態では、登録候補語を形態素解析した際の結果に着目し、（１）登録候補語の形態素解析結果、及び（２）登録候補語の「読み」と、登録候補語を形態素解析した際に出力される「読み」との差分を用いたフィルタルールを導入することで、人手チェックのコストを低減する新語候補抽出手法を実現する。ここで、上記（１）登録候補語の形態素解析結果は、形態素の読みを得るだけでなく、形態素解析誤りの原因になりそうな語を選定する目的で用いられ、上記（２）「読み」の差分は、辞書に登録されている語と読みや語義が異なる新語を選定する目的で行う処理である。
【００２０】
＜本発明の実施の形態に係る新語候補抽出装置の構成＞
図１及び図２を参照して、本発明の実施の形態に係る新語候補抽出装置１の構成について説明する。図１は、本発明の実施の形態に係る新語候補抽出装置１として機能するコンピュータの概略構成を示すブロック図である。図２は、本発明の実施の形態に係る新語候補抽出装置１の構成を示すブロック図である。
【００２１】
図１に示すように、新語候補抽出装置１は、ＣＰＵ１１と、ＲＡＭ等のメモリ１２と、通信インターフェース（ＩＦ）部１３と、キーボード等の入力部１４と、ディスプレイ等の表示部１５と、後述する新語候補抽出処理ルーチンを実行するためのプログラム１７を記憶したＲＯＭ等の記憶部１６とを備えたコンピュータで構成されている。また、ＣＰＵ１１、メモリ１２、通信ＩＦ部１３、入力部１４、表示部１５、及び記憶部１６は、バス１０を介して接続されている。また、通信ＩＦ部１３は、ＬＡＮケーブル等の通信回線により外部端末と接続することができる。
【００２２】
図２に示すように、本実施形態に係る新語候補抽出装置１は、入力部１１０と、形態素解析部１２０と、登録候補判定部１３０と、テキスト群記憶部１４０と、汎用語判定部１５０と、出力部１６０とを備えて構成される。
【００２３】
入力部１１０は、単語の表記である登録候補語と、当該登録候補語の読みとの入力を受け付ける。具体的には、登録候補語は、形態素解析の辞書に登録する候補である単語である。以下、登録候補語及び当該登録候補語の読みとして、(例１）登録候補語「豆苗」、及び読み「トウミョウ」、（例２）登録候補語「いぶりがっこ」、及び読み「イブリガッコ」、（例３）登録候補語「藤山勇司」、及び読み「フジヤマユウジ」を例に説明する。なお、入力部１１０は、当該登録候補語の品詞情報や標準表記等の形態素情報の入力を更に受け付ける構成としてもよい。そして、入力部１１０は、受け付けた登録候補語及び当該登録候補語の読みを、形態素解析部１２０及び登録候補判定部１３０に渡す。
【００２４】
形態素解析部１２０は、登録候補語に対して形態素解析を行う。具体的には、形態素解析部１２０は、登録候補語に対して形態素解析を行うことにより、当該登録候補語に含まれる形態素の各々について、当該形態素の品詞や読み等の形態素情報を付与する。
【００２５】
例えば、例１の場合、形態素解析部１２０は、登録候補語「豆苗」に対して、形態素解析を行うことにより、形態素「豆」、「苗」の各々について、品詞と読みとを付与する（図３）。同様に、例２、例３の場合についても、形態素解析部１２０は、登録候補語「いぶりがっこ」、「藤山勇司」に対して形態素解析を行い、形態素情報を付与する（図４、図５）。ここで、形態素解析部１２０は、未知語に対しては、未知語を表す品詞（本実施の形態では、「Ｋａｎａ：Ｕｎｄｅｆ」）を付与する。例えば、図３に示すように、形態素「っこ」については未知語を表す品詞「Ｋａｎａ：Ｕｎｄｅｆ」が付与される。そして、形態素解析部１２０は、各形態素に品詞及び読みを付与した結果である形態素解析結果を、登録候補判定部１３０に渡す。
【００２６】
登録候補判定部１３０は、登録候補語の読みと、形態素解析部１２０により得られた登録候補語の読みとが同一であるか否かを判定し、同一である場合、更に、形態素解析部１２０により得られた登録候補語の品詞に未知語を示す品詞が含まれているか否かを判定する。
【００２７】
具体的には、登録候補判定部１３０は、まず、形態素解析部１２０による形態素解析結果の読みを結合した解析読みを生成する。例えば例１の場合、形態素解析結果の読みである「マメ」と「ナエ」とを結合して、解析読み「マメナエ」とする。
【００２８】
次に、登録候補判定部１３０は、登録候補語の読みと、解析読みとが同一であるか否かを判定する。例１の場合、登録候補語の読み「トウミョウ」と解析読み「マメナエ」とが異なるため、登録候補判定部１３０は、同一でないと判定する。一方、例２の場合、登録候補語の読み「イブリガッコ」と解析読み「イブリガッコ」とが同一であるため、登録候補判定部１３０は、同一であると判定する。同様に、例３の場合、登録候補語の読み「フジヤマユウジ」と解析読み「フジヤマユウジ」とが同一であるため、登録候補判定部１３０は、同一であると判定する。
【００２９】
更に、登録候補判定部１３０は、登録候補語の読みと、解析読みとが同一である場合、登録候補語が形態素解析部１２０により２形態素以上に分割され、かつ、形態素解析結果の未知語を表す品詞が含まれるか否かを判定する例えば、例２の場合、２形態素以上に分割され、かつ、形態素解析結果の形態素「っこ」について未知語を表す品詞「Ｋａｎａ：Ｕｎｄｅｆ」が含まれているため（図４）、登録候補判定部１３０は、未知語を表す品詞が含まれていると判定する。一方、例３の場合、形態素解析結果に未知語を表す品詞「Ｋａｎａ：Ｕｎｄｅｆ」が含まれていないため、登録候補判定部１３０は、未知語を表す品詞が含まれていないと判定する。なお、ここでは２形態素以上に分割された場合としているが、形態素の数が文字数の半分以上の場合等の条件に変更してもよい。
【００３０】
そして、登録候補判定部１３０は、登録候補語の読みと、解析読みとが同一でない場合、当該登録候補語を登録候補であると判定し、判定結果を、汎用語判定部１５０に渡す。また、登録候補判定部１３０は、登録候補語の読みと、解析読みとが同一であっても、登録候補語が２形態素以上に分割され、かつ、形態素解析結果の未知語を表す品詞が含まれる場合、当該登録候補語を登録候補であると判定し、判定結果を、汎用語判定部１５０に渡す。また、それ以外の場合、登録候補判定部１３０は、当該登録候補語を登録候補でないと判定し、判定結果を、汎用語判定部１５０に渡す。
【００３１】
テキスト群記憶部１４０には、予め用意したテキスト群（例えば直近１年分のｂｌｏｇ及び新聞記事等のテキストの集合）が格納されている。
【００３２】
汎用語判定部１５０は、登録候補判定部１３０により当該登録候補語を登録候補である場合に、テキスト群における当該登録候補語の出現頻度を算出し、出現頻度が閾値以上である場合に、当該登録候補語を辞書に登録すべき新語の候補であると判定する。
【００３３】
具体的には、まず、汎用語判定部１５０は、テキスト群記憶部１４０からテキスト群を取得する。次に、汎用語判定部１５０は、登録候補判定部１３０による判定結果が、登録候補である場合（例１又は例２）、テキスト群における当該登録候補語の出現頻度を算出し、出現頻度が閾値以上である場合に、当該登録候補語を新語候補であると判定する。例えば、汎用語判定部１５０が、１年分のｂｌｏｇであるテキスト群における例１の登録候補語「豆苗」の出現頻度を算出する。算出した例１の登録候補語「豆苗」の出現頻度が３９３０とし、閾値を「出現頻度＝１０００」とすると、３９３０が１０００以上であるため、汎用語判定部１５０は、登録候補語「豆苗」を、新語の候補であると判定する。同様に、汎用語判定部１５０が例２の「いぶりがっこ」の出現頻度を２２４５であると算出すると、汎用語判定部１５０は、登録候補語「いぶりがっこ」を、新語の候補であると判定する。
【００３４】
そして、汎用語判定部１５０は、登録候補語及び判定結果を出力部１６０に渡す。
【００３５】
出力部１６０は、判定結果を出力する。例えば、出力部１６０は、判定結果が新語の候補である場合に１、新語の候補でない場合に０を出力する。
【００３６】
＜本発明の実施の形態に係る新語候補抽出装置の作用＞
図６は、本発明の実施の形態に係る新語候補抽出処理ルーチンを示すフローチャートである。入力部１１０に登録候補語が入力されると、新語候補抽出装置１において、図６に示す新語候補抽出処理ルーチンが実行される。
【００３７】
まず、ステップＳ１００において、入力部１１０が、単語の表記である登録候補語と、当該登録候補語の読みとの入力を受け付ける。
【００３８】
ステップＳ１１０において、形態素解析部１２０は、登録候補語に対して形態素解析を行う。
【００３９】
ステップＳ１２０において、登録候補判定部１３０は、登録候補語の読みと、上記ステップＳ１１０により得られた登録候補語の読みとが同一であるか否かを判定する。
【００４０】
登録候補語の読みと、上記ステップＳ１１０により得られた読みとが同一でない場合（上記ステップＳ１２０のＮＯ）、ステップＳ１４０に進む。一方、登録候補語の読みと、上記ステップＳ１１０により得られた読みとが同一である場合（上記ステップＳ１２０のＹＥＳ）、ステップＳ１３０において、登録候補判定部１３０は、形態素解析部１２０により得られた登録候補語の品詞に未知語を示す品詞が含まれているか否かを判定する。
【００４１】
上記ステップＳ１１０により得られた形態素解析結果に未知語の品詞がない場合（上記ステップＳ１３０のＮＯ）、ステップＳ１８０に進む。一方、上記ステップＳ１１０により得られた形態素解析結果に未知語の品詞がある場合（上記ステップＳ１３０のＹＥＳ）、ステップＳ１４０において、汎用語判定部１５０は、テキスト群記憶部１４０からテキスト群を取得する。
【００４２】
ステップＳ１５０において、汎用語判定部１５０は、テキスト群における登録候補語の出現頻度を算出する。
【００４３】
ステップＳ１６０において、汎用語判定部１５０は、出現頻度が閾値以上であるか否かを判定する。
【００４４】
出現頻度が閾値以上である場合（上記ステップＳ１６０のＹＥＳ）、ステップＳ１７０において、汎用語判定部１５０は、登録候補語を辞書に登録すべき新語の候補であると判定する。
【００４５】
一方、出現頻度が閾値以上でない場合（上記ステップＳ１６０のＮＯ）、ステップＳ１８０において、汎用語判定部１５０は、登録候補語を辞書に登録すべき新語の候補でないと判定する。
【００４６】
ステップＳ１９０において、出力部１６０は、判定結果を出力する。
【００４７】
以上説明したように、本発明の実施形態に係る新語候補抽出装置によれば、単語の表記である登録候補語と、当該登録候補語の読みとの入力を受け付け、当該登録候補語の読みと、当該登録候補語に対して形態素解析を行うことにより得られた登録候補語の読みとが同一でないと判定された場合に、テキスト群に対する登録候補語の出現頻度を算出し、出現頻度が閾値以上である場合に、登録候補語を辞書に登録すべき新語の候補であると判定することにより、辞書に登録すべき優先度の高い候補語を精度よく抽出することができる。
【００４８】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４９】
例えば、上述の汎用語判定部１５０が用いた出現頻度は、予めテキスト群記憶部１４０に格納されたテキスト群を用いる場合を例に説明したが、これに限定されるものではなく、例えば、インターネット等の通信手段により既存の検索エンジンを用いて登録候補語を検索した検索結果のカウント数を出現頻度としてもよい。
【００５０】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００５１】
１     新語候補抽出装置
１０   バス
１１   ＣＰＵ
１２   メモリ
１３   通信ＩＦ部
１４   入力部
１５   表示部
１６   記憶部
１７   プログラム
１１０ 入力部
１２０ 形態素解析部
１３０ 登録候補判定部
１４０ テキスト群記憶部
１５０ 汎用語判定部
１６０ 出力部
【図１】
2020166509.tif 000003
【図２】
2020166509.tif 000004
【図３】
2020166509.tif 000005
【図４】
2020166509.tif 000006
【図５】
2020166509.tif 000007
【図６】
2020166509.tif 000008