(57)【要約】【解決課題】高精度に単語を解析するために、適切なサブワードによるサブワード単語モデルを作成することができるようにする。【解決手段】隣接するサブワードペアの間に既知単語区切りが存在すると判定された場合には、処理対象となるサブワードペアとして取り出さないようにして、サブワード区切りが付加された単語区切り付き処理対象データから処理対象となる隣接するサブワードペアを取り出す。そして、取り出されたサブワードペアの中から新たにサブワードを獲得し、適切なサブワードによるサブワード単語モデルを作成する。【選択図】図５
2007248496.tif 000002
【特許請求の範囲】
【請求項１】
単語区切り付き処理対象データの前記単語区切り内から、長さが単語以下の単位であるサブワードを獲得するサブワード獲得手段と、
前記サブワード獲得手段によって獲得されたサブワードに基づいて、前記処理対象データを前記サブワード単位でモデル化したサブワード単語モデルを作成するサブワード単語モデル作成手段と、
を含むサブワード単語モデル作成装置。
【請求項２】
前記サブワード獲得手段は、前記単語区切り付き処理対象データが格納されたデータベースから前記単語区切り付き処理対象データを読み込む読込手段を備え、前記読込手段によって読み込まれた前記単語区切り付き処理対象データの前記単語区切り内から、前記サブワードを獲得する請求項１記載のサブワード単語モデル作成装置。
【請求項３】
前記サブワード獲得手段は、未登録語を示す未登録語データが格納されたデータベースから前記未登録語データを読み込む読込手段と、
複数の単語が予め登録された単語データベースに登録された前記単語に基づいて、前記読込手段によって読み込まれた前記未登録語データに、前記単語による区切りを付加することにより、前記単語区切り付き処理対象データを生成する付加手段とを備え、
前記付加手段によって前記単語の区切りが付けられた前記単語区切り付き処理対象データの前記単語区切り内から、前記サブワードを獲得する請求項１記載のサブワード単語モデル作成装置。
【請求項４】
前記単語区切り付き処理対象データは、単語区切り付きの施設名称又は単語区切り付きの商品名を示すデータである請求項１〜請求項３の何れか１項記載のサブワード単語モデル作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、サブワード単語モデル作成装置に係り、特に、施設名称などを示すデータをサブワードに基づいてモデル化したサブワード単語モデルを作成するサブワード単語モデル作成装置に関する。
【背景技術】
【０００２】
従来より、未知固有名詞の音声認識を目的として、モーラ連鎖をサブワードとするサブワード単語モデルを作成する方法が知られている（非特許文献１）。この方法では、対象とする固有名詞として日本人の姓及び名から各々サブワードを自動獲得し、姓及び名の各々についてモデル化を行っている。
【０００３】
姓データからサブワードを自動獲得する際に、姓データをモーラ列に変換し、そこからモーラ連鎖によるサブワードを獲得し、名についても姓と同様にサブワードを自動獲得している。
【非特許文献１】“クラスに依存した語彙の確率的記述に基づく階層型言語モデル“谷垣、山本、匂坂  電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ.Ｊ８４−Ｄ−ＩＩ Ｎｏ.１１  ｐｐ.２３７１−２３７８（２００１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、モデル化の対象となるデータ全体からサブワードを自動獲得しており、非常に長いサブワードが獲得されたり、図９に示すように、既知の単語による区切りを跨いだ不適切なサブワードが獲得され、このような不適切なサブワードでモデル化されたサブワード単語モデルを用いると、単語の解析精度が低下してしまう、という問題がある。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、高精度に単語を解析するために、適切なサブワードによるサブワード単語モデルを作成することができるサブワード単語モデル作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明に係るサブワード単語モデル作成装置は、単語区切り付き処理対象データの前記単語区切り内から、長さが単語以下の単位であるサブワードを獲得するサブワード獲得手段と、前記サブワード獲得手段によって獲得されたサブワードに基づいて、前記処理対象データを前記サブワード単位でモデル化したサブワード単語モデルを作成するサブワード単語モデル作成手段とを含んで構成されている。
【０００７】
本発明に係るサブワード単語モデル作成装置によれば、サブワード獲得手段によって、単語区切り付き処理対象データの単語区切り内から、長さが単語以下の単位であるサブワードを獲得する。そして、サブワード単語モデル作成手段によって、サブワード獲得手段によって獲得されたサブワードに基づいて、処理対象データをサブワード単位でモデル化したサブワード単語モデルを作成する。
【０００８】
従って、処理対象データの単語区切り内からサブワードを獲得することにより、単語の区切りを跨いだ不適切なサブワードを獲得してしまうことを防止するため、適切なサブワードによるサブワード単語モデルを作成することができ、このサブワード単語モデルを用いて高精度に単語を解析することができる。
【０００９】
なお、サブワードとは、長さが単語以下の任意の単位であって、音素、音節もしくはこれらの連鎖からなる単位である。
【００１０】
また、本発明に係るサブワード獲得手段は、単語区切り付き処理対象データが格納されたデータベースから単語区切り付き処理対象データを読み込む読込手段を備え、読込手段によって読み込まれた単語区切り付き処理対象データの単語区切り内から、サブワードを獲得することができる。
【００１１】
また、サブワード獲得手段は、未登録語を示す未登録語データが格納されたデータベースから未登録語データを読み込む読込手段と、複数の単語が予め登録された単語データベースに登録された単語に基づいて、読込手段によって読み込まれた未登録語データに、単語による区切りを付加することにより、単語区切り付き処理対象データを生成する付加手段とを備え、付加手段によって単語の区切りが付けられた単語区切り付き処理対象データの単語区切り内から、サブワードを獲得することができる。
【００１２】
また、上記の単語区切り付き処理対象データを、単語区切り付きの施設名称又は単語区切り付きの商品名を示すデータとすることができる。これにより、単語の複合語であることが多い施設名称や商品名について、適切なサブワードによるサブワード単語モデルを作成することができる。
【発明の効果】
【００１３】
以上説明したように、本発明のサブワード単語モデル作成装置によれば、処理対象データの単語区切り内からサブワードを獲得することにより、単語の区切りを跨いだ不適切なサブワードを獲得してしまうことを防止するため、適切なサブワードによるサブワード単語モデルを作成することができ、このサブワード単語モデルを用いて、高精度に単語を解析することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
図１に示すように、第１の実施の形態に係るサブワード単語モデル作成装置１０は、モデル化を行いたい施設名称を示すデータであって、既知単語による区切りが付けられた処理対象データである単語区切り付き処理対象データの集合が格納された施設名称データベース１２、及びサブワードに基づいて処理対象データをモデル化したサブワード単語モデルを格納したサブワード単語モデルデータベース１６に接続され、かつサブワード単語モデル作成処理プログラムを記憶したコンピュータ１４を備えている。
【００１６】
ここで、サブワードとは、長さが単語以下の任意の単位であって、音素、音節もしくはこれらの連鎖からなる単位であり、擬似的な単語である。
【００１７】
サブワード単語モデル作成処理プログラムは、後述するサブワード獲得処理ルーチンを実行するためのサブワード獲得処理モジュール、及び獲得されたサブワードにより、処理対象データをサブワード単位でモデル化したサブワード単語モデルを作成する単語モデル作成モジュールから構成されている。
【００１８】
また、サブワード獲得処理モジュールは、施設名称データベース１２から読み出された単語区切り付き処理対象データが示す施設名称内におけるサブワード区切りを判定するサブワード区切り判定モジュール、及び施設名称データベース１２から読み出された単語区切り付き処理対象データが示す施設名称内における既知単語区切りを判定する既知単語区切り判定モジュールを含んで構成されている。
【００１９】
施設名称データベース１２に格納されている単語区切り付き処理対象データは、施設名称を示す処理対象データに対して、人手によって既知単語による区切りが付加されたものとなっており、図２に示すように、単語区切り付き処理対象データには、既知単語による区切りを示す既知単語区切りが付加されている。
【００２０】
以下、上記のコンピュータ１４で実行される単語区切り付き処理対象データからサブワードを獲得するためのサブワード獲得処理ルーチンについて図３を用いて説明する。
【００２１】
まず、ステップ１００において、既知単語の区切り付き処理対象データの集合が格納された施設名称データベース１２から単語区切り付き処理対象データを全て読み込み、図４に示すように、全ての処理対象データに対して、１音節をサブワード単位として、サブワード区切りを付加する。ここで、既知単語区切りとサブワード区切りとを異なる２つの特殊な記号で表し、例えば、既知単語区切りを「｜」記号で表し、サブワード区切りを「  」（空白）で表す。
【００２２】
次のステップ１０２では、サブワード獲得回数を示す変数Ｎを初期値の０にセットし、ステップ１０４において、サブワード区切りが付加された単語区切り付き処理対象データの集合から、全ての隣接するサブワードペアを処理対象となるサブワードペアとして取り出し、バッファ１にセットする。
【００２３】
このとき、図５に示すように、サブワード区切り判定モジュールを用いて、サブワード区切りが付加された単語区切り付き処理対象データから隣接する全てのサブワードペアを取り出し、また、既知単語区切り判定モジュールを用いて、隣接するサブワードペアの間に既知単語区切りが存在すると判定された場合には、処理対象となるサブワードペアとして取り出さないようにする。
【００２４】
そして、ステップ１０６において、バッファ１が空であるか否かが判定され、バッファ１にサブワードペアが格納されている場合には、ステップ１０８で、バッファ１から１組のサブワードペアを取り出し、ステップ１１０において、取り出されたサブワードペアの重み付き相互情報量を算出する。なお、重み付き相互情報量は、既知の算出方法によって算出すればよく、例えば、文献（Ｉｓｓａｍ  Ｂａｚｚｉ  ａｎｄ  Ｊａｍｅｓ  Ｇｌａｓｓ，  “Ｌｅａｒｎｉｎｇ  Ｕｎｉｔ  ｆｏｒ  Ｄｏｍａｉｎ−Ｉｎｄｅｐｅｎｄｅｎｔ  Ｏｕｔ−ｏｆ−Ｖｏｃａｂｕｌａｒｙ  Ｗｏｒｄ  Ｍｏｄｅｌｌｉｎｇ，Ｐｒｏｃ．Ｅｕｒｏｐｅａｎ  Ｃｏｎｆ．  ｏｎ  Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ，ｐｐ６１−６４，２００１）で用いられている方法によって算出すればよい。
【００２５】
次のステップ１１２では、ステップ１１０で算出された重み付き相互情報量と共に、取り出されたサブワードペアをバッファ２に追加して、ステップ１０６へ戻る。
【００２６】
上記のステップ１０６において、ステップ１０４で取り出された全てのサブワードペアについてステップ１０８〜１１２の処理が行われ、バッファ１が空になると、ステップ１１４において、バッファ２に基づいて、全てのサブワードペアの中で、上位１０位までの重み付き相互情報量を持つサブワードペアを新規サブワードとして獲得し、ステップ１１６で、サブワード区切りが付加された単語区切り付き処理対象データの集合を新規に獲得したサブワードに基づいて更新して、単語区切り付き処理対象データの集合に付加されているサブワード区切りを更新する。
【００２７】
次のステップ１１８では、Ｎの値をインクリメントし、ステップ１２０において、Ｎが１０００になったか否かを判定し、上記ステップ１０４〜１１８の処理を１０００回繰り返していない場合には、ステップ１０４へ戻るが、上記ステップ１０４〜１１８の処理を１０００回繰り返し、合計１００００個の新規サブワードを獲得した場合には、サブワード獲得処理ルーチンを終了する。
【００２８】
そして、単語モデル作成モジュールを用いて、図６に示すように、単語区切り付き処理対象データの集合を、既知単語区切り及び最終的に獲得されたサブワードのサブワード区切りによって分割し、分割された処理対象データを用いて、サブワード単位２−ｇｒａｍの作成法により、図７に示すように、処理対象データをサブワード単位でモデル化したサブワード単語モデルを作成して、サブワード単語モデルデータベースに格納する。なお、サブワード単位２−ｇｒａｍの作成法としては、既存のｎ−ｇｒａｍ作成ツールを用いればよく、例えば、Ｐｕｂｌｉｃｌｙ  Ａｖａｉｌａｂｌｅ  Ｌａｎｇｕａｇｅ  Ｍｏｄｅｌｌｉｎｇ  Ｔｏｏｌｋｉｔ（ｈｔｔｐ：／／ｐａｌｍｋｉｔ．ｓｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ／）を用いてサブワード単位２−ｇｒａｍを作成すればよい。また、図７に示すサブワード単語モデルは、２連接のサブワードと、この２連接のサブワードの出現確率の自然対数を算出した値とを列挙したものとなっている。
【００２９】
また、サブワード単語モデルデータベース１６に格納されたサブワード単語モデルを用いて、施設名称に関する音声認識処理を行う。
【００３０】
ここで、３６万件の施設名称を示す処理対象データの集合からサブワードを獲得し、サブワード３−ｇｒａｍ単語モデルを作成し、１５名の話者（全１９２０発話）で音声認識実験を実施した結果を表１に示す。
【００３１】
【表１】
2007248496.tif 000003
【００３２】
表１に示すように、サブワードの獲得条件として、単語区切り付き処理対象データからサブワードを獲得した場合の方が、既知単語の区切りが付けられていない処理対象データからサブワードを獲得した場合に比べて、認識率が向上し、単語の認識精度が向上することがわかる。
【００３３】
以上説明したように、第１の実施の形態に係るサブワード単語モデル作成装置によれば、単語区切り付き処理対象データの既知単語の区切り内からサブワードを獲得することにより、既知単語の区切りを跨いだサブワードや非常に長いサブワードなどの不適切なサブワードを獲得してしまうことを防止するため、適切なサブワードによるサブワード単語モデルを作成することができる。
【００３４】
また、このサブワード単語モデルにより、高精度に単語を解析することができ、また、音声認識処理においては、単語の認識精度を向上させることができる。
【００３５】
また、単語の複合語であることが多い施設名称において、単語の区切りを跨いだような不適切なサブワードを獲得しないため、適切なサブワードによる単語モデルを作成することができる。
【００３６】
なお、上記の実施の形態では、施設名称を示すデータが処理対象データである場合を例に説明したが、これに限定されるものではなく、商品名などの単語の複合語であることが多いものを示すデータを処理対象データとしてもよい。
【００３７】
次に、第２の実施の形態に係るサブワード単語モデル作成装置について説明する。なお、第１の実施の形態と同様の構成になっている部分については、同一符号を付して説明を省略する。
【００３８】
第２の実施の形態では、区切りが付けられていない未登録語データが施設名称データベースに格納されている点が第１の実施の形態と異なっている。
【００３９】
図８に示すように、第２の実施の形態に係るサブワード単語モデル作成装置２１０は、コンピュータ１４に、モデル化を行いたい施設名称を示すデータであって、区切りが付けられていない未登録語データを格納した施設名称データベース２１２と、予め登録された複数の既知単語を格納した既知単語データベース２１８とが接続されている。
【００４０】
また、コンピュータ１４のサブワード獲得処理モジュールの既知単語区切り判定モジュールでは、施設名称データベース２１２に格納された未登録語データの集合の各未登録語データに対して、既知単語データベース２１８に格納された既知単語に基づいて、既知単語による区切りを付加するようになっている。
【００４１】
なお、サブワード単語モデル作成装置２１０の他の構成は、第１の実施の形態と同様であるため、説明を省略する。
【００４２】
次に、第２の実施の形態の作用について説明する。
【００４３】
まず、コンピュータ１４において、施設名称データベース２１２から、未登録語データの集合を読み込み、既知単語区切り判定モジュールを用いて、未登録語データの各々に対して、既知単語データベース２１８に格納されている既知単語の集合に基づいて、既知単語による区切りを付加して、単語区切り付き処理対象データを作成する。
【００４４】
そして、作成された単語区切り付き処理対象データに基づいて、上述したサブワード獲得処理ルーチンを実行し、既知単語による区切り内からサブワードを獲得し、サブワードの区切り及び既知単語の区切りによって、全ての未登録語データを分割し、単語モデル作成モジュールを用いて、分割された全ての未登録語データに基づいて、サブワード単語モデルを作成し、サブワード単語モデルデータベース１６に格納する。
【００４５】
以上説明したように、第２の実施の形態に係るサブワード単語モデル作成装置によれば、既知単語データベースに予め登録された既知単語に基づいて作成された単語区切り付き処理対象データの既知単語の区切り内からサブワードを獲得することにより、既知単語の区切りを跨いだ不適切なサブワードを獲得してしまうことを防止するため、適切なサブワードによるサブワード単語モデルを作成することができる。
【００４６】
また、既知単語による区切りが付けられた処理対象データを、人手によって付加する必要がなく、機械的に付与することができるため、オペレータの負担を軽減することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の第１の実施の形態に係るサブワード単語モデル作成装置を示すブロック図である。
【図２】施設名称データベースに格納された単語区切り付き処理対象データを示すイメージ図である。
【図３】本発明の第１の実施の形態のサブワード獲得処理ルーチンを示す流れ図である。
【図４】１音節をサブワード単位としてサブワード区切りが付加された処理対象データを示すイメージ図である。
【図５】処理対象となる隣接するサブワードペアを説明するためのイメージ図である。
【図６】既知単語による区切り及び最終的なサブワードによる区切りで分割された処理対象データを示すイメージ図である。
【図７】サブワード単語モデルを示すイメージ図である。
【図８】本発明の第２の実施の形態に係るサブワード単語モデル作成装置を示すブロック図である。
【図９】従来例において、既知単語による区切りを跨いで獲得されるサブワードを示すイメージ図である。
【符号の説明】
【００４８】
１０、２１０  サブワード単語モデル作成装置
１２、２１２  施設名称データベース
１４   コンピュータ
１６   サブワード単語モデルデータベース
２１８  既知単語データベース
【図１】
2007248496.tif 000004
【図２】
2007248496.tif 000005
【図３】
2007248496.tif 000006
【図４】
2007248496.tif 000007
【図５】
2007248496.tif 000008
【図６】
2007248496.tif 000009
【図７】
2007248496.tif 000010
【図８】
2007248496.tif 000011
【図９】
2007248496.tif 000012