(57)【特許請求の範囲】
【請求項１】
信号送信部を有し、音声認識処理部を有する外部の装置本体にデータ送信が可能な端末であって、
音声を入力する入力部と、
入力された音声を分析して入力音声の特徴量を出力する音声分析部と、
標準話者の標準音声特徴データを記憶した標準音声特徴データ記憶部と、
特定ユーザの音声と前記標準音声特徴データとを比較し、前記特定ユーザの音声の特徴量を標準話者の音声の特徴量に変換するための変換規則を生成する変換規則生成部と、
前記変換規則生成部が生成した変換規則を記憶する変換規則記憶部と、
前記特定ユーザの音声の特徴量を前記変換規則を参照して標準話者の特徴量に変換する特徴量変換部と、を備え、
前記標準話者の特徴量に変換された前記特定ユーザの音声の特徴量を、前記信号送信部を介して前記外部の音声認識装置に送信するようになっていることを特徴とする端末。
【請求項２】
請求項１において、
前記端末は、端末本体と、前記端末本体に着脱可能なカートリッジとを有し、
前記カートリッジには、少なくとも前記変換規則生成部と前記変換規則記憶部とが備えられていることを特徴とする端末。
【請求項３】
請求項２において、
前記標準音声特徴データ記憶部は、前記端末本体と前記カートリッジのいずれか一方に備えられていることを特徴とする端末。
【請求項４】
請求項１乃至３のいずれかに記載の端末と、前記端末の特徴量変換部によって変換された標準話者の特徴量を受信する信号受信部と、前記信号受信部が受信した特徴量を認識する音声認識処理部とを備える装置本体と、を含むことを特徴とする音声認識装置。
【請求項５】
請求項４において、
前記装置本体は、前記音声認識処理部が認識した結果に応じた動作を行うことを特徴とする音声認識装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、音声を認識し、その認識結果に対応した応答や特定動作を行う音声認識装置および音声認識処理方法に関する。
【０００２】
【従来の技術】
この種の音声認識装置においては、特定話者のみの音声を認識可能な特定話者音声認識装置と不特定話者の音声を認識可能な不特定話者音声認識装置がある。
【０００３】
特定話者音声認識装置は、或る特定の話者が認識可能な単語を一単語ずつ所定の手順に従って入力することによって、その特定話者の標準的な音声信号パターンを登録しておき、登録終了後、特定話者が登録した単語を話すと、その入力音声を分析した特徴パターンと登録された特徴パターンとを比較して音声認識を行うものである。この種の音声認識対話装置の一例として音声認識玩具がある。たとえば、音声指令となる複数の命令語として、「おはよう」、「おやすみ」、「こんにちわ」などの言葉を１０単語程度、その玩具を使用する子どもが予め登録しておき、話者がたとえば「おはよう」というと、その音声信号と、登録されている「おはよう」の音声信号を比較して、両音声信号が一致したとき、音声指令に対する定められた電気信号を出力し、これに基づいて玩具に特定動作を行わせるものである。
【０００４】
このような特定話者音声認識装置は、特定話者かあるいはそれに近い音声パターンを有する音声しか認識されず、また、初期設定として、認識させたい単語を一単語ずつすべて登録させる必要がありその手間は極めて面倒であった。
【０００５】
これに対して、不特定話者音声認識装置は、多数（たとえば、２００人程度）の話者が発話した音声を用いて、前記したような認識対象単語の標準音声特徴データを予め作成して記憶（登録）させておき、これら予め登録された認識可能な単語に対して、不特定な話者の発する音声を認識可能としたものである。
【０００６】
【発明が解決しようとする課題】
この不特定話者の音声を認識可能な不特定音声認識装置は、確かに、標準的な音声に対しては比較的高い認識率が確保されるが、殆どの全ての音声に対しても高い認識率が得られるとは限らない。たとえば、幼児の声、大人の声、女性の声、男性の声などのように、年齢や性別によって音声の特徴が大きく異なり、大人の問いかけに対してはきわめて高い認識率が得られても、幼児の問いかけに対しては殆ど認識されないという問題も生じてくる。
【０００７】
また、この種の音声認識装置は、自動販売機などに適用されることも考えられる。たとえば、自動販売機として券売機を例に取れば、鉄道やバスなどの乗車券や施設への入場券、食堂などの食券などの券売機に音声認識技術を取り入れることにより、音声を入力するだけで目的の券が買えるということも可能となる。これが実用化されることになれば、必要な券の料金を表によって調べてボタンを押すというような面倒な操作が必要なくなり、お年寄りや子ども、あるいは手足の不自由な人にとっては特に便利なものとなる。
【０００８】
しかしながら、実用化に際しては問題点も多い。すなわち、この種の音声認識装置としては、前記したように、年齢や性別、あるいは話し方の個人差などによる特徴の違いに関係なく不特定話者の音声をきわめて高い認識率で認識できなければならないという問題がある。
【０００９】
本発明はこれらの課題を解決するためになされたもので、音声による遠隔操作を可能とし、かつ、年齢や性別、あるいは話し方の個人差などによる特徴の違いに関係なく不特定話者の音声をきわめて高い認識率での認識を可能とすることを目的としている。
【００１０】
【課題を解決するための手段】
本発明の端末は、信号送信部を有し、音声認識処理部を有する外部の装置本体にデータ送信が可能な端末であって、音声を入力する入力部と、入力された音声を分析して入力音声の特徴量を出力する音声分析部と、標準話者の標準音声特徴データを記憶した標準音声特徴データ記憶部と、特定ユーザの音声と前記標準音声特徴データとを比較し、前記特定ユーザの音声の特徴量を標準話者の音声の特徴量に変換するための変換規則を生成する変換規則生成部と、前記変換規則生成部が生成した変換規則を記憶する変換規則記憶部と、前記特定ユーザの音声の特徴量を前記変換規則を参照して標準話者の特徴量に変換する特徴量変換部と、を備え、前記標準話者の特徴量に変換された前記特定ユーザの音声の特徴量を、前記信号送信部を介して前記外部の音声認識装置に送信するようになっていることを特徴とする。
【００１１】
また、上記の端末において、端末本体と、前記端末本体に着脱可能なカートリッジとを有し、前記カートリッジには、少なくとも前記変換規則生成部と前記変換規則記憶部とが備えられているようにしてもよい。
【００１２】
そして、上記の構成において、前記標準音声特徴データ記憶部は、前記端末本体と前記カートリッジのいずれか一方に備えられているようにしてもよい。
【００１３】
また、本発明の音声認識装置は、上記のいずれかに記載の端末と、前記端末の特徴量変換部によって変換された標準話者の特徴量を受信する信号受信部と、前記信号受信部が受信した特徴量を認識する音声認識処理部とを備える装置本体と、を含むことを特徴とする。
【００１４】
また、上記の音声認識装置において、前記装置本体は、前記音声認識処理部が認識した結果に応じた動作を行うことを特徴とする。
【００２２】
本発明は、前記ユーザ端末部と装置本体とを無線でデータの授受を行うことを可能としている。したがって、音声による遠隔操作が可能となる。また、前記ユーザ端末部は、或る特定のユーザの音声と標準音声特徴データとを比較し、この比較結果をもとに前記特定ユーザの音声の特徴量を標準話者の音声の特徴量に変換するための変換規則を生成し、この生成した変換規則を記憶する機能を少なくとも有している。したがって、装置本体では、標準音声の特徴列に変換された入力音声の特徴量によって音声認識を行うため、年齢や性別などの違い、あるいは話し方の個人差などに関係なく、きわめて高い認識率での認識が可能となる。
【００２３】
また、変換規則を生成しこの生成した変換規則を記憶する部分をカートリッジ部に設けるようにする。これにより、１台の端末あるいは装置に対してユーザ単位でカートリッジを交換して使用することができ、装置や端末は１台であっても複数のユーザが使用可能となる。
【００２４】
【実施例】
以下、本発明の実施例を図面を参照して説明する。
【００２５】
（第１の実施例）
この第１の実施例では、たとえば、企業内の食堂などにおける食券の自動券売機に適用した場合を例にとって説明する。図１は本発明の全体的な概略構成を説明する図であり、概略的には、券売機（装置本体）１内に収納された音声認識処理部１０（詳細は後述する）と、ユーザが所有するユーザ端末部２０（詳細は後述する）から構成され、このユーザ端末部２０と音声認識処理部１０との間は無線によりデータの授受が行われるようになっている。そして、券売機１の外面には通常の券売機と同様、販売可能なメニューの表示部２や、その料金表示部３、料金投入部４、釣り銭排出部５などの他に、音声入力部６、音声出力部７などが設けられている。なお、この券売機の発券機構などは本発明の要旨となる部分には直接関係しないので、これらの構成や機能などについては説明を省略する。
【００２６】
図２はこの第１の実施例による音声認識処理部１０およびユーザ端末部２０の構成を説明するブロック図である。この第１の実施例では、ユーザ端末部２０は、音声入力部２１、音声分析部２２、話者適応部２３（詳細は後述する）、信号送信部２４で構成され、音声認識処理部１０は、信号受信部１１、単語検出部１２、標準音声特徴データ記憶部１３、音声理解制御部１４、応答データ記憶部１５、音声合成部１６、音声出力部１７（図１で示した音声出力部７に相当する）、駆動データ記憶部１８、駆動制御部１９などから構成されている。なお、この第１の実施例では、ユーザ端末部２０に音声入力部２１が設けられた例を示しているので、このユーザ端末部２０を使用する場合は、装置本体１の音声入力部６は特に必要とはしない。
【００２７】
以上の各部におけるそれぞれの機能、さらには全体的な処理などについて以下に順次説明する。
【００２８】
音声入力部２１は図示されていないがマイクロホン、増幅器、ローパスフィルタ、Ａ／Ｄ変換器などから構成され、マイクロホンから入力された音声を、増幅器、ローパスフィルタを通して適当な音声波形としたのち、Ａ／Ｄ変換器によりディジタル信号（たとえば、１２ＫＨｚ．１６ｂｉｔ）に変換して出力し、その出力を音声分析部２２に送る。音声分析部２２では、音声入力部２１から送られてきた音声波形信号を、演算器（ＣＰＵ）を用いて短時間毎に周波数分析を行い、周波数の特徴を表す数次元の特徴ベクトルを抽出（LPCーCEPSTRUM係数が一般的）し、この特徴ベクトルの時系列（以下、音声特徴ベクトル列という）を出力する。
【００２９】
前記話者適応部２３は、特徴量変換部２３１、変換規則生成部２３２、標準音声特徴データ記憶部２３３、変換規則記憶部２３４などから構成されている。前記標準音声特徴データ記憶部２３３は、１つ１つの単語に対し多数（たとえば、２００人程度）の話者が発話した音声を用いて予め作成した認識可能な単語（登録単語という）の標準パターンを記憶（登録）しているＲＯＭである。
【００３０】
このような構成の話者適応部２３は、前記音声分析部２２からの出力を受けて、入力音声の特徴量を標準話者の特徴量に変換したのち、信号送信部２４から出力するものである。すなわち、変換規則生成部２３２により、このユーザ端末部２０を所有するユーザの音声をもとに、標準音声特徴データ記憶部２３３のデータを用いて変換規則を予め作成し、その変換規則を変換規則記憶部２３４に格納しておく。そして、ユーザの音声が入力されると、音声分析部２２で音声分析され、その音声分析された特徴量が特徴量変換部２３１に入力される。特徴量変換部２３１では、その送られてきた特徴量を基に、変換規則記憶部２３４に格納された変換規則に基づいて標準話者の特徴量に変換し、その変換後の特徴量を信号送信部２４から発信する。
【００３１】
この話者適応部２３の具体的な構成例としては、図３に示すように、ベクトル量子化部２４１、入力話者コードブック生成部２４２、標準音声特徴データ記憶部２３３、入力話者コードブック２４３、標準話者コードブック２４４により構成されたものがある。図３において、ベクトル量子化部２４１は図２における特徴量変換部２３１に相当し、入力話者コードブック生成部２４２は変換規則生成部２３２に相当し、入力話者コードブック２４３と標準話者コードブック２４４は変換規則記憶部２３４に相当している。この図３を用いて入力音声の特徴量を標準話者の特徴量に変換する処理について説明する。
【００３２】
まず、入力話者コードブック生成部２４２により入力話者コードブックを作成する処理を予め行っておく。これは、ユーザが認識可能な単語のうち幾つかの単語を１つづ入力することにより行われる。たとえば認識可能な単語の１つとして、「おはよう」という単語があるとすれば、この「おはよう」を入力すると、この「おはよう」の音声が音声分析部２２で分析され、その特徴ベクトル列が入力話者コードブック生成部２４２に入力される。そして、標準音声特徴データ記憶部２３３内のデータとの比較を行い、それらの音声の特徴の違いから、標準話者のコードブックを入力話者の音声特徴空間へ写象するための写象関数を作成する。この写象関数は複数の単語を用いて作成することにより精度が向上するため、本実施例では複数の単語を用いる。
【００３３】
このようにして得られた写象関数を用いて、標準話者コードブックを入力話者の音声特徴空間へ写象することにより、或る特定のユーザのコードブックが作成される。そして、そのユーザの音声が入力されると、入力話者コードブックと標準話者コードブックをもとに標準話者の特徴ベクトル列に変換して出力する。これを図４により説明する。図４（ａ）は、入力されたユーザの音声特徴ベクトル列であり、同図（ｂ）は前記したように予め作成されたユーザのコードブック、同図（ｃ）は標準話者のコードブックである。なお、通常、入力音声特徴ベクトル列は１０次元程度であるが、ここでは説明を簡単にするために５次元のベクトル列で示している。また、コードブックのサイズは通常２５６あるいは５１２といったサイズが用いられるが、ここでは説明を簡単にするためにサイズを３としている。そして、入力話者コードブックと標準話者コードブックはそれぞれのデータが予め対応づけられており、たとえば、入力話者コードブックのＡのデータは標準話者コードブックのＡ’に、入力話者コードブックのＢのデータは標準話者コードブックのＢ’に、入力話者コードブックのＣのデータは標準話者コードブックのＣ’にそれぞれ対応づけられている。
【００３４】
このようにして、今、ユーザの入力音声が音声分析部２２で音声分析され、図４（ａ）示すように、この場合、５次元の特徴ベクトル列が時系列として出力される。
【００３５】
そして、これらのデータ（１）、（２）、（３）、・・・が、同図（ｂ）に示す入力話者コードブックのどのデータと最も近いかを距離計算により求める。たとえば、入力音声（１）のデータ（３・２・０・０・０）は入力話者コードブックのデータＡ（２・２・０・０・０）と最も近く、入力音声（２）のデータ（２・１・１・１・１）は入力話者コードブックのデータＢ（１・１・１・１・１）と最も近く、入力音声（３）のデータ（１・２・１・１・１）は入力話者コードブックのデータＢ（１・１・１・１・１）と最も近く、入力音声（４）のデータ（０・０・２・２・２）は入力話者コードブックのデータＣ（０・０・０・２・２）と最も近く、入力音声（５）のデータ（０・０・０・２・３）は入力話者コードブックのデータＣ（０・０・０・２・２）と最も近いということが求められる。
【００３６】
このようにして、入力音声の１つ１つのデータ毎に入力話者コードブックを参照して、最も近い特徴ベクトルを選ぶ。したがって、この場合、入力音声（１）〜（５）に限って考えれば、Ａ・Ｂ・Ｂ・Ｃ・Ｃという特徴ベクトルが求められる。
【００３７】
そして、入力話者コードブックは標準話者コードブックに対して、ＡはＡ’、ＢはＢ’、ＣはＣ’というような対応付けができているので、この場合、入力音声は標準話者のコードブックのＡ’・Ｂ’・Ｂ’・Ｃ’・Ｃ’というデータに変換されることになる。なお、この場合、標準音声話者コードブックはデータＡ’（５・５・１・１・１・）、データＢ’（２・２・３・２・２）、データＣ’（０・１・３・３・３）である。
【００３８】
以上のようにして、入力音声の特徴ベクトル列は標準話者コードブックの特徴ベクトル列に変換でき、この変換された特徴ベクトル列が信号送信部２４から装置本体の音声認識処理部１０に送信される。
【００３９】
ところで、以上説明したユーザ端末部２０は、たとえば、腕時計のなかに組み込んだり、あるいは、カード型にしてそれぞれの個人が所有するようにする。そして、予め、所有する各ユーザが自己の入力話者コードブックを作成しておく。これにより、ユーザ端末部２０を所有するユーザは、たとえば食券を購入する場合、券売機（装置本体）１のそばに行って、ユーザ端末部２０に向かって、たとえば、「カレーを１つ下さい」と言えば、その音声は、音声入力部２１から入力され、音声分析部２２で音声分析された後、その特徴ベクトル列は話者適応部２３によって、ユーザ自身の音声を基に作成されたコードブックにより標準話者の特徴ベクトル列に変換されて装置本体の音声認識処理部１０に送られる。
【００４０】
次に、前記音声認識処理部１０の処理について説明する。標準音声特徴データ記憶部１３は、前記話者適応部に設けられた標準音声特徴データ記憶部２３３と同様、１つ１つの単語に対し多数（たとえば、２００人程度）の話者が発話した音声を用いて予め作成した認識可能な単語（登録単語という）の標準パターンを記憶（登録）しているＲＯＭである。ここでは、食券の販売機を例にしているので、登録単語はメニュー分の１０単語程度とし、その単語としては、たとえば、「カレー」、「そば」、「うどん」などである。
【００４１】
単語検出部１２は図示されていないが主に演算器（ＣＰＵ）と処理プログラムを記憶しているＲＯＭから構成され、前記標準音声特徴データ記憶部１３に登録されている単語が、入力音声中のどの部分にどれくらいの確かさで存在するかを検出するものである。この単語検出部１２としては、隠れマルコフモデル（ＨＭＭ）方式やＤＰマッチング方式などを用いることも可能であるが、ここでは、ＤＲＮＮ（ダイナミック  リカレント  ニューラル  ネットワーク）方式によるキーワードスポッティング処理技術（この技術に関しては、本出願人が特開平６ー４０９７、特開平６ー１１９４７６により、すでに特許出願済みである。）を用いて、不特定話者による連続音声認識に近い音声認識を可能とするための単語検出データを出力するものであるとする。
【００４２】
この単語検出部１２の具体的な処理について、図５を参照しながら簡単に説明する。なお、本発明の実施例では、食券などの券売機を例にしているが、図５による単語検出部１２の単語検出データ出力処理、および、後述する音声理解制御部１４の処理動作を説明する際は、券売機に関する音声認識処理には関係なく、一般的な入力音声例を用いて説明する。
【００４３】
単語検出部１２は、標準音声特徴データ記憶部１３に登録されている単語が、入力音声中のどの部分にどれくらいの確かさで存在するかを検出するものである。今、話者から「明日の天気は、・・・」というような音声が入力され、図５（ａ）に示すような音声信号が出力されたとする。この「明日の天気は、・・・」の文節のうち、「明日」と「天気」がこの場合のキーワードとなり、これらは、予め登録されている１０単語程度の登録単語の１つとして、標準音声特徴データ記憶部１３にそのパターンが記憶されている。そして、これら登録単語をたとえば１０単語としたとき、これら１０単語（これを、単語１、単語２、単語３、・・・とする）に対応して各単語を検出するための信号が出力されていて、その検出信号の値などの情報から、入力音声中にどの程度の確かさで対応する単語が存在するかを検出する。つまり、「天気」という単語（単語１）が入力音声中に存在したときに、その「天気」という信号を待っている検出信号が、同図（ｂ）の如く、入力音声の「天気」の部分で立ち上がる。同様に、「明日」という単語（単語２）が入力音声中に存在したときに、その「明日」という信号を待っている検出信号が、同図（ｃ）の如く、入力音声の「明日」の部分で立ち上がる。同図（ｂ），（ｃ）において、0.9あるいは0.8といった数値は、確からしさ（近似度）を示す数値であり、0.9や0.8といった高い数値であれば、その高い確からしさを持った登録単語は、入力された音声に対する認識候補であるということができる。つまり、「明日」という登録単語は、同図（ｃ）に示すように、入力音声信号の時間軸上のｗ１の部分に0.8という確からしさで存在し、「天気」という登録単語は、同図（ｂ）に示すように、入力音声信号の時間軸上のｗ２の部分に0.9という確からしさで存在することがわかる。
【００４４】
また、この図５の例では、「天気」という入力に対して、同図（ｄ）に示すように、単語３（この単語３は「何時」という登録単語であるとする）を待つ信号も、時間軸上のｗ２の部分に、ある程度の確からしさ（その数値は0.6程度）を有して立ち上がっている。このように、入力音声信号に対して同一時刻上に、２つ以上の登録単語が認識候補として存在する場合には、最も近似度（確からしさを示す数値）の高い単語を認識単語として選定する方法、各単語間の相関規則を表した相関表を予め作成しておき、この相関表により、いずれか１つの単語を認識単語として選定する方法などを用いて、或る１つの認識候補単語を決定する。たとえば、前者の方法で認識候補を決定するとすれば、この場合は、時間軸上のｗ２の部分に対応する近似度は、「天気」を検出する検出信号の近似度が最も高いことから、その部分の入力音声に対する認識候補は「天気」であるとの判定を行う。なお、これらの近似度を基に入力音声の認識は音声理解制御部１４にて行う。
【００４５】
たとえば、単語検出部１２からの図５（ｂ）〜（ｅ）に示すような検出データ（これをワードラティスという。このワードラティスは、登録単語名、近似度、単語の始点ｓと終点ｅを示す信号などが含まれる）が入力されると、まず、そのワードラティスを基に、入力音声の中のキーワードとしての単語を１つまたは複数個決定する。この例では、入力音声は「明日の天気は・・・」であるので、「明日」と「天気」が検出されることになり、この「明日」と「天気」のキーワードから「明日の天気は・・・」という連続的な入力音声の内容を理解し、それに対応した応答内容を選んで出力する。
【００４６】
以上説明したキーワードスポッティング処理による連続音声認識に近い音声認識処理は、日本語だけでなく他の言語においても適用可能である。たとえば、使用する言語が英語であるとすれば、登録されている認識可能な単語は、たとえば、“good  morning”、“time”、“tommorow”、“good  night”などが一例として挙げられ、これら認識可能な登録単語の特徴データが、標準音声特徴データ記憶部４に記憶されている。そして今、話者が「what  time  is  it  now」と問いかけた場合、この「what  time  is  it  now」の文節のうち、単語「time」がこの場合のキーワードとなり、「time」という単語が入力音声の中に存在したときに、その「time」の音声信号を待っている検出信号が、入力音声の「time」の部分で立ち上がる。そして、単語検出部３からの検出データ（ワードラティス）が入力されると、まず、そのワードラティスを基に、入力音声の中のキーワードとしての単語を１つまたは複数個決定する。この例では、入力音声は、「what  time  is  it  now」であるので、「time」がキーワードとして検出されることになり、このキーワードを基に、「what  time  is  it  now」という連続的な入力音声の内容を理解する。
【００４７】
ところで、これを食券などの券売機として実現するには、販売可能なメニュー名として、カレー、そば、うどんといった単語とその個数をキーワードとし、たとえば、ユーザが「カレーを１つ下さい」と自己の所有するユーザ端末部２０に対して発話した場合、「カレー」と「１つ」がキーワードとして検出され、これらのキーワードを基に、装置側では「カレーを１つ下さい」というような連続音声を認識することができ、これに対して、装置側からは、「カレーを１つですね」というような応答を行うように設定しておけばよい。
【００４８】
音声理解制御部１４は、主に演算器（ＣＰＵ）と処理プログラムを記憶しているＲＯＭから構成され、単語検出部１２からの単語検出データを入力して、その単語検出データを基に、音声を認識し（入力音声全体の意味を理解し）、応答データ記憶部１５を参照して、入力音声の意味に応じた応答内容を決定してそれを音声合成部（主にＣＰＵとＲＯＭで構成される）１６に送る。そして、音声合成部１６では応答内容を音声合成し、その音声合成出力は音声出力部１７から外部に出力される。また、音声理解制御部１４は、単語検出部１２からの単語検出データを基に、入力音声全体の意味を理解すると、駆動データ記憶部１８を参照して、入力音声の意味に応じた駆動内容を決定してそれを駆動制御部１９に送る。これにより、駆動制御部１９は音声理解制御部１４の指示に対応し駆動制御を行い、発券機構などが駆動される。
【００４９】
なお、前記した音声分析、単語検出、音声理解会話制御、音声合成などの制御を行うＣＰＵはそれぞれに設けてもよいが、これら全ての処理を行う１台のメインのＣＰＵを設け、この１台のＣＰＵで本発明の全体の処理を行うようにしてもよい。
【００５０】
このような構成において、ユーザ端末部２０を所有するユーザが、たとえば食券を購入する場合、券売機（装置本体）１のそばに行って、ユーザ端末部２０に向かって、たとえば、「カレーを１つ下さい」と言えば、その音声は、音声入力部２１から入力され、音声分析部２２で音声分析された後、その特徴ベクトル列は話者適応部２３によって、ユーザ自身の音声を基に作成されたコードブック及び標準話者コードブックにより標準話者の特徴量ベクトル列に変換される。すなわち、音声分析部２２にて音声分析された特徴ベクトル列は、ベクトル量子化部２４１を通って、入力話者コードブック２４３のデータと比較され、予め対応づけられた標準話者コードブック２４４の特徴ベクトル列に変換されてベクトル量子化部２４１から出力される。このベクトル量子化部２４１によって標準話者の特徴ベクトル列に変換された入力音声信号は信号送信部２４から発信され、装置本体１内の音声認識処理部１０に設けられた信号受信部１１で受信される。
【００５１】
そして、単語検出部１２ではその送られてきた特徴ベクトル列を標準音声特徴データ記憶部１３内のデータと比較し、単語検出データ（ワードラティス）を音声理解制御部１４に出力する。
【００５２】
これにより、音声理解制御部１４では、単語検出部１２からの単語検出データをもとに、入力音声の意味を理解する。この場合、入力音声は「カレーを１つ下さい」であるからそれを理解し、それに対する応答として、たとえば、「はい、かれーを１つですね」というような応答内容を応答データ記憶部１６から取り出して、その信号を音声合成部１５に送る。音声合成部１５では、音声理解会話制御部１４からの信号を受けてそれに対応した音声合成を行い、音声出力部１７から音声合成された応答内容を出力する。
【００５３】
そして、ユーザは装置本体１側からの「はい、カレーを１つですね」という応答内容を受けて、たとえば「はい」（この「はい」は登録単語であるとする）という返事を行うことにより、装置本体１の音声認識処理部１０では「はい」を前記同様に認識する。これにより、装置本体１は料金が投入されたことを確認して食券の発券処理を行う。具体的には、音声理解制御部１４が、駆動データ記憶部１８を参照して対応する駆動データを駆動制御部１９に送る。駆動制御部では音声理解制御部１４からの指示を受けて、発券機構などに対して駆動制御を行い、これにより発券処理などが行われる。
【００５４】
なお、ユーザと装置側の会話内容は前記したものに限られるものではなく、たおえば、ユーザが「カレー」というと、装置側からは「幾つですか」と問い返し、これに対してユーザが「１つ」というように応答すると、装置側から「・・円を入れて下さい」というような会話も可能であり、その会話内容は種々の内容が設定できる。
【００５５】
以上のように、この第１の実施例では、音声入力部２１、音声分析部２２、話者適応部２３で構成されるユーザ端末部２０を各ユーザが所有し、このユーザ端末部２０を所有するユーザが予め、ユーザ自身の音声により入力話者コードブックを作成し、実際に使用する際は、ユーザの話す音声を前記入力話者コードブックを参照して標準話者の特徴量ベクトル列に変換して、その特徴ベクトル列を装置本体の音声認識処理部１０に送るようにしている。したがって、装置本体側では、標準音声特徴ベクトル列に変換されたデータを用いて、音声認識を行うので、ユーザの声の質や話し方の個人差に影響されず、高い認識率を得ることができる。
【００５６】
なお、前記第１の実施例において、音声入力部２１、音声分析部２２、話者適応部２３を１つのセットとしてユーザ端末部２０を構成したが、これに限られることなく、たとえば、話者適応部２３の入力話者コードブック生成部２４２、標準音声特徴データ記憶部２３３、入力話者コードブック２４３、標準話者コードブック２４４だけをカートリッジ部に備え、このカートリッジ部を各個人で所有するようにしてもよい。すなわち、ユーザ端末部２０をたとえばカード式とした場合、図６に示すように、カード部には音声入力部２１、音声分析部２２、ベクトル量子化部２４１、信号発信部２３を設け、カートリッジ部２５には入力話者コードブック生成部２４１、標準音声特徴データ記憶部２３３、入力話者コードブック２４３、標準話者コードブック２４４を設ける。そして、このカートリッジ２５をカード側に設けられたカートリッジ装着部（図示せず）に装着することにより、図６の点線で示すようにそれぞれが接続され、それぞれの部分との間での信号の授受が可能となる。
【００５７】
このようにすれば、カートリッジ部２５のみを個人所有とすることができ、音声入力部２１、音声分析部２２、ベクトル量子化部２４１、信号発信部２３などを収納したカード部は何人かで共用でき、個人所有のカートリッジは小型軽量なものとなり、低価格なものとすることができる。この場合、入力話者コードブックの作成時にはカートリッジをカードに装着して行えばよい。なお、このようにカートリッジ式とする場合、標準音声特徴データ記憶部２３３は必ずしもカートリッジ２５側に設ける必要はない。
【００５８】
（第２の実施例）
この第２の実施例も第１の実施例と同様、たとえば、企業内の食堂などにおける食券の自動券売機に適用した場合を例にとって説明する。以上説明した第１の実施例では、ユーザ端末部２０は、音声入力部２１、音声分析部２２、話者適応部２３、信号送信部２４などを備えた構成としたが、この第２の実施例では、図７に示すように、音声入力部２１、音声分析部２２、話者適応部２３のベクトル量子化部２４１などは装置本体側の音声認識処理部１０に設け、話者適応部２３のうち入力話者コードブック生成部２４２、標準音声特徴データ記憶部２３３、入力話者コードブック２４３、標準話者コードブック２４４をユーザ端末部２０側に設けた構成としている。また、この場合は、券売機（装置本体）１の音声認識処理部１０には信号送受信部３０が設けられるとともに、ユーザ端末部２０にも信号送受信部２６が設けられる。図７において、図２、図３と同一部分には同一符号が付されている。なお、図７においては、音声認識のための標準音声特徴データ記憶部１３と入力話者コードブックを生成するための標準音声特徴データ記憶部２３３を別個に設けた例を示しているが、単語検出方法によっては入力話者コードブックを生成する処理を行う際に、標準音声特徴データ記憶部１３を使用することも可能であり、ここで示したように、それぞれに別個に設ける必要はない。ただし、この場合は、標準音声特徴データ記憶部１３のデータをユーザ端末部２０側に送る手段が必要となる。
【００５９】
以上のような構成において、ユーザが券を購入する場合、次のような手順にて行う。この場合、ユーザ端末部２０には音声入力部がないため、ユーザは装置本体１に設けられた音声入力部６（図７では音声入力部２１に相当する）に向かって発話することになる。そして、入力音声は音声分析部２２で音声分析されたのち、その特徴ベクトル列が装置本体１側に設けられた信号送受信部３０から発信され、ユーザ端末部２０に設けられた信号送受信部２６により受信されるようになっている。そして、ユーザ端末部２０では、送られてきた入力音声の特徴ベクトル列に対応した標準話者コードブックデータを信号送受信部２６から発信する。この標準話者コードブックデータは、装置本体側に設けられた信号送受信部３０で受信され、これにより、ベクトル量子化部２４１からは、入力音声の特徴ベクトル列を標準話者の特徴ベクトル列に変換した入力音声特徴ベクトルが出力され、単語検出部１２に送られる。
【００６０】
ところで、この第２の実施例において、各ユーザがユーザ端末部２０において、入力話者コードブック生成を行うには、たとえば、そのユーザ端末部２０を持って券売機１の場所に行って、ユーザ端末部２０および券売機１を入力話者コードブック生成のモードとし、券売機１の音声入力部６から所定の単語を音声入力することにより、前記第１の実施例で説明したと同様に、入力話者コードブックが生成される。なお、この入力話者コードブックの生成は、券売機１でなく、専用の装置を設けて、その専用の装置により行うようにしてもよい。
【００６１】
このような構成において、ユーザ端末部１を所有するユーザが、たとえば食券を購入する場合、券売機（装置本体）１の近くに行って、券売機１に向かって、たとえば、「カレーを１つ下さい」と言えば、その音声は、券売機１の音声入力部６（音声入力部２１）から入力され、音声分析部２２で音声分析された後、その特徴ベクトル列はベクトル量子化部２４１を通って、信号送受信部３０より発信されて、ユーザ端末部２０の信号送受信部２６で受信される。これにより、入力話者コードブック２４３が参照され、予め対応づけられた標準話者コードブック２４４のデータが信号送受信部２６から発信され、券売機１の信号送受信部３０で受信される。これにより、標準話者の特徴ベクトル列に変換された特徴ベクトル列がベクトル量子化部２４１から出力され、単語検出部１２に送られる。
【００６２】
単語検出部１２ではその送られてきた特徴ベクトル列を標準音声特徴データ記憶部１３内のデータと比較し、単語検出データ（ワードラティス）を音声理解制御部１４に出力する。
【００６３】
これにより、音声理解制御部１４では、前記第１の実施例で説明したように、単語検出部１２からの単語検出データをもとに、入力音声の意味を理解する。この場合、入力音声は「カレーを１つ下さい」であるからそれを理解し、それに対する応答として、たとえば、「はい、カレーを１つですね」というような応答内容を応答データ記憶部１６から取り出して、その信号を音声合成部１５に送る。音声合成部１５では、音声理解会話制御部１４からの信号を受けてそれに対応した音声合成を行い、音声出力部１７から音声合成された応答内容を出力する。
【００６４】
そして、ユーザは装置本体１側からの「はい、カレーを１つですね」という応答内容を受けて、たとえば「はい」（この「はい」は登録単語である）という返事を行うことにより、装置本体１の音声認識処理部１０では「はい」を前記同様に認識する。これにより、装置本体１は料金が投入されたことを確認して食券の発券処理を行う。具体的には、音声理解制御部１４が、駆動データ記憶部１８を参照して対応する駆動データを駆動制御部１９に送る。駆動制御部では音声理解制御部１４からの指示を受けて、発券機構などに対して駆動制御を行う。
【００６５】
以上のように、この第２の実施例では、入力話者コードブック生成部２４２、標準音声特徴データ記憶部２３３、入力話者コードブック２４３、標準話者コードブック２４４で構成されるユーザ端末部２０を各ユーザが所有し、このユーザ端末部２０を所有するユーザが予め、ユーザ自身の音声により入力話者コードブックを作成し、実際に使用する際は、ユーザの話す音声を装置本体側で入力して、音声分析し、その音声分析された特徴ベクトル列をユーザの所有するユーザ端末部２０に発信し、ユーザ端末部２０側で、前記入力話者コードブックを参照して対応する標準話者コードブックデータを装置側に送り返し、装置本体側で標準話者の特徴量ベクトル列を単語検出部１２に送るようにしている。そして、装置本体側では、入力音声特徴ベクトル列を標準音声特徴列に変換したデータを用いて、音声認識を行うので、ユーザの声の質や話し方の個人差に影響されず、高い認識率を得ることができる。これにより、ユーザ端末部２０をより一層、小型で軽量なものとすることができ、また、低価格なものとすることができる。
【００６６】
なお、以上の第１、第２の実施例では、本発明を食券などの券売機に適用した例で説明したが、本発明は、この種の自動販売機に限られるものでなく、玩具や、日常的に使われる電子機器などに幅広く適用できることは勿論である。また、ユーザが発する音声を認識してそれに対して何らかの言葉を応答する例を示したが、言葉での応答は必ずしも必要ではなく、音声認識してそれに対して何らかの動作をなすものであってもよい。
【００６７】
（第３の実施例）
この第３の実施例は、音声入力部２１のみを装置本体から分離して、入力音声信号を信号発信部から発信し、それを装置本体に設けた信号受信部で受信し、音声分析して音声認識を行って、認識結果に応じた何らかの動作を行うようにしたものである。この第３の実施例は、或る程度、距離が離れた状態で、装置を音声にて遠隔操作するような場合に特に有効であり、たとえば、玩具を例に取れば、離れた場所から模型の船や飛行機などを操縦する場合に適用できる。以下この第３の実施例について説明する。
【００６８】
図８は第３の実施例を説明するブロック図である。図８において、装置本体側の音声認識処理部１０には信号受信部１１、音声分析部２２、話者適応部２３、単語検出部１２、標準音声特徴データ記憶部１３、音声理解制御部１４、駆動データ記憶部１８、駆動制御部１９などが設けられている。そして、ユーザ端末部２０には音声入力部２１とこの音声入力部２１に入力された音声信号を発信する信号送信部２４が設けられている。
【００６９】
ここで、音声入力部２１、信号送信部２４、信号受信部１１、音声分析部２２、話者適応部２３、単語検出部１２、標準音声特徴データ記憶部１３、音声理解制御部１４、駆動データ記憶部１８、駆動制御部１９などの構成や機能などは今まで説明したものと同じであるが、この例は、認識した音声に対して言葉で応答する必要は特にないため、音声による応答内容の出力処理については省略してある。そして、この場合は、たとえば、遠隔操縦可能な船などであれば、ユーザが「直進せよ」、「左にまがれ」、「止まれ」などの認識可能な単語を含んだ音声を発することにより、音声理解制御部１４がそれを認識し、この音声理解制御部１４の指示によって駆動制御部１９がそれに応じた駆動制御を行う。
【００７０】
また、前記話者適応部２３は、この場合、カートリッジ式にするのが望ましく、前記第１の実施例のなかで説明したと同様、図９に示すように、話者適応部２３のうち、入力話者コードブック生成部２４２、標準音声特徴データ記憶部２３３、入力話者コードブック２４３、標準話者コードブック２４４をカートリッジ部２５に備え、このカートリッジ部２５を各個人で所有するようにする。すなわち、装置本体側の音声認識処理部１０には、信号受信部１１、音声分析部２２、ベクトル量子化部２４１、単語検出部１２、標準音声特徴データ記憶部１３、音声理解制御部１４、駆動データ記憶部１８、駆動制御部１９を設け、カートリッジ部２５を装置本体の所定の装着部（図示せず）に装着することにより、カートリッジ内の入力話者コードブック生成部２４２、入力話者コードブック２４３、標準話者コードブック２４４が音声分析部２２やベクトル量子化部２４１などに対して図９の点線で示すように接続され、信号の授受が可能となるようにする。
【００７１】
このようにすれば、カートリッジ部２５を個人所有として、装置本体は何人かで共用できる。この場合、入力話者コードブックの作成時にはカートリッジ２５を装置本体に装着して前記した要領で行えばよい。
【００７２】
このような構成において、この装置本体がたとえば、遠隔操縦可能な玩具であれば、まず、ユーザが自己のカートリッジ（入力話者コードブック生成済み）を装置本体に装着し、ユーザ端末部２０の音声入力部２１に向かって、「直進せよ」などと言うと、その音声信号が信号発信部２４から発信され、装置本体の信号受信部１１で受信され、音声分析部２２で分析され、その特徴ベクトル列が前記したように、標準話者の特徴ベクトル列に変換されて、単語検出部１２に入力される。
【００７３】
単語検出部１２ではその特徴ベクトル列を標準音声特徴データ記憶部１３内のデータと比較し、単語検出データ（ワードラティス）を音声理解制御部１４に出力する。
【００７４】
これにより、音声理解制御部１４では、前記したように、単語検出部１２からの単語検出データをもとに、入力音声の意味を理解し、それに対応する信号を出力する。駆動制御部１９はその信号を受けて、この場合は、直進させるような制御を行う。
【００７５】
以上のように、この第３の実施例では、音声入力部を装置本体から分離して、入力音声信号を信号送信部から発信し、それを装置本体に設けた信号受信部で受信し、音声分析して音声認識を行って、認識結果に応じた何らかの動作を行うようにしている。また、話者適応部２３の入力話者コードブック生成部２４２、標準音声特徴データ記憶部２３３、入力話者コードブック２４３、標準話者コードブック２４４をカートリッジ部２５に設け、このカートリッジ部２５を各個人で所有するようにして、装置を使用するユーザが、自己のカートリッジを装置本体に装着して用いることにより、そのユーザの入力音声特徴ベクトル列が標準音声特徴ベクトル列に変換され、その変換後の特徴ベクトル列より、音声認識が行われるので、ユーザの声の質や話し方の個人差に影響されず、高い認識率を得ることができる。
【００７６】
なお、この第３の実施例において、音声認識のための標準音声特徴データ記憶部１３と入力話者コードブックを生成するための標準音声特徴データ記憶部２３３を別個に設けた例を示したが、単語検出方法によっては入力話者コードブックを生成する処理を行う際に、標準音声特徴データ記憶部１３を使用することも可能であり、ここで示したように、それぞれに別個に設ける必要はない。この場合は、話者適応部２３の入力話者コードブック生成部２４２が標準音声特徴データ記憶部１３のデータを入力できるようにしておけばよい。
【００７７】
また、この第３の実施例では、本発明を遠隔操縦が可能な玩具に適用した例で説明したが、本発明は、この種の玩具に限られるものでなく、日常的に使われる電子機器などに幅広く適用できることは勿論である。また、この第３の実施例では、ユーザが発する音声を認識してそれに対して、音声の応答ではなく何らかの動作のみ行う例について説明したが、装置本体側に音声による応答手段、信号送信手段などを設け、ユーザ端末側には、信号受信手段、音声出力手段を設けて、ユーザの音声に対して何らかの動作を行うとともに、音声での応答を行うようにすることも可能である。
【００７８】
【発明の効果】
以上説明したように、本発明の一態様に係る端末によれば、外部の音声認識装置とデータ送受信が可能な端末であって、音声を入力する入力部と、入力された音声を分析して入力音声の特徴量を出力する音声分析部と、標準話者の標準音声特徴データを記憶した標準音声特徴データ記憶部と、特定ユーザの音声と前記標準音声特徴データとを比較し、前記特定ユーザの音声の特徴量を標準話者の音声の特徴量に変換するための変換規則を生成する変換規則生成部と、前記変換規則を記憶する変換規則記憶部と、前記特定ユーザの音声の特徴量を前記変換規則を参照して標準話者の特徴量に変換する特徴量変換部と、を備えたことを特徴とする。
また本発明の一態様に係る端末によれば、前記端末は、端末本体と、前記端末本体に着脱可能なカートリッジとを有し、前記カートリッジには、少なくとも前記変換規則生成部と前記変換規則記憶部とが備えられていることを特徴とする。
また本発明の一態様に係る端末によれば、前記標準音声特徴データ記憶部は、前記端末本体と前記カートリッジのいずれか一方に備えられていることを特徴とする。
これにより、音声認識装置本体を使用せずに、端末のみで話者適応学習処理（音声特徴パラメータの変換規則の作成）が可能となる。これにより、ユーザは自宅等で前もって話者適応学習処理を行っておき、公衆の場に設置された音声認識機能付きの券売機で、自分の端末に音声入力を行い、切符を購入することが可能となる。また、端末側は音声認識処理を行わないので、小規模のハードウェア構成で安価、低電力、小型化が可能となる。
【００７９】
また本発明の一態様に係る音声認識装置によれば、上記に記載の端末と、無線送受信部と音声認識処理部とを備える装置本体と、を含むことを特徴とする。
また本発明の一態様に係る音声認識装置によれば、前記装置本体は、前記特徴量変換部によって変換された標準話者の特徴量を受信し、受信した特徴量を前記音声認識処理部で認識し、その認識結果に応じた動作を行うことを特徴とする。
これにより、音声認識手段を備える装置本体側は標準音声に変換された音声パラメータ処理をすれば良いので、普通の不特定話者音声認識処理よりも大幅な高性能化が可能となる。
【００８０】
また本発明の一態様に係るカートリッジによれば、上記に記載の端末に着脱可能なカートリッジであって、前記カートリッジには、少なくとも前記変換規則生成部と前記変換規則記憶部とが備えられていることを特徴とする。
また本発明の一態様に係るカートリッジによれば、外部の音声認識装置とデータの送受信が可能な端末に着脱可能なカートリッジであって、前記端末に入力された特定ユーザの音声の特徴量を標準話者の音声の特徴量に変換するための変換規則を生成する変換規則生成部と、前記変換規則を記憶する変換規則記憶部と、を備えることを特徴とする。
これにより、個々の特定ユーザに関する個人データである変換規則生成部と変換規則記憶部は、端末から着脱可能なカートリッジに備えられている。従って、各ユーザはカートリッジのみを所有すれば足り、複数のユーザで１つの端末を共有することができる。
【図面の簡単な説明】
【図１】本発明の概略を説明する図。
【図２】本発明の第１の実施例を説明するブロック図。
【図３】図２で示した話者適応部の具体例を示すブロック図。
【図４】入力音声の特徴ベクトル列を標準話者の特徴ベクトル列に変換する方法を説明する図。
【図５】単語検出部による単語検出処理および音声理解制御部による音声認識処理を説明する図。
【図６】第１の実施例において話者適応部の一部をカートリッジ式とした例を示す図。
【図７】本発明の第２の実施例を説明するブロック図。
【図８】本発明の第３の実施例を説明するブロック図。
【図９】第３の実施例において話者適応部の一部をカートリッジ式とした例を示す図。
【符号の説明】
１・・・券売機（装置本体）
１０・・・音声認識処理部
１１・・・信号受信部
１２・・・単語検出部
１３・・・標準音声特徴データ記憶部
１４・・・音声理解制御部
１５・・・応答データ記憶部
１６・・・音声合成部
１８・・・駆動データ記憶部
１９・・・駆動制御部
２０・・・ユーザ端末部
２１・・・音声入力部
２２・・・音声分析部
２３・・・話者適応部
２４・・・信号送信部
２５・・・カートリッジ部
２３１・・・特徴量変換部
２３２・・・変換規則生成部
２３３・・・標準音声特徴データ記憶部
２３４・・・変換規則記憶部
２４１・・・ベクトル量子化部
２４２・・・入力話者コードブック生成部
２４３・・・入力話者コードブック
２４４・・・標準話者コードブック
【図１】
0003697748.tif 000002
【図２】
0003697748.tif 000003
【図３】
0003697748.tif 000004
【図４】
0003697748.tif 000005
【図５】
0003697748.tif 000006
【図６】
0003697748.tif 000007
【図７】
0003697748.tif 000008
【図８】
0003697748.tif 000009
【図９】
0003697748.tif 000010