(57)【特許請求の範囲】
【請求項１】
音声が入力される音声入力部と、
入力音声の音声認識を行う音声認識部と、
入力音声を装置側で復唱するために、音声認識した結果を出力データとして生成する手段と、
出力データを音声出力する音声出力部と、
出力データに組み込まれる単語を説明するための付加語を記憶する単語別付加語テーブルと、
前記組み込まれる単語をその単語に付加語を加えたものに変形して前記出力手段で再出力させる変形手段と、
前記変形された単語の組み込まれた出力データが出力された後に、ユーザから付加語を加えた単語が訂正単語として音声入力されたとき、該当の単語をその入力された訂正単語に変換する手段と、
前記単語別付加語テーブルにユーザから音声入力された付加語が未登録のとき、同音異義の単語とその付加語を順次、候補として音声出力し、ユーザから正しい付加語であることを表す入力があると、該当の単語をそのときの候補の付加語として前記単語別付加語テーブルに追加するテーブル更新手段と、を備えた音声出力装置。
【請求項２】
前記変形手段により出力データに組み込まれる単語を変形して音声出力部で出力するときに、その組み込まれる単語の出力時にランプ、ブザー、バイブレータなどの音声外手段による報知を行う報知手段を備える、請求項１に記載の音声出力装置。
【請求項３】
音声入力部に入力された入力音声の音声認識を行う音声認識ステップと、
入力音声を装置側で復唱するために、音声認識した結果を出力データとして生成する出力データ生成ステップと、
前記出力データ生成ステップで生成した出力データを音声出力する音声出力ステップと、
前記出力データに組み込まれる単語を説明するための付加語を記憶している単語別付加語テーブルを用いて、前記組み込まれる単語をその単語に付加語を加えたものに変形して前記音声出力ステップで再出力させる変形ステップと、
前記変形ステップで変形された単語の組み込まれた出力データが出力された後に、ユーザから付加語を加えた単語が訂正単語として音声入力されたとき、該当の単語をその入力された訂正単語に変換する訂正ステップと、
前記単語別付加語テーブルにユーザから音声入力された付加語が未登録のとき、同音異義の単語とその付加語を順次、候補として音声出力し、ユーザから正しい付加語であることを表す入力があると、該当の単語をそのときの候補の付加語として前記単語別付加語テーブルに追加するテーブル更新ステップと、
をコンピュータに実行させる音声出力プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、話者と対話を行う時や、話者の話した内容を認識して出力する時に使用される音声出力装置に関する。
【０００２】
【従来の技術】
話者との対話を行う時に使用される音声出力装置には、入力された音声を認識して、その確認のために認識音声を出力したり、質問または回答のために装置側で生成された音声を出力する。この場合、対話の効率性や話者と装置間での確実な意思の疎通を図るために、重要な部分などには音量を増大するなどの強調処理を行ったり、難解な単語などが入力された場合には、それを平易な表現に置き換えて確認のために音声出力する手法が採用されている。例えば、特開平１０−１７１４８５号公報に示される装置は、テキスト情報を構文解析を行って重要部分を特定し、これに強調などの変形を施して出力するようにしている。また、特開平７−１２１５３７号公報に示される装置は、読み上げ対象となる文章から難解な語句を特定し、これを平易な表現に置き換えて読み上げる装置が示されている。
【０００３】
【発明が解決しようとする課題】
しかし、上記のような装置では、
・過去の出力状況に応じた処理を行っていないために、同じ出力がついた場合には常に変形処理が施され、結果としてユーザが煩わしく感じる音声出力となることがある。
【０００４】
・ユーザの発声に対する装置側の音声認識結果の誤り発生を考慮してないため、ユーザが装置の認識誤りを検知しにくい。
【０００５】
・同音異義語などを平易な表現に置き換えるには、使用されるすべての単語に対して説明のための表現を用意しなければならない。
【０００６】
などの問題点があった。
【０００７】
この発明の目的は、ユーザの状況に応じて出力音声を動的に制御することによって、ユーザにとって最も望ましいスムースな音声出力を行うことができる音声出力装置を提供することにある。
【０００８】
【課題を解決するための手段】
この発明は、ユーザのとまどい、割り込み発生、ユーザからの入力音声の認識確実度などのユーザの状況を知り、そのときどきの状況に応じて動的に出力音声を制御するものである。
【０００９】
この発明では次の用語を使う。
【００１０】
・音声認識：ユーザの入力音声を音素に分解して各音素を認識することである。・対話状況：ユーザと装置側の一連の対話において、「挨拶」「確認」「回答」等、対話の各段階をいう。
【００１１】
・とまどいを表す表現：装置の出力をユーザが認識出来なかったときにユーザが表す音声や態度の表現をいう。
【００１２】
・出力データに組み込まれる単語の変形：装置からユーザに音声出力される出力データに組み込まれる単語の出力の仕方の態様を変えることをいう。
【００１３】
・ユーザの割り込み音声：装置側からの出力中に、ユーザが何らかの割り込みをかけるために発声する音声をいう。
【００１４】
・入力音声の認識確実度：ユーザの入力音声を音声認識するときの認識の確実度をいう。
【００１５】
・付加語：装置からの出力データ中に組み込まれる単語や文字等を説明するために、その直前か直後に付加される用語をいう。
この発明は以下のように構成される。
【００１６】
（１）音声が入力される音声入力部と、
入力音声の音声認識を行う音声認識部と、
装置から音声出力する出力データをユーザとの対話状況別に記憶する出力データテーブルと、
音声認識結果から対話状況を判定し、そのときに出力すべき出力データを前記出力データテーブルから選択する出力データ選択手段と、
選択された出力データを音声出力する音声出力部と、
装置からの音声出力に対するユーザのとまどいを表す音声を音声認識結果から検出する手段と、
前記とまどいを表す音声を検出したときに出力データに組み込まれる単語を変形して前記音声出力部で再出力させる変形手段と、
を備えてなる。
【００１７】
音声の入力部は、例えばマイクロフォンで構成される。入力音声から音声認識を行う音声認識部は、ユーザが入力する音声の音素を検出する。例えば、ユーザが「わたし」と話した場合、音声認識部では「わ」「た」「し」を各音素として認識する。この音声認識手法には、音声データから線形予測係数やフーリエスペクトル係数などの特徴パターンを抽出し、これと辞書に記憶されているパターンとのマッチングを行って認識を行うパターンマッチング手法や、その他、隠れ（Ｈｉｄｄｅｎ）マルコフ法を用いた音声認識法や、シンタックス認識法などの周知の方法が用いられる。なお、パターンマッチング手法では、ユーザによって発声速度が異なる相違を吸収するＤＰ（ダイナミックプログラミング）パターンマッチング手法が一般に採用されている。また、音声認識では、各音素の認識と共に形態素解析を行って単語や品詞の認識も行うことができる。この発明では、単語や品詞の認識を音声認識部で行っても行わなくてもよい。
【００１８】
出力データテーブルは、ユーザとの対話状況別に装置から音声出力するデータを記憶する。対話状況別とは、例えば、一連の対話において、まず挨拶があり、次にユーザの発した音声を確認し、さらに、ユーザからの質問を認識して回答するといった対話における状況を意味する。この対話状況別に、あらかじめ、出力データテーブルで記憶することにより、このテーブルの内容を更新することによってどのような場面にも対応することが可能になる。なお、出力データは、固定データと組み込みデータ（単語等）で結合されている。固定データはシステム上あらかじめ固定された音声パターンデータであり、組み込みデータは、ユーザから入力された音声をそのまま返すための音声パターンデータと、システムにおいて動的に生成した音声パターンデータとに区別される。通常、対話状況が「確認」のタイプの場合には、組み込みデータはユーザからの入力音声をそのまま返す音声パターンとなり、対話状況が「回答」のタイプの場合には、組み込みデータが動的に生成した音声パターンとなる。
【００１９】
出力データ選択手段は、音声認識結果から対話状況を判定し、その時に出力すべき出力データを上記テーブルから選択する。また、出力手段は上記選択された出力データをスピーカ等から出力する。この時に、出力データ中の組み込みデータが対話状況に応じて生成される。
【００２０】
上記出力手段で出力された出力音声に対して、ユーザが、「えっ」などのとまどいを表す音声を検出すると、出力データに組み込まれる組み込みデータを変形して再出力する。とまどいとは、装置の出力をユーザが認識出来なかった結果、発声する表現を言う。「えっ」等の他、「なにっ」等の表現もとまどいを表す一形態である。このとまどいを検出すると、例えば、前回よりも「音量大」「速度低」の変形対応で再出力する。とまどいを表す音声が認識されない場合には、次の対話に入る。
【００２１】
（２）音声が入力される音声入力部と、
入力音声の音声認識を行う音声認識部と、
装置から音声出力する出力データをユーザとの対話状況別に記憶する出力データテーブルと、
音声認識結果から対話状況を判定し、そのときに出力すべき出力データを前記出力データテーブルから選択する出力データ選択手段と、
選択された出力データを音声出力する音声出力部と、
装置からの音声出力に対するユーザの割込音声を音声認識結果から検出する手段と、
前記割込音声を検出したときに出力データに組み込まれる単語を変形して前記音声出力部で再出力させる変形手段と、
を備えてなる。
【００２２】
この発明では、ユーザから割り込み要求が音声であると、出力データに組み込まれるデータ（単語等）を変形して再出力する。割り込み音声には、例えば、「もういちど」や「もっとくわしく」などの音声がある。
【００２３】
（３）音声が入力される音声入力部と、
入力音声の音声認識を行う音声認識部と、
装置から音声出力する出力データをユーザとの対話状況別に記憶する出力データテーブルと、
音声認識結果から対話状況を判定し、そのときに出力すべき出力データを前記出力データテーブルから選択する出力データ選択手段と、
選択された出力データを音声出力する音声出力部と、
ユーザを撮像する撮像手段と、
装置からの音声出力に対するユーザのとまどいの状態を前記撮像手段で撮像したユーザの画像から検出する手段と、
前記とまどいの状態をユーザの画像から検出したときに出力データに組み込まれる単語を変形して前記音声出力部でで再出力させる変形手段と、を備えてなる。
【００２４】
この発明では、ユーザのとまどいの状態を撮像手段で撮像したユーザ画像から検出する。例えば、ユーザが両手を広げて装置の発する音声出力の意味が理解できていないポーズをとったとき、ユーザがとまどっていると判断する。この場合の画像処理では、ユーザの両手に対応する画像を注目し、その両手が左右に広げられたことを検出した時にとまどいの状態になったと判断する。
【００２５】
（４）音声が入力される音声入力部と、
入力音声の音声認識を行う音声認識部と、
装置から音声出力する出力データをユーザとの対話状況別に記憶する出力データテーブルと、
音声認識結果から対話状況を判定し、そのときに出力すべき出力データを前記出力データテーブルから選択する出力データ選択手段と、
選択された出力データを音声出力する音声出力部と、
入力音声の認識確実度を検出し、その確実度がしきい値以下の時に出力データに組み込まれる単語を変形して前記音声出力部で再出力させる変形手段と、を備えてなる。
【００２６】
この発明では、周囲の雑音状況等によってユーザの入力音声が確実に認識できなかった場合、出力データに組み込まれる単語を変形する。この発明は、ユーザが発した音声の内容を確認する場合に適用される。例えば、ユーザが「おおさかのめいしょは」と音声入力した場合、装置が「おおさかでよろしいですか」と確認の出力データを出力するが、この時に、ユーザからの入力音声の認識確実度がしきい値以下の場合、出力データに組み込まれる単語である「おおさか」をゆっくりと確実に出力する。あるいは、音量を上げて出力する。これにより、ユーザは装置側認識手段による認識の程度をまちがいなく知ることができ、まちがっていなければ「はい」などの肯定の返答をし、まちがっている場合には「いいえ」などの否定の応答をすることになる。装置側は、上記肯定の返答の音声入力を認識した時には、次の対話に入り、否定の返答の音声入力を認識した時には、さらに速度を遅くして音声出力を繰り返したり、またはさらに音量を上げて音声出力を繰り返すなどの変形出力動作を行う。
【００２７】
（５）出力データに組み込まれる単語を説明するための付加語を記憶する単語別付加語テーブルを備え、前記変形手段は、前記単語に付加語を加えた音声を出力することで変形する。
【００２８】
出力データに組み込まれる音声の変形には、その出力音声の内容がよりわかりやすくするために、付加語を加えて音声出力することが可能である。付加語とは、出力データに組み込まれる単語を説明するための用語である。例えば、対象となる単語が「はし」の場合、付加語として「ブリッジ」が当該単語に加えられる。したがって、この場合には、「ブリッジのはし」と出力される。この付加語が加えられる変形が行われる場合は、ユーザから「えっ」等のとまどいを表す音声入力があった場合などである。
【００２９】
（６）出力データに組み込まれる単語の各文字を説明するための文字別付加語を記憶する付加語テーブルを備え、前記変形手段は、前記単語を構成する各文字に付加語を加えた音声を出力することで変形する。
【００３０】
付加語には、上記（５）のように単語に対する付加語のほか、単語を構成する各文字に対する付加語もある。例えば、「とうきょう」の音声出力を行う場合に、付加語として「ひがしのとう」を加える。したがって、全体として「ひがしのとうのとうきょう」と音声出力することになる。このような変形が行われる場合は、例えば上記（５）で単語に付加語を加えて音声出力しても、ユーザから「えっ」等の音声入力があったときである。すなわち、単語に付加語を加えて音声出力するよりも、単語を構成する各文字毎の付加語を加えて音声出力する方が、ユーザにとってより理解し易いと思われる場合にこの（６）の変形が行われる。
【００３１】
（７）音声が入力される音声入力部と、
入力音声の音声認識を行う音声認識部と、
入力音声を装置側で復唱するために、音声認識した結果を出力データとして生成する手段と、
出力データを音声出力する音声出力部と、
出力データに組み込まれる単語を説明するための付加語を記憶する単語別付加語テーブルと、前記組み込まれる単語をその単語に付加語を加えたものに変形して前記出力手段で再出力させる変形手段と、を備えてなる。
【００３２】
この発明は、ユーザ発声の全文を音声認識する音声入力システムに適用されるものである。例えば、紙に書かれた原稿をユーザが読み上げて電子化データにする場合にこの装置が使用される。すなわち、ユーザが原稿をある一定量読み上げ、装置が音声認識して同じ内容を音声出力する。この時、同音異義語がある場合には、装置側が音声出力する単語に付加語を加える。付加語を加えることによって理解され得る単語の表記、すなわち漢字がちがう場合にはユーザが音声により訂正を入力する。これを繰り返すことによって音声入力だけで電子化データを作成することができる。
【００３３】
（８）前記変形された単語の組み込まれた出力データが出力された後に、ユーザから付加語を加えた単語が訂正単語として音声入力されたとき、該当の単語をその入力された訂正単語に変換する手段と、前記単語別付加語テーブルにユーザから音声入力された付加語が未登録のとき、同音異義の単語とその付加語を順次、候補として音声出力し、ユーザから正しい付加語であることを表す入力があると、該当の単語をそのときの候補の付加語として前記単語別付加語テーブルに追加するテーブル更新手段と、を備えてなる。
【００３４】
この発明では、上記（７）の装置において、ユーザから付加語を加えた単語が訂正単語として音声入力された時に、該当する単語をその入力された訂正単語に変換して再度出力する。また、この時にユーザから音声入力された付加語が未登録の場合には、同音異義語の単語とその付加語を順次、候補として音声出力していく。正しい付加語が音声出力された時に、ユーザからそれが正しい付加語であることを表す音声（例えば「はい」）の入力があり、この時にその候補の付加語が新たにテーブルに記憶される。この一連の動作によって自動的に単語別付加語テーブルが学習し、使うにしたがって能力の高い音声出力装置にすることができる。
【００３５】
（９）前記変形手段により出力データに組み込まれる単語を変形して音声出力部で出力するときに、その組み込まれる単語の出力時にランプ、ブザー、バイブレータなどの音声外手段による報知を行う報知手段を備える。
【００３６】
この発明は、出力データに組み込まれる単語を変形して再出力する時に、その組み込まれる単語の出力時に、ランプやブザーあるはバイブレータなどの音声外手段による報知を行うようにしているので、ユーザに対して、重要な情報やユーザの音声認識が確実でない場合など、特にユーザに対して強調すべき点を簡単に知らせることができる。
【００３７】
【発明の実施の形態】
図１は、この発明の実施形態である音声出力装置を使用した場面のイメージ図を示している。この音声出力装置は、街頭、役所、ホテルなどに設置される情報端末を示している。このような情報端末に代えて、電話などを用いた音声による対話システムにもこの音声出力装置を適用することができる。
【００３８】
図において、音声出力装置にユーザが接近すると、音声出力装置から「いらっしゃいませ。観光案内センターです。」と音声出力する。この音声出力は、重要でない情報であるために、速く且つさらっと出力される。ユーザは、この案内を聞くと、例えば、「長岡京市にあるお勧めの場所は？」と聞く。音声出力装置はこのユーザからの音声出力を認識した後、その対話状況を判定して、その時に出力すべき音声出力パターン（出力データ）をテーブルから選択して音声出力する。この時、「長岡京市」のユーザの音声が十分に認識できなかった場合には、「ながおかきょうし」とゆっくり確実に記憶し、その後の「でよろしいですか」は速くさらっと出力する。つまり、音声認識の認識確実度がある一定のしきい値以下の時には、音声認識に自信がないものとして、重要な情報（後述するように、この情報は全体の出力データ組み込まれる単語である）を、ユーザに確実に確認されるように変形して出力する。
【００３９】
装置からの上記の「ながおかきょうし」（ゆっくり確実な出力）「でよろしいですか」（速くさらっと出力）の出力に対し、ユーザから肯定を表す音声として「はい」が発声され、これが認識されると、装置は「こうみょうじ」（重要な情報としてゆっくり確実に出力する）が「がおすすめです」（重要でない情報として速くさらっと出力）を出力する。この時、ユーザは、「こうみょうじ」がわからないとすると、とまどいを表す音声として「えっ」を発声する。装置はこの「えっ」を認識すると、「こうみょうじ」がわからなかったものと見なし、これを難読語として扱い、付加語を追加して再度出力する。付加語には、単語自体を説明する付加語と、単語を構成する各文字を説明する付加語とがある。図１に示す例では、「こうみょうじ」の単語を構成する文字は「こう」「みょう」「じ」であり、これらの各文字を付加語で説明するようにしている。すなわち、装置は、「ひかる  あかりの  てらの  こうみょうじ」（ゆっくり確実に出力）「がおすすめです」（速くさらっと出力）の出力を行う。
【００４０】
上記の例では、「こうみょうじ」は難読語として扱い、これを各文字毎の付加語を追加することで再出力するようにしている。また、難読語ではなく同音異義語を出力する場合にも、同様に単語または単語を構成する各文字の付加語を追加して再出力する。このようにして、ユーザと装置側で対話を行い、装置側は状況別にあらかじめテーブルに記憶されている音声データを選択して出力すると共に、その音声データに組み込まれている単語を、その時の状況に基づいて変形して出力する。なお、全体の出力データに組み込まれる単語等には、ユーザによる入力をそのまま返すものと、装置自身が動的に生成するものとがある。図１に示す例では、「ながおかきょうし」はユーザによる入力を返す単語であり、「こうみょうじ」は装置側で動的に生成される単語である。
【００４１】
後述のように、この全体の出力データに組み込まれる単語をユーザによる入力を返す単語とするか装置で動的に生成する単語とするかをあらかじめ対話状況別に記憶している。例えば、対話状況が最初の「挨拶」のタイプである場合には、出力データは固定であってその中に組み込まれる単語はない。上記の例では、「いらっしゃいませ。観光案内センターです。」はこのタイプが「挨拶」の場合の出力データである。また、対話状況が「確認」のタイプの場合には、全体の出力データに組み込まれる単語は、ユーザによる入力を返す単語である。図１に示す例では、「ながおかきょうしでよろしいですか」の「ながおかきょうし」が組み込まれる単語である。また、対話状況が「簡易回答」のタイプである場合には、全体の出力データに組み込まれる単語は装置側で動的に生成する単語となる。図１に示す例では、「こうみょうじがおすすめです。」の出力データのうち、「こうみょうじ」が組み込まれる単語であって、装置側で動的に生成される部分となる。
【００４２】
図２は、上記音声出力装置のシステム構成図を示している。音声の入力部として、マイクロフォンから構成される入力装置１が用いられ、音声出力パターンである出力データを出力する出力手段として、スピーカからなる出力装置２が用いられる。これらの入力装置１、出力装置２は、対話システムを制御するオペレーティングシステム３との間でデータのやりとりを行い、このオペレーティングシステム３には、音声出力プログラムに基づく対話処理を行う対話処理アプリケーションプログラム４がインプリメントされる。外部記録媒体５は、このシステムに対して対話処理アプリケーション４を提供したり、データを提供する。また、ハードディスクなどの高速記録媒体を採用することによって、システムの常駐領域やユーザ領域として提供することもできる。
【００４３】
図３は、上記対話処理アプリケーション４を構成する概略ブロック図である。なお、対話処理アプリケーション４は、ここでは、プログラムと共にデータの記憶エリアも含む概念とする。
【００４４】
図３において、入力・認識部１０１は、入力装置１から入力した音声データを処理、解析し、音声認識を行う。先に述べたように、音声認識には、ＤＰパターンマッチング法や隠れマルコフ法などの周知の音声認識手法が採用され、例えば、「わたし」と入力された場合、これを「わ」「た」「し」のように、音素毎に認識する。また、これらの認識した音素に基づいて、構文解析を行って意味の認識を行う。構文解析には、いわゆる形態素解析が採用される。例えば、上記「わ」「た」「し」の音素を認識した時、これを、「私」と認識する。
【００４５】
対話処理部１０２は、入力・認識部１０１からの結果を受けて、ユーザに返答すべき内容を決定する部分である。ここでは、出力データテーブル１０３を参照して内容を決定する。出力データテーブル１０３は、装置からの出力データをユーザとの対話状況別に記憶する部分である。図４に、この出力データテーブルの構成例を示す。このテーブルは、出力データ（音声出力パターン）とタイプとを記憶する。タイプは、ユーザとの対話状況を示している。対話状況別に、すなわちタイプ別に出力データを記憶している。各出力データには、＜ｘｘｘ＞と＜ｙｙｙ＞およびその後ろに続く（）で示す変形属性を含んでいる。＜ｘｘｘ＞および＜ｙｙｙ＞は、変形の対象となる単語を示している。＜ｘｘｘ＞は、ユーザによる入力がそのまま返される部分であり、＜ｙｙｙ＞はシステム側が動的に生成した結果が挿入される部分である。図１に示す例では、「ながおかきょうし」が＜ｘｘｘ＞であり、「こうみょうじ」が＜ｙｙｙ＞に対応している。全体の出力データに、＜ｘｘｘ＞  および＜ｙｙｙ＞の部分が組み込まれる。（）で示される変形属性については後述する。
【００４６】
出力内容を変形する変形部１０４は、上記対話処理部１０２で選択された出力データを変形する部分である。この変形部１０４では、文字別付加語テーブル１０５、単語別付加語テーブル１０６、変形カウンタ１０７および変形内容テーブル１０８が参照される。
【００４７】
図５は変形内容テーブル１０８の構成例を示す。このテーブルは、変形の型（属性に対応している）と具体的な変形内容を定義している。例えば、型が変形０であれば、変形内容は「変形なし」である。すなわち変形をしない。型が変形１の場合には、変形内容は「音量大」「速度低」である。すなわち、対象となっている＜ｘｘｘ＞または＜ｙｙｙ＞の音量出力を大きくし、且つ音声出力速度を低くすることによって、大きくて且つゆっくり話すように制御する。同図に示すように、変形内容としては、音量の変化、速度の変化、単語の繰り返しの有無、説明用の付加語の有無などがある。
【００４８】
図６は、文字別付加語テーブル１０５の構成例を示す。
【００４９】
このテーブルは、漢字１文字とその文字を説明するための付加語で構成される。この実施例では、この文字別付加語テーブルは、後述するように、単語別付加語テーブルにない単語を説明する場合に、各単語を１文字毎に区切って説明する場合に使用される。
【００５０】
図７は単語別付加語テーブル１０６の構成例を示す。このテーブルは、単語の文字列と、その単語を説明するための付加語で構成される。
【００５１】
図８は変形カウンタ１０７の構成例である。このカウンタは、単語と、その単語について過去に変形が施された回数を格納するカウント部で構成される。カウンタの値は、指定された単語に対して変形を施すかどうかを決定するために使用される。この値が大きいほど、変形を行わない可能性が高くなり、この値が小さいほど変形を行う可能性が高くなる。
【００５２】
次に、図９を参照して概略の動作を説明する。
【００５３】
・ＳＴ１０１  変形カウンタ１０７を０クリアする。変形カウンタ１０７は、その値を参照することによって変形を行うかどうかを決定するのに使用される。その値が小さい場合には変形が行われ、大きければ変形が行われない。ＳＴ１０１でこのカウンタを０クリアすることによって、変形が行われるよう初期設定する。
【００５４】
・ＳＴ１０２  ユーザからの入力音声データから音声認識を行い、且つ形態素解析を行って単語列を得る。また、単語毎の認識確実度も得る。なお、音声認識を行う時にその認識の確実度を得る技術は一般的である。例えば、ＤＰマッチング法において、リファレンスデータ（参照データ）との相関値を得ることで認識確実度を数値的に求めることが可能である。
【００５５】
・ＳＴ１０３  音声出力部において、現在付加語を出力中かどうかを判断する。付加語を出力中に、ＳＴ１０２で入力音声を認識する場合とは、ユーザから「わかった」などの煩わしさを表現する音声入力があった時である。したがって、この時には、ＳＴ１０４で付加語の出力を中断して、変形カウンタ１０７を無限大にセットする（ＳＴ１０５）。このＳＴ１０３〜１０５の動作は、付加語の出力中にユーザからの割り込み入力があった場合、その付加語の説明はユーザが煩わしく感じていると判断して、その語を、付加語の出力を行わないようにするものである。
【００５６】
・ＳＴ１０６  ＳＴ１０２で認識された入力音声が「えっ」や「なにっ」などのとまどいを表現する音声や、「詳しく」などの詳細要求を表す音声であった場合、ＳＴ１０７において、変形カウンタ１０７を０クリアする。この動作は、装置からの音声出力をユーザが認識できなかったかまたは詳細な説明を求めていることを示す。そこで、この場合には、変形カウンタを０クリアして、出力データテーブルに記述されている変形内容に基づいて変形を行うようにする。
【００５７】
・ＳＴ１０８  現在の対話状況に基づいて、システムが出力すべきデータを出力データテーブル１０３から選択する。一般には、出力データの選択は、テーブルの最小の位置のものから順に選択されていく。図４に示す例では、最初が、「挨拶」のタイプの出力データが、次に「確認」のタイプの出力データが、というふうに上から順番に選択されていく。上から順番に出力データを選択する方法に限らず、その時の対話状況に応じて、ダイナミックに出力データを選択することも可能である。
【００５８】
・ＳＴ１０９−ＳＴ１１１  ここでは、選択された出力データに組み込まれる変形対象単語のそれぞれに対して後述の変形処理を施す。
【００５９】
・ＳＴ１１２  変形後のデータを音声合成して出力する。
【００６０】
・ＳＴ１１３  今回の出力が直前の出力の単なる繰り返しであるかどうかを判定する。もし、繰り返しでないなら、その出力に組み込まれる変形対象単語のすべてに対して変形カウンタ１０７をインクリメントする。この動作は、過去に変形を施した回数が多いほど、ユーザが単語の内容を正しく理解したとして、変形を行わないようにすることを意味する。
【００６１】
上記の動作を終えて、再びＳＴ１０２に戻り新たな入力を待つ。
【００６２】
図１０は、上記ＳＴ１１０の変形処理部の制御フローを示す。
【００６３】
・ＳＴ２０１・ＳＴ２０２  変形対象単語がユーザによる入力を介すもの（＜ｘｘｘ＞に相当）で、且つ音声認識の確実度が所定値よりも低かった場合、その単語に対して該当する変形の属性をつける（ＳＴ２０４）。図１に示す例では、「長岡京市」のユーザ発話があり、この音声認識の確実度が低かった場合、ＳＴ２０４に進んで、この該当単語に対して変形属性がつけられる。この時の変形属性は、図４の「確認」のタイプの対話状況であるために「変形１」である。すなわち、実際の変形では、図５から「音量大」「速度低」となる。
【００６４】
・ＳＴ２０３  変形対象単語がシステム側で動的に生成する部分（＜ｙｙｙ＞に相当）であって、且つ変形カウンタ１０７が一定値を越えていない場合に、その単語に対して該当する変形の属性をつける（ＳＴ２０４）。図１に示す例では、システム側から「こうみょうじがおすすめです。」と「簡易回答」のタイプの対話状況で出力する場合に、変形カウンタ１０７が一定値を越えていない場合に「変形２」が属性としてつけられる。したがって、「こうみょうじ」（ゆっくり確実に出力）「がおすすめです。」（速くさらっと出力）となる。
【００６５】
図１１は、図９のＳＴ１１２の音声合成部の制御フローである。
【００６６】
・ＳＴ３０１  変形の内容に「付加語あり」がある場合には、ＳＴ３０２に進む。ここでは、該当する対象単語が単語別付加語テーブル１０６に含まれているかどうかを判定し、含まれている場合には、対応する付加語を生成し（ＳＴ３０３）、この付加語を対象単語の直前に挿入する（ＳＴ３０４）。そうでない場合には、その単語に含まれる文字のそれぞれに対して、文字別付加語テーブル１０５を使用して各文字の付加語を取得し、助詞「に」などを付加語間に挿入して１つの付加語列を生成する（ＳＴ３０５）。この付加語を、対象単語の直後に挿入する（ＳＴ３０６）。また、付加語の部分に対して音色変更の属性を設定することも可能である。ＳＴ３０７ではこの処理を行い、付加語と該当の対象単語等を耳で聞いて区別可能にする。
【００６７】
・ＳＴ３０８  変形の内容にしたがって音響的処理を施して、音声合成を行う。
【００６８】
図１２は、この発明の他の実施形態の音声出力装置を使用したシステムのイメージ図を示す。
【００６９】
このシステムは、ユーザが発声した全文を音声認識する音声入力システムである。例えば、ユーザが紙に書かれた原稿を読み上げてこれを正確に電子化データにする場合に利用される。この音声入力システムでは、正しい電子化データを作成するために、同音異義語などがあった場合に誤った認識を防ぐためにユーザとの間で対話処理を行う。図１２に示す例では、ユーザが、最初に「あの橋に気をつけてください」と発声した場面のイメージを示している。この場合、システムの音声認識結果が「あの端に気をつけてください」だったとする。すなわち、システムは、「橋」を「端」と誤って認識している。この場合には、システムは「橋」と「端」を区別するために付加語「はしっこ」を付加する。すなわち、システムは「あのはしっこの端に気をつけてください。」と音声出力する。この時、ユーザはシステムが認識まちがいをしていることを知ることになるから、「繰り返し」や「訂正」などの制御単語を発声して訂正のための対話に入る。例えば、訂正しようとする時、ユーザは「訂正○○○の○○」のように付加語を用いて単語を特定する。図１２に示す例では、「訂正○ブリッジのはし」と発声する。システムは、この時、「ブリッジの」が「橋」を特定する付加語としてシステムに登録されているかどうかを判断する。登録されている場合には、訂正処理を行って再度音声出力する。すなわち、「あのブリッジの橋に気をつけてください」と音声出力する。もし、「ブリッジの」が「橋」を特定する付加語としてシステムに登録されていなかった場合には、認識候補として可能なものを順に付加語をつけて出力していく。ユーザが、出力された候補が誤っている場合は、「いいえ」の否定を表現する単語を発声する。システムが否定を認識すると、次の認識候補を出力する。この繰り返しにより、ユーザが求める単語が音声出力された時点で、ユーザが「はい」の肯定の表現を発声する機会が訪れる。すると、システムは認識結果を訂正すると共に、ユーザが使用した「ブリッジの」という付加語を新たにシステムに追加更新する。これ以降は「ブリッジの」が「橋」を特定する付加語として使用できるようになる。
【００７０】
図１２に示す例では、
・ユーザが、「あの橋に気をつけてください」と発声した後、システムが誤った認識結果をしていることを知って、「繰り返し」の単語を発声し、システムがそれを認識して再度同じ内容を音声出力し、
・ユーザが「訂正  ブリッジのはし」と発声し、システムが「ごはんを食べる箸ですか」を最初の候補として出力し、
・ユーザが「いいえ」と発声し、システムが次の候補として「渡る橋ですか」と出力し、
ユーザが「はい」と発声し、システムが「訂正しました。このブリッジの橋に気をつけてください。」と出力する。
【００７１】
上記システムの構成図は図３に示す構成と同様である。また、主な制御フローについても図９に示すフローと同様である。図１３は、ユーザが「訂正○○○の○○」の発声を行って訂正処理を行う場合の制御フローである。
【００７２】
・ＳＴ６０１  ここでは、入力音声を認識した結果（図９のＳＴ１０２）が訂正コマンドに相当するものであるかどうかを判定する。すなわち、ユーザから「訂正○○○の○○」と発声されたかどうかを判定する。訂正コマンドの場合にはＳＴ６０２以下を処理する。
【００７３】
・ＳＴ６０２  ユーザの発声した訂正コマンドのタイミングから、ユーザがシステムの出力データのどの単語を訂正使用としているかを特定する。図２に示す例では、ユーザの「繰り返し」の発声を認識してシステムが「あのはしっこの」を音声出力した直後にユーザが「訂正」と発声しているために、システムは「あのはしっこの」と音声出力した直後の単語が訂正すべき対象を単語として特定する。
【００７４】
・ＳＴ６０３  訂正コマンド中に含まれる訂正後と付加語を抽出する。図１２に示す例では、訂正後が「はし」であり、付加語が「ブリッジの」である。
【００７５】
・ＳＴ６０４  上記訂正後と付加語がシステムの持つ文字別付加語テーブル１０５または単語別付加語テーブル１０６に登録済みであるかどうかを判定する。登録済みであれば、ＳＴ６０５に進んでその付加語に対応する語を選択する。もしそうでない場合には、ＳＴ６０６で、同音異義語などの認識候補語を登録済みの付加語と共に順に出力していき、ユーザに確認を求める。
【００７６】
・ＳＴ６０７  ここでは、順次出力されていく候補の出力中にユーザの求める語があったかどうかを判定する。この判定は、ユーザから「いいえ」または「はい」などの否定または肯定の表現の発声があったかどうかで行う。ユーザの求める語があった場合には、ＳＴ６０８においてその付加語を新たに単語別付加語テーブルまたが文字別付加語テーブルに登録し、そうでない場合には見つからなかった旨を出力してユーザに原文の再入力を促す。
【００７７】
．ＳＴ６０９  続いて認識内容を訂正し、訂正結果を音声出力して（ＳＴ６０１）元に戻る。
【００７８】
図１４は、この発明の他の実施形態である音声出力装置を使用したシステムのイメージ図である。
【００７９】
このシステムは、図１に示す装置にカメラを取り付けたものである。このカメラはユーザのとまどい検知を行う。図１に示す例では、ユーザはシステムの音声出力の内容がわからなかった時「えっ」「なにっ」などの発声を行うことでとまどいを表現しているが、ユーザがとまどいを感じる時には例えば両手を広げるようにするという慣習やくせがある。また、あらかじめルールとして決めておいてもよい。このような場合、画像によってこの手の広がった状態を検出することによりユーザがとまどい状態にあることを検出することができる。したがって、この場合にはユーザは「えっ」や「なにっ」などの発声をしなくても手を広げるだけでシステムに対してとまどいを知らせることが可能になる。
【００８０】
図１５は、この発明の他の実施形態の音声出力装置を用いたシステムのイメージ図である。
【００８１】
このシステムでは、出力データを変形する操作に加えて、組み込まれる単語を出力する時に出力タイミングに合わせてランプを点灯または点滅させる。図１５に示す例では、音声認識の確実度が一定以下の場合に、その対象となる単語（音声認識に自信のないところ）を音声出力する時、同時にランプを点滅させる。また、システム側で動的に生成する重要な情報を出力する部分についてもランプを点滅させる。したがって、図１５に示すイメージ図では、「ながおかきょうし」と「こうみょうじ」がランプを点滅させながら音声出力される。
【００８２】
上記のランプの点滅動作はそれらの単語に対する音声変形処理を行わずに独立して行ってもよい。
【００８３】
図１６は、この発明の他の実施形態の音声出力装置を用いたシステムのイメージ図を示す。
【００８４】
このシステムでは、図１５のランプに代えてバイブレータを用いている。すなわち、ランプの点滅に代えてバイブレータを振動させる。この場合、バイブレータはユーザが持つことになる。
【００８５】
この他、ランプやバイブレータに代えて小出力のブザーを用いることも可能である。
【００９２】
【発明の効果】
この発明によれば、ユーザが発声した全文を音声認識して電子化データにするシステムにおいて、同音異義語や難解な単語が存在する場合であっても、付加語を加えて確認出力することで誤った電子化データが作成されないようにすることができる。
【００９３】
また、装置側で付加語が未登録の場合であっても、候補となるものを順次出力し、意味的に正しい付加語が出力された時のユーザからの肯定を表す音声出力に基づいてその付加語を新たな付加語として登録できるために、付加語テーブルを学習更新させることができるから、使用回数にしたがってより正確でスムーズな対話が可能になってくる。
【図面の簡単な説明】
【図１】この発明の実施形態である音声出力装置を適用したシステムのイメージ図
【図２】システム構成を示す図
【図３】システムの概略ブロック図
【図４】出力データテーブルの構成例
【図５】変形内容テーブルの構成例
【図６】文字別付加語構成例
【図７】単語別付加語構成例
【図８】変形カウンタの構成例
【図９】概略フローを示す図
【図１０】変形処理部の制御フローを示す図
【図１１】音声合成部の制御フローを示す図
【図１２】他の実施形態の音声出力装置を用いたシステムのイメージ図
【図１３】訂正処理部の制御フローを示す図
【図１４】他の実施形態の音声出力装置を用いたシステムのイメージ図
【図１５】さらに他の音声出力装置を使用したシステムのイメージ図
【図１６】さらに他の音声出力装置を使用したシステムのイメージ図
【図１】
0003797003.tif 000002
【図２】
0003797003.tif 000003
【図３】
0003797003.tif 000004
【図４】
0003797003.tif 000005
【図５】
0003797003.tif 000006
【図６】
0003797003.tif 000007
【図７】
0003797003.tif 000008
【図８】
0003797003.tif 000009
【図９】
0003797003.tif 000010
【図１０】
0003797003.tif 000011
【図１１】
0003797003.tif 000012
【図１２】
0003797003.tif 000013
【図１３】
0003797003.tif 000014
【図１４】
0003797003.tif 000015
【図１５】
0003797003.tif 000016
【図１６】
0003797003.tif 000017