(57)【特許請求の範囲】
【請求項１】
少なくとも１つのテキスト成分がその音声認識の正しさに関する信頼性レベルを有する、音声信号の音声認識により取得されるテキストの校正を支援する方法であって、
音声認識手段により、音声信号からテキスト成分を生成するステップと、
計算手段により、前記音声認識手段により取得された前記テキスト成分から前記信頼性のレベルを計算するステップと、
設定手段により、前記信頼性のレベルが増加する場合に前記テキスト成分に対応する前記音声信号の一部の再生速度の勾配を正に設定し、前記信頼性のレベルが減少する場合に前記再生速度の勾配を負に設定するステップと、
を含む方法。
【請求項２】
前記音声信号の時間的に隣接する部分の再生速度が調節される、
ことを特徴とする請求項１記載の方法。
【請求項３】
前記音声信号の一部の再生速度の勾配は、前記音声信号の一部のピッチの勾配を変えることなしに制御される、
ことを特徴とする請求項１記載の方法。
【請求項４】
分割手段により、前記信頼性レベルの値のレンジをサブレンジに分割するステップと、
前記設定手段により、前記サブレンジが増加する場合に前記テキスト成分に対応する前記音声信号の一部の再生速度の勾配を正に設定し、前記サブレンジが減少する場合に前記再生速度の勾配を負に設定するステップと、
を更に含む請求項１記載の方法。
【請求項５】
前記テキスト成分の前記信頼性レベルは、聴覚的及び／又は視覚的に記録される、
ことを特徴とする請求項１記載の方法。
【請求項６】
前記再生速度の勾配と前記テキスト成分の信頼性レベルの間の依存性、
及び／又は前記音声信号の時間的に隣接する部分の再生速度の勾配に関する調節の程度、
及び／又は前記信頼性レベルのサブレンジ、
及び／又は前記テキスト成分の信頼性レベルに関する聴覚的な記録又は視覚的な記録の方法は、当該方法を実施する装置を利用するユーザにより適合させることができる、
ことを特徴とする請求項１記載の方法。
【請求項７】
少なくとも１つのテキスト成分がその音声認識の正しさに関する信頼性レベルを有する、音声信号の音声認識により取得されたテキストの校正を支援する装置であって、
音声信号からテキスト成分を生成する音声認識手段と、
前記音声認識手段により取得された前記テキスト成分から前記信頼性のレベルを計算する計算手段と、
前記信頼性のレベルが増加する場合に前記テキスト成分に対応する前記音声信号の一部の再生速度の勾配を正に設定し、前記信頼性のレベルが減少する場合に前記再生速度の勾配を負に設定する設定手段と、
を有する装置。
【請求項８】
少なくとも１つのテキスト成分がその音声認識の正しさに関する信頼性レベルを有する、音声信号の音声認識により取得されたテキストの校正を支援する装置を有する音声認識システムであって、
音声信号からテキスト成分を生成する音声認識手段と、
前記音声認識手段により取得された前記テキスト成分から前記信頼性のレベルを計算する計算手段と、
前記信頼性のレベルが増加する場合に前記テキスト成分に対応する前記音声信号の一部の再生速度の勾配を正に設定し、前記信頼性のレベルが減少する場合に前記再生速度の勾配を負に設定する設定手段と、
を有する音声認識システム。
【請求項９】
少なくとも１つのテキスト成分がその音声認識の正しさに関する信頼性レベルを有し、前記テキスト成分に対応する音声信号の一部が既知である、音声信号の音声認識により取得されたテキストの校正を支援する方法であって、
音声認識手段により、音声信号からテキスト成分を生成するステップと、
計算手段により、前記音声認識手段により取得されたテキスト成分から前記信頼性のレベルを計算するステップと、
設定手段により、前記信頼性のレベルが増加する場合に前記テキスト成分に対応する前記音声信号の一部の再生速度の勾配を正に設定し、前記信頼性のレベルが減少する場合に前記再生速度の勾配を負に設定するステップと、
を含む方法。
【請求項１０】
音声信号の音声認識により取得されたテキストの校正をサポートする方法であって、
テキストの音声信号へのダイナミックプログラミングにより、テキスト成分に対応する音声信号の一部を決定するステップと、
計算手段により、前記テキスト成分の正しさに関する信頼性レベルを計算するステップと、
設定手段により、前記信頼性のレベルが増加する場合に前記テキスト成分に対応する前記音声信号の一部の再生速度の勾配を正に設定し、前記信頼性のレベルが減少する場合に前記再生速度の勾配を負に設定するステップと
を含む方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般に音声認識の分野に関し、特に、音声認識されたテキストの校正の分野に関する。
【０００２】
【従来の技術】
これまで、様々な音声認識システムが利用されてきており、ユーザは、音声認識システムにより書かれたテキストに自動的に転写するために、聴覚的にテキストをディクテーションすることができる。しかし、かかる音声認識システムは、自動的に生成されたテキストがエラーを通常含んでいるように、認識エラーを実際につくる。したがって、これらのシステムの幾つか、たとえば、Philips社からの製品FreeSpeech（登録商標）は、そのサプライパッケージにおいて補正エディタを含んでおり、音声認識エラーの手動的な補正を可能にしている。
【０００３】
FreeSpeechにおいて手動的な補正を支援するために、認識されたテキストを見て編集し、同時に原文をディクテーションするために聞くことが可能である。再生に関して、音声認識システムが音声認識プロセスの間にちょうど再生されたディクテーションの句に割当てるテキストの句が記録される。このテキストを校正するユーザは、ディクテーションに関する音声による再生を停止することができ、対応する制御を作動することにより、この再生を再開することができる。通信ポイントは、上方向又は下方向にスクロールすることにより選択することができるが、認識されたテキストにおいてテキストカーソルを位置合わせすることにより選択することもできる。さらに、ユーザは、ユーザ要求に従い手動的なディクテーションの再生速度を調節することもできる。
【０００４】
近年、その純粋な音声認識機能に加えて、多くの音声認識システムが信頼性のレベルを計算するための装置に設けられてきている。これらのレベルは、認識結果がどの位信頼することができるかに関して、定量的な結果を可能とする。理想的に、これらのレベルは、認識結果が正しいという可能性を表している。しかし、これらのレベルは、認識結果の一部がより信頼することができる相対的な指示、及び信頼性の低い指示のみを与えている。かかるレベルは、設計に依存して異なるレベルに関して計算される。多くのシステムは、それぞれの文、単語、音節について、或いは（たとえば、サブワードユニットとしてHidden Markov Models）システムの特別な内部構造のみから生じることがある大きなテキスト要素又は小さなテキスト要素について、信頼性レベルを計算する。
【０００５】
米国特許第6,006,183号は、音声認識システムを開示しており、その対応する表示特性を選択することにより、補正エディタ（かかるテキストを表示するためのユーザインターフェース）が信頼性レベルを示す。この表示特性は、フォントタイプ、ポイントサイズ、属性、作用（ボールド、イタリック、点滅等）、グレイの影（グレイスケールマップ）、及び色（１つの色の影、カラーマップ）を含んでいる。
【０００６】
たとえば、カラーシェーディングのようなこれら表示特性の多くは、一様に連続的に分散される信頼性レベルを完全に表すことができる。米国特許第6,006,183号は、適切な閾値の比較（それぞれのサブレンジの境界）を定義することにより、可能性のある信頼性に関する値を幾つかのサブレンジに結合することが有効であることを述べている。特に、１つのスコアの閾値との比較は、信頼性のある認識結果と信頼性のない認識結果の間で排他的に区別する場合がある。米国特許第6,006,183号は、補正エディタのユーザが表示特性を個々に適合させることができることを提供するものである。
【０００７】
したがって、表示特性の適切な選択により、ユーザは、信頼性の高いレベルの認識されたテキストを明確な方法で見ることができる。たとえば、ユーザは、信頼性のあるテキストを標準的な色に示し、信頼性のないテキストを赤に示す場合がある。明らかに、最後のステージは、好みに依存させることが可能である。信頼性のないテキスト成分のこのハイライト表示は、ユーザの注意をこれらのテキスト部分に引き付け、結果として、これらのテキスト部分に更に頻繁に起こる認識エラーを検出することが容易となる。特に、この手動的な補正についてのメカニカルな支援は、音声結果を補正するために必要とされる時間を低減する。
【０００８】
【課題を解決するための手段】
本発明の目的は、音声信号の音声認識から取得されたテキストの手動的な補正のための方法をさらに支援する方法及び装置を提供することにあり、また、該補正に要求される作業時間をさらに短縮することにある。
【０００９】
上記目的は第１に、少なくとも１つのテキスト成分がその音声認識の正しさについての信頼性レベルを有する、音声信号の音声認識により取得されたテキストの校正を支援する方法により達成される。本方法は、テキスト成分の信頼性レベルの機能として、テキスト成分に属する音声信号の一部の再生速度の勾配を制御するステップを含んでいる。
【００１０】
つぎに、上記目的は第２に、少なくとも１つのテキスト成分がその音声認識の正しさに関する信頼性レベルを有する、音声信号の音声認識により取得されたテキストの校正を支援するための装置により達成される。本装置は、テキスト成分の信頼性レベルの機能として、テキスト成分に属する音声信号の一部の再生速度の勾配を制御するために設計される。
【００１１】
このように、本発明は、信頼性がないとして検出された音声信号よりも、信頼できるとして検出された音声信号のテキスト成分について、速い再生速度を使用することを提案している。逆に、全体の音声信号は、エラーを認識するために十分な時間をユーザに与えるために、予め遅い再生速度で再生されなければならない。これにより、校正に必要な作業時間を短縮することができる。
【００１２】
これは、典型的なディクテーションの適用において現在の音声認識システムの低いエラーレートのために通常のケースである、音声信号の信頼することができるテキスト成分が支配的であるときに特に適用することができる。さらに、信頼性のないテキスト成分の再生速度を遅くすることにより、これらのテキスト部分を構成するときにユーザの注意が高められ、これらのテキスト成分において頻繁に生じる認識エラーを認識するために、より多くの時間をユーザに与えることができる。
請求項２から請求項６に特許請求される本発明の有利な実施の形態が組み合わされる場合がある。
【００１３】
簡易的な実施の形態では、本発明は、たとえば、認識されたテキストの成分に属する音声信号の一部、すなわち、単語、文、音節又は他のユニットは、該成分の信頼性のレベルに依存して、一定の速度で再生することができる。時間的に隣接するが、異なる信頼性からなる音声信号の一部の間の再生速度における突然の変化は、本方法のユーザにおける刺激を生じさせる。したがって、請求項２では、音声信号の時間的に隣接する再生速度の調節を実行することが請求されている。全体的に、突然又は急峻な変化なしに、音声信号の再生速度のスムースな時間的勾配が与えられる。
【００１４】
音声信号の時間的に隣接する部分の再生速度のかかる調節は、たとえば、抑制されている再生信号における所定の変化を生じる場合がある。このように、たとえば、比較的短い信頼性のあるテキスト成分が、音声信号の２つの信頼性のないテキスト成分の間にある状況が生じる場合がある。かかる状況において、校正するユーザを混乱させないために、信頼性のないテキスト成分の信頼性レベルに対応する一様な速度で、全ての３つのテキスト成分を再生することは分別がある。
【００１５】
公知であるように、音声信号の再生速度における単純な変化は、ピッチ、すなわち信号のピッチの勾配を変更する。速い再生は、ミッキーマウスの音声を与え、遅い再生は、唸るような音声を与える。音声ピッチにおけるかかるシフトは、ユーザを不必要に混乱させる。したがって、請求項３では、音声信号のピッチが影響を受けないようなやり方で再生速度における変化が生じるように、本発明が有利に実現される。かかる速度変化のための方法は、たとえば、文献から専門家には知られている。
【００１６】
原理的に、音声信号の再生速度の選択は、認識されたテキストの関連する部分の信頼性のレベルに関して、一定のやり方で無関係にすることができる。ユーザがほんの２，３の再生速度と出くわす場合、本方法のユーザにとって更に簡単である。これは、ユーザによって、音声認識結果の信頼性のある部分と信頼性のない部分との間で区別することが更に容易となる。このことは、信頼性の全ての可能性のある値の全体の範囲が個々のサブレンジ、すなわち０から１００までの可能性のある全体のレンジを、０から１０、１０から２０、２０から３０等、９０から１００までの１０のサブレンジに分割される点で、請求項４に従い達成することができる。次いで、再生速度は、認識されたテキストの関連する一部の信頼性の値が属するサブレンジの機能として選択される。
【００１７】
請求項５によれば、テキスト成分の信頼性レベルは、聴覚及び／又は視覚を利用した方法で記録される場合がある。たとえば、信頼性のないテキスト部分は、変化された音声ピッチで、及び／又はより大きな強調により、声高に再生することができる。さらに、信頼性のないテキスト成分は、たとえば、赤といった色で記録される場合がある。
【００１８】
請求項６に係る発明は、システムのユーザは、彼自身の望み及び要件に従う再生の方法を構成する可能性を有していることを提案する。したがって、システムのユーザは、たとえば、再生速度の変化、音量及びユーザ自身の好みに対するカラーマーキングを調節する場合がある。信頼性レベルの視覚的なマーキング、及びユーザの構成オプションについて、米国特許第6,006,183号に開示される全ての可能性が特に考慮される。この点に関して、米国特許第6,006,183号は、本出願に含まれるものとみなされる。
【００１９】
請求項８に係る発明は、音声認識システムに関し、構成要素として、本発明による装置を有しており、音声信号の音声認識により取得されたテキストの校正を支援する。音声信号の音声認識により取得されたテキストの校正を支援するための装置を音声認識システムに統合することにより、１つのパッケージに完全なディクテーションシステムを有するという利点がユーザにもたらされる。結果として、一方で、音声信号の音声認識により取得されたテキスト及び関連する信頼性レベルと、他方でテキストの校正を支援するための本発明による装置との間で、可能性のあるインタフェース問題が回避される。
【００２０】
請求項９及び請求項１０に係る発明は、本発明の実施の形態に関連し、校正されるテキストは、音声認識により必ずしも取得されない。本発明は、たとえば、手動的に生成されたテキスト、又は音声認識されたテキストの手動的な補正により取得されたテキストの校正を支援するために使用される場合がある。テキストの成分と音声信号の関連する部分の間の割当が既知であり、信頼性レベルをテキスト成分に割当てることができる場合、構成の間のテキストの再生速度における変化は、本発明の原理に従い構築することができる。
【００２１】
かかる信頼性のレベルは、たとえば、テキストライターのエラー統計量から生じる場合がある。したがって、たとえば、ライターによる前の補正からの統計量は、たとえば、ライターがその単語を頻繁に間違えて書くかについて、定量化するために生成される場合がある。多くのライターは、たとえば、文法的な片寄りにおけるエンディングエラーを行う傾向を有している。代替的に、要素の文字数は、ディクテーションから取得された平均からの比の主要な偏差の場合に、要素の省略又は挿入を結論するために、音声信号の関連する部分の期間と比較される場合がある。
【００２２】
請求項１０に係る発明では、テキストの音声信号との時間調整により、音声信号の関連する部分へのテキスト成分の割当てが決定される。かかる時間調整は、たとえば、ダイナミックプログラミング（ダイナミックタイムワーピング）により、特にViterbiアルゴリズムを使用して行われる場合がある（Viterbi調節）。テキスト成分の関連する信頼性のレベルは、たとえば、上述したような補正統計量、又は決定に使用される場合がある音声認識の他の方法のいずれかにより決定される場合がある。背景モデル（ごみのモデル）、すなわち音声信号の音声認識における競合する認識の代替を包含することは、この文脈において知られている。
【００２３】
【発明の実施の形態】
本発明のこれらの態様及び利点、並びに更なる態様及び利点は、発明の実施の形態、特に添付図面を参照して更に詳細に説明される。
図１は、その成分、信頼性レベル及び再生速度の変化を有する音声信号を示している。図１のライン１は、はじめに、右の水平方向にプロットされた音声信号を時間について示しており、たとえば、受信するマイクロフォンにおける音圧である音声信号の物理的パラメータの垂直方向へのプロットを示している。この図は、校正の間の再生速度の推移に関して、本発明による不均等な勾配を既に考慮している。
【００２４】
音声信号が遅く再生される時間レンジにおいて、音声信号は相応して伸張されて示されており、音声信号が速く再生される時間レンジでは、音声信号は比較的圧縮されて示されている。音声信号に属するテキスト成分は、図１のラインにおいて示されており、Ｂ１〜Ｂ５で示されている。これらの成分は、単語、音節、音素、集中的に話された句又は他のユニットである場合がある。ライン２における成分Ｂ１〜Ｂ５のライン１における音声信号の一部との関連性は、成分Ｂ１〜Ｂ５が音声信号の関連する部分の中心的に下に示されている点で明らかである。成分間の時間境界は、図１において垂直ライン５により示されている。
【００２５】
図１のライン３は、成分Ｂ１〜Ｂ５の関連する信頼性レベルを示している。説明のために、具体的な番号５０，８０，９９，９０及び２５は、０〜１００（信頼性１００％）のスケールに関して選択される。ここでは、高い番号が高い信頼性を示している。ライン４は、右へ増加する時間により時間軸を示している。この時間軸は、垂直マーキング６により分割されている。このマーキングの異なるインターバルは、一様に分割された時間軸の対応する伸張及び圧縮を示しており、したがって、校正の間の再生速度の異なる再生速度を示している。
【００２６】
音声信号の校正のために使用される再生速度の推移は、再び図１の下部におけるｘ−ｙ軸において更に説明される。右側の軸１０は、図１の他の部分におけるのと（伸張又は圧縮された）同じレベルでの時間軸に対応する。垂直軸１１は、更には説明されないがユニットにおける再生速度を与えている。再生速度自身の時間勾配は、ライン１２により与えられる。ライン１及びライン１２に左手及び右手のエッジでの破線ラインは、図１に示される音声信号が、時間的に長い信号のほんの一区分であることを示している。
【００２７】
図１に示される本発明の実施の形態による方法は、再生速度が信頼性と共に増加する、全ての信頼性の値について異なる再生速度を選択する変形例である。再生速度は、一様な信頼性の領域において一定のままであるが、異なる信頼性の領域の間では、再生速度は突然変化する。
【００２８】
上述したように、再生速度における突然の変化は、校正するユーザを混乱させる場合がある。したがって、図２は、再生速度の勾配を構築するための更なる可能性を示している。ここで、時間的な速度の推移は、時間軸１０及び速度軸１１によるｘ−ｙグラフにおいて示されている。図１に示される本発明の実施の形態との良好な比較のために、図２は、図１におけるような速度における突然の変化１２を示している。図２における速度経路１３は、図１における音声信号についてのこの経路１２への代替として選択される場合がある。
【００２９】
経路１２とは対照的に、経路１３は、３つの速度レベルＬ１〜Ｌ３のみを有している。図１からの５つの信頼性の値Ｂ１〜Ｂ５は、したがって全ての可能性のある信頼性の値からなる３つのサブレンジに結合されており、３つの速度レベルＬ１〜Ｌ３のうちの１つは、これらサブレンジのうちの１つへのその割当てに従い、対応する部分Ｂ１〜Ｂ５の再生速度について選択される。図２の具体的な期間では、サブレンジ０〜６０、６０〜８５及び８５〜１００が選択される。これは、図１からの速度レベルＬ１〜Ｌ３の５つの成分Ｂ１〜Ｂ５からなる信頼性の値への以下の割当てを与える。具体的には、レベル１では２５をＢ５及び５０をＢ１に、レベル２では８０をＢ２に、レベル３では９０をＢ４及び９９をＢ３に割当てる。図２における割当てラインＬＬにより示されるように、特に２５がＢ５及び５０がＢ１に割当てるように、同じ速度レベルＬ１が選択される。
【００３０】
さらに、速度経路１３を構築することにおいて、音声信号の時間的に隣接する部分の再生速度に関して調節が行われる。このために、部分Ｂ１〜Ｂ５の再生速度は、その内部レンジのみにおいて割当てられた速度レベルＬ１〜Ｌ３で維持される。エッジでは、再生速度は、内部に関する速度レベル間に滑らかな遷移Ａ１〜Ａ３を与えるように変化する。左から右へ個別に、以下の速度調節が行われる。Ｌ１からＬ２までのＢ１とＢ２の間にＡ１を調節し、Ｌ２からＬ３までのＢ２とＢ３の間にＡ２を調節し、及びＬ３からＬ１までのＢ４とＢ５の間にＡ３を調節する。Ｂ３及びＢ４の信頼性９９及び９０が同じ信頼性のサブレンジに属するので、Ｂ３とＢ４の間に速度調節は存在しないが、割当てられた速度レベルＬ３は、境界領域において一様に保持される。
【００３１】
図２は、Ａ１からＡ３への速度調節の時間的な位置について、２つの可能性を示している。２つの調節Ａ１及びＡ２は、音声信号のテキスト成分の間の関連する時間的な境界に関して対称的に配置されている。これは、たとえば、再生速度が、Ｂ１に属するテキスト成分の終了の直前である速度レベルＬ１から上昇し始め、Ｂ２に属するテキスト成分の開始の後に関連する速度レベルＬ２に到達するという、調節Ａ１について意味する。調節Ａ３では、全体の調節は、より信頼性のある部分Ｂ４に属するテキスト成分において完了する。これにより、より信頼性のない部分Ｂ５に属するテキスト成分は、遅い速度Ｌ１に十分に再生される。これは、より信頼性のないテキスト部分が、相応して遅い速度（すなわち、より信頼性のないテキスト成分が隣接する場合に、遅い速度）で完全に再生され、したがって、校正に十分な時間がユーザに与えられる。
【００３２】
成分Ｂ１からＢ５について再生速度の勾配の更なる調節では、成分Ｂ２は、成分Ｂ１と同じ速度レベルＬ１で再生される場合がある。速度レベルＬ２は、図２においてもはや現れない。この理由は、成分Ｂ２に属する音声信号の一節の期間が比較的短いためである。図２に支援される成分Ｂ２についての速度レベルＬ２に対する再生速度における簡単な変化は、校正しているユーザによりむしろ混乱するものとして知覚される。したがって、ユーザは、時間的に隣接する一節の速度変化のより大きな調節を選択することができる。これにより、Ｌ１からＬ２までのＢ１とＢ２の間の速度調節Ａ１は抑圧され、Ｌ１からＬ３への遷移でＢ２とＢ３の間の速度調節Ａ２が変更される。
【００３３】
図３は、テキストの校正を支援するための、本発明による装置の実施の形態を示している。校正されるテキストは、ディスプレイ２０に完全に示されている。すなわち、音声により再生されている部分を囲む抜粋である。たとえば、図３は、表現“This is text to be proofread”によるテキスト３０が示されている。テキスト要素に属する音声信号の一部が再生されていることが考えられる。この再生項目は、再生される項目の周囲のフレーム３１によりディスプレイ１０に示されるテキストに記録される。
【００３４】
２つのテキスト項目３２、すなわち句“This is”及び単語“text”は、特別なテキストの属性、すなわち下線が付されたボールドのイタリック体によりハイライト表示される。この例では、２つの信頼性のあるサブレンジ、すなわち「信頼性のある」と「信頼性のない」とが区別されることが想定される。信頼性のある一節は、通常の表示で示され、信頼性のない一節は、記載されたようにハイライト表示される。再生速度から、テキストは信頼性のない部分“This is”で遅く開始する。信頼性のある中間部分“to be proof-read”は即座に再生され、文の再生は、遅く再生された信頼性のない部分“text”で終了する。
【００３５】
ディスプレイ２０は、制御ユニット２１により制御され、該ユニットは、音声信号が再生されるスピーカ２２を制御する。制御ユニット２１は、音声信号メモリ２３から音声信号を取り、テキストメモリ２４から認識されたテキスト、音声信号の関連する部分に対するその成分の割当て情報及び成分の信頼性レベルを取る。
【図面の簡単な説明】
【図１】その成分による音声信号、信頼性レベル及び再生速度の変化を説明する図である。
【図２】再生速度を構築するための更なる可能性を説明する図である。
【図３】テキストの校正を支援するための本発明による装置の実施の形態を示す図である。
【符号の説明】
２０：ディスプレイ
２１：制御ユニット
２２：スピーカ
２３：音声信号メモリ
２４：テキストメモリ
３０：テキスト
【図１】
0004307028.tif 000002
【図２】
0004307028.tif 000003
【図３】
0004307028.tif 000004