(57)【要約】【課題】含まれている単語の難易等の発話されている内容や、曖昧な発声を行っているといった発声の良し悪しに応じて、適切な音声再生処理を行うことを目的とする。【解決手段】予め定められた認識特徴量に応じた音声再生処理（例えば、話速変換や特定区間の繰り返し再生）に従い、音声再生処理推定モデルと、入力された音声を音声認識手段１０１で音声認識し、さらに特徴量（例えば、発話内容に関する認識結果文字列や、発声の良し悪しに関する信頼度）を、認識特徴量抽出手段１０２で抽出する。その結果で得られる認識特徴量に基づいて、実行すべき音声再生処理を、音声再生処理推定手段１０３で決定し、音声再生処理手段１０４で、その音声再生処理を行う。【選択図】図１
2009210942.tif 000002
【特許請求の範囲】
【請求項１】
入力音声を認識する音声認識手段と、
音声認識手段により認識した音声から、認識特徴量を抽出する認識特徴量抽出手段と、
前記認識特徴量抽出手段により抽出された認識特徴量に応じて、予め決められた音声再生処理を選択する音声再生処理推定手段と、
前記音声再生処理推定手段によって選択された音声再生処理を行う音声再生処理手段を備えることを特徴とする音声再生システム。
【請求項２】
前記認識特徴量抽出手段は、発話内容に関する言語的な情報を特徴量として抽出することを特徴とする請求項１記載の音声再生システム。
【請求項３】
前記認識特徴量抽出手段は、発音の曖昧さに関する音響的な情報を特徴量として抽出することを特徴とする請求項１又は2に記載の音声再生システム。
【請求項４】
前記認識特徴量抽出手段は、事後確率を特徴量として抽出することを特徴とする請求項１から３のいずれか1項に記載の音声再生システム。
【請求項５】
前記認識特徴量推定手段は、特徴量を複数組み合わせ、音声再生処理を推定することを特徴とする請求項１から４のいずれか１項に記載の音声再生システム。
【請求項６】
さらに、ユーザの操作を取得するユーザ操作取得手段と、
前記ユーザ操作取得手段により得られたユーザ操作の履歴を蓄積するユーザ操作履歴蓄積手段と、
前記認識特徴量抽出手段にて抽出した認識特徴量抽出履歴を蓄積する認識特徴量履歴蓄積手段と、
前記ユーザ操作履歴蓄積手段に格納されたユーザ操作履歴と、前記認識特徴量履歴蓄積手段に格納された認識特徴量との関係から音声再生処理推定モデルを生成する音声再生処理推定モデル学習手段と、
前記音声再生処理推定モデル学習手段にて生成された音声再生処理推定モデルを格納する音声再生処理推定モデル記憶手段を備え、
前記音声再生処理推定手段が、前記音声再生処理推定モデル記憶手段に格納された音声再生処理推定モデルを参照して音声再生処理を推定することを特徴とする請求項１から５のいずれか1項に記載の音声再生システム。
【請求項７】
入力音声を認識する音声認識ステップと、
音声認識ステップにより認識した音声から、認識特徴量を抽出する認識特徴量抽出ステップと、
前記認識特徴量抽出ステップにより抽出された認識特徴量に応じて、予め決められた音声再生処理を選択する音声再生処理推定ステップと、
前記音声再生処理推定ステップによって選択された音声再生処理を行う音声再生処理ステップを備えることを特徴とする音声再生方法。
【請求項８】
前記認識特徴量抽出ステップは、発話内容に関する言語的な情報を特徴量として抽出することを特徴とする請求項７記載の音声再生方法。
【請求項９】
前記認識特徴量抽出ステップは、発音の曖昧さに関する音響的な情報を特徴量として抽出することを特徴とする請求項７又は８に記載の音声再生方法。
【請求項１０】
前記認識特徴量抽出ステップは、事後確率を特徴量として抽出することを特徴とする請求項７から９のいずれか1項に記載の音声再生方法。
【請求項１１】
前記認識特徴量推定ステップは、特徴量を複数組み合わせ、音声再生処理を推定することを特徴とする請求項７から１０のいずれか１項に記載の音声再生方法。
【請求項１２】
さらに、ユーザの操作を取得するユーザ操作取得ステップと、
前記ユーザ操作取得ステップにより得られたユーザ操作の履歴を蓄積するユーザ操作履歴蓄積ステップと、
前記認識特徴量抽出ステップにて抽出した認識特徴量抽出履歴を蓄積する認識特徴量履歴蓄積ステップと、
前記ユーザ操作履歴蓄積ステップにて格納されたユーザ操作履歴と、前記認識特徴量履歴蓄積ステップにて格納された認識特徴量との関係から音声再生処理推定モデルを生成する音声再生処理推定モデル学習ステップと、
前記音声再生処理推定モデル学習ステップにて生成された音声再生処理推定モデルを格納する音声再生処理推定モデル記憶ステップを備え、
前記音声再生処理推定ステップが、前記音声再生処理推定モデル記憶ステップにて格納された音声再生処理推定モデルを参照して音声再生処理を推定することを特徴とする請求項７から１１のいずれか1項に記載の音声再生方法。
【請求項１３】
入力音声を認識する処理と、
前記認識する処理により認識した音声から、認識特徴量を抽出する処理と、
前記認識特徴量を抽出する処理により抽出された認識特徴量に応じて、予め決められた音声再生処理を選択する処理と、
前記音声再生処理を選択する処理によって選択された音声再生処理を行う処理とをコンピュータに実行させるプログラム。
【請求項１４】
前記認識特徴量を抽出する処理であって、発話内容に関する言語的な情報を特徴量として抽出する処理をコンピュータに実行させる請求項１３に記載のプログラム。
【請求項１５】
前記認識特徴量を抽出する処理であって、発音の曖昧さに関する音響的な情報を特徴量として抽出する処理をコンピュータに実行させる請求項１３又は１４に記載のプログラム。
【請求項１６】
前記認識特徴量を抽出する処理であって、事後確率を特徴量として抽出する処理をコンピュータに実行させる請求項１３から１５のいずれか１項に記載のプログラム。
【請求項１７】
前記音声再生処理を選択する処理であって、特徴量を複数組み合わせ、音声再生処理を推定する処理をコンピュータに実行させる請求項１３から１６のいずれか１項に記載のプログラム。
【請求項１８】
さらに、ユーザの操作を取得する処理と、
前記ユーザの操作を取得する処理により得られたユーザ操作の履歴を蓄積する処理と、
前記認識特徴量を抽出する処理にて抽出した認識特徴量抽出履歴を蓄積する処理と、
前記ユーザ操作の履歴を蓄積する処理にて格納されたユーザ操作履歴と、前記認識特徴量抽出履歴を蓄積する処理にて格納された認識特徴量との関係から音声再生処理推定モデルを生成する処理と、
前記音声再生処理推定モデルを生成する処理にて生成された音声再生処理推定モデルを格納する処理を備え、
前記音声再生処理を選択する処理が、前記音声再生処理推定モデルを格納する処理にて格納された音声再生処理推定モデルを参照して音声再生処理を推定する処理をコンピュータに実行させる請求項１３から１７のいずれか1項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声再生システム、その方法および音声再生用プログラムに関し、さらに詳述すると、本発明は、音声の再生速度の変更や音声再生を繰り返す区間の設定が可能な、音声再生システム、音声再生方法およびプログラムである。
【背景技術】
【０００２】
従来における、音声再生システムは一般に、民生用の音響再生機器等で普遍的に用いられている。例えば近年、地方自治体等の公共的な会議の会議録や放送字幕の作成等において、人間の発話する音声を聞き取って、その内容を人手によってテキスト文章として書き起こす、いわゆる「書き起こし作業」において、用いられている。
【０００３】
特に、発話再生速度を変更したり、聞き難い箇所を繰り返し再生したりすることにより音声を聞き易くし、書き起こし作業を支援することが考えられる。このような目的のために提案された、従来の音声再生システムの一例が、下記の特許文献１及び特許文献２に記載されている。
【０００４】
特許文献１では、無音区間に挟まれるフレーズ区間を検出し、検出したフレーズ毎に、フレーズ区間内の最初の有声区間の開始点から所定の伸張倍率で、且つ所定の減少関数に基づき、一定時間にわたって話速を変換する。また、一定時間経過後には、一定時間経過時における減少関数に基付く話速とする、有声区間伸張部を備えることにより、音声を聞き取り易く再生する技術が、記載されている。これは、通常、音声の開始部分が早口であったり、最初にどういう言葉が出現してくるのか予測できず、音声の開始部分が比較的聞き取り難い、という経験則に基づき、音声の開始部分を低速化することにより、音声を聞き取り易くするものである。
【０００５】
また、特許文献２では、音声データの一部である部分音声データについて、部分データ毎に話速を算出する話速算出部を備え、この話速算出部により算出された部分音声データの話速から、部分音声データを予め定められた所定の希望話速に変換する、話速変換部を備える。このことにより、音声を聞き取り易く再生する技術が、記載されている。これは、発話の速度が部分によって異なる音声を、全体として均一の話速で再生することにより、音声を聞き取り易くするものである。さらに、特許文献３では、囁き声のピッチ周波数情報を抽出し、これを通常の音声へ変換を行っており、特許文献４では、原音声のイントネーションに基づいて、話速の変更を行っている。
【特許文献１】特開２００３−２２３２００号公報
【特許文献２】特開２００６−３１７７６８号公報
【特許文献３】特開２００６−１１９６４７号公報
【特許文献４】特開平０６−２８９８９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の音声再生システムでは、発話の開始部分かどうかといった簡単な特徴を用いたり、発話全体の話速を均一にしたりといった、発話されている内容や発声の良し悪しに関係なく、固定化されたヒューリスティックに基づいた音声再生処理を行うのみであるため、複数の特徴量を複合して処理することができず、含まれている単語の難易等の発話されている内容や、曖昧な発声といった、発声の良し悪しに応じた適切な音声再生処理を行うことができない。
【０００７】
そこで本発明は、発話の内容や発声の良し悪しに基づき、適切な音声再生処理を行うことができる、音声再生システム、音声再生方法および音声再生用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記問題を解決するため、本発明における音声再生システムは、入力音声を認識する音声認識手段と、音声認識手段により認識した音声から、認識特徴量を抽出する認識特徴量抽出手段と、認識特徴量抽出手段により抽出された認識特徴量に応じて、予め決められた音声再生処理を選択する音声再生処理推定手段と、音声再生処理推定手段によって選択された音声再生処理を行う音声再生処理手段を備えることを特徴とする。
【０００９】
認識特徴量抽出手段は、発話内容に関する言語的な情報を特徴量として抽出することを特徴とする。
【００１０】
認識特徴量抽出手段は、発音の曖昧さに関する音響的な情報を特徴量として抽出することを特徴とする。
【００１１】
認識特徴量抽出手段は、事後確率を特徴量として抽出することを特徴とする。
【００１２】
認識特徴量推定手段は、特徴量を複数組み合わせ、音声再生処理を推定することを特徴とする。
【００１３】
さらに、ユーザの操作を取得するユーザ操作取得手段と、ユーザ操作取得手段により得られたユーザ操作の履歴を蓄積するユーザ操作履歴蓄積手段と、認識特徴量抽出手段にて抽出した認識特徴量抽出履歴を蓄積する認識特徴量履歴蓄積手段と、ユーザ操作履歴蓄積手段に格納されたユーザ操作履歴と、認識特徴量履歴蓄積手段に格納された認識特徴量との関係から音声再生処理推定モデルを生成する音声再生処理推定モデル学習手段と、音声再生処理推定モデル学習手段にて生成された音声再生処理推定モデルを格納する音声再生処理推定モデル記憶手段を備え、音声再生処理推定手段が、音声再生処理推定モデル記憶手段に格納された音声再生処理推定モデルを参照して音声再生処理を推定することを特徴とする。
【００１４】
また、本発明における音声再生方法は、入力音声を認識する音声認識ステップと、音声認識ステップにより認識した音声から、認識特徴量を抽出する認識特徴量抽出ステップと、認識特徴量抽出ステップにより抽出された認識特徴量に応じて、予め決められた音声再生処理を選択する音声再生処理推定ステップと、音声再生処理推定ステップによって選択された音声再生処理を行う音声再生処理ステップを備えることを特徴とする。
【００１５】
認識特徴量抽出ステップは、発話内容に関する言語的な情報を特徴量として抽出することを特徴とする。
【００１６】
認識特徴量抽出ステップは、発音の曖昧さに関する音響的な情報を特徴量として抽出することを特徴とする。
【００１７】
認識特徴量抽出ステップは、事後確率を特徴量として抽出することを特徴とする。
【００１８】
認識特徴量推定ステップは、特徴量を複数組み合わせ、音声再生処理を推定することを特徴とする。
【００１９】
さらに、ユーザの操作を取得するユーザ操作取得ステップと、ユーザ操作取得ステップにより得られたユーザ操作の履歴を蓄積するユーザ操作履歴蓄積ステップと、認識特徴量抽出ステップにて抽出した認識特徴量抽出履歴を蓄積する認識特徴量履歴蓄積ステップと、ユーザ操作履歴蓄積ステップにて格納されたユーザ操作履歴と、認識特徴量履歴蓄積ステップにて格納された認識特徴量との関係から音声再生処理推定モデルを生成する音声再生処理推定モデル学習ステップと、音声再生処理推定モデル学習ステップにて生成された音声再生処理推定モデルを格納する音声再生処理推定モデル記憶ステップを備え、音声再生処理推定ステップが、音声再生処理推定モデル記憶ステップにて格納された音声再生処理推定モデルを参照して音声再生処理を推定することを特徴とする。
【００２０】
また、本発明におけるプログラムは、入力音声を認識する処理と、認識する処理により認識した音声から、認識特徴量を抽出する処理と、認識特徴量を抽出する処理により抽出された認識特徴量に応じて、予め決められた音声再生処理を選択する処理と、音声再生処理を選択する処理によって選択された音声再生処理を行う処理とをコンピュータに実行させる。
【００２１】
認識特徴量を抽出する処理であって、発話内容に関する言語的な情報を特徴量として抽出する処理をコンピュータに実行させる。
【００２２】
認識特徴量を抽出する処理であって、発音の曖昧さに関する音響的な情報を特徴量として抽出する処理をコンピュータに実行させる。
【００２３】
認識特徴量を抽出する処理であって、事後確率を特徴量として抽出する処理をコンピュータに実行させる。
【００２４】
音声再生処理を選択する処理であって、特徴量を複数組み合わせ、音声再生処理を推定する処理をコンピュータに実行させる。
【００２５】
さらに、ユーザの操作を取得する処理と、ユーザの操作を取得する処理により得られたユーザ操作の履歴を蓄積する処理と、認識特徴量を抽出する処理にて抽出した認識特徴量抽出履歴を蓄積する処理と、ユーザ操作の履歴を蓄積する処理にて格納されたユーザ操作履歴と、認識特徴量抽出履歴を蓄積する処理にて格納された認識特徴量との関係から音声再生処理推定モデルを生成する処理と、音声再生処理推定モデルを生成する処理にて生成された音声再生処理推定モデルを格納する処理を備え、音声再生処理を選択する処理が、音声再生処理推定モデルを格納する処理にて格納された音声再生処理推定モデルを参照して音声再生処理を推定する処理をコンピュータに実行させる。
【発明の効果】
【００２６】
本発明によれば、発話の内容や発声の良し悪しに基づき、適切な音声再生処理を行うことができ、書き起こし支援のための音声再生装置や、また、テレビやラジオといった、音響機器にも適用できる。
【発明を実施するための最良の形態】
【００２７】
図１に示すように、本発明の実施形態では、音声認識手段１０１と、認識特徴量抽出手段１０２と、音声再生処理推定手段１０３と、音声再生処理手段１０４とから構成されている。
【００２８】
これらの手段は、それぞれ次のように動作する。
音声認識手段１０１は、再生対象である音声を認識する。
認識特徴量抽出手段１０２は、音声認識手段１０１より得られる音声認識結果から、再生処理を推定するのに有用な特徴量を抽出する。このような特徴量としては、発話された内容を表す表記情報、読み情報、品詞情報、言語尤度、認識結果の他の部分や、外部リソースを用いて算出されたｔｆ−ｉｄｆ値、また、発声の良し悪しを示す、（単語や句、文といった）所定単位毎の事後確率（信頼度）や、音響尤度を用いることができる。これらは、単独でなく、組み合わせて特徴量として用いることもできる。
【００２９】
また、所定単位毎の発話速度（単位時間当たりのモーラ数）、Ｓ／Ｎ比等、音声認識を用いなくても得られる特徴量と、組み合わせて用いることもできる。音声再生処理推定手段１０３は、入力された特徴量に対し、特徴量に応じて予め定められた再生処理を、決定する。例えば、特定の単語（固有名詞等）や読みの部分をゆっくり再生したり、信頼度がある閾値以下の場合には、ゆっくり再生したり、繰り返し再生したりといった、特徴量（及びその複数の組み合わせ）と、それに応じた好ましい音声再生処理が、選定される。音声再生処理手段１０４においては、再生すべき音声に対して、音声再生処理推定手段１０３で決定された音声再生処理が施される。
【００３０】
音声再生処理としては、例えば、下記がある。
１）話速変換（ゆっくり再生したり、速く再生したりする）、
２）区間繰り返し再生（聞き取り難い区間を指定し、その区間を繰り返し再生する）、
３）雑音抑圧処理（非音声雑音の抑圧処理を施す。音声部分が歪む場合がある）、
４）音量変換（音を大きくしたり、小さくしたりする）、
５）周波数変換（音を高くしたり、低くしたりする）、等がある。
上記等の音声再生処理された音声を、そのまま再生するのはもちろんのこと、音声再生処理が施された部分を、強調して表示するといった、視覚的手段を用いた出力も、行うことができる。
【００３１】
次に、図２のフローチャートを参照して、本実施形態の全体の動作例について、詳細に説明する。
まず、入力された音声に対し、音声認識手段１０１を用いて、音声認識処理を行う（ステップＡ１）。この結果、例えば入力音声に対し、音声区間と非音声区間の区別、音声区間に対する認識結果単語列、各単語の品詞・読み情報、音響尤度、言語尤度及び事後確率、下位候補単語列を含むワードラティス等を、取得することができる。次に、認識特徴量抽出手段１０２を用いて、得られた音声認識結果をもとに、適切な再生処理を決定するための認識特徴量を、抽出する（ステップＡ２）。この認識特徴量としては、発声の内容に関する特徴、例えば、認識結果の単語そのものや、品詞情報（固有名詞かどうか、等）、言語尤度、音声の聞き易さに関する特徴、例えば、読み情報や発声の良し悪しに関する特徴、例えば、音響尤度や事後確率を、用いることができる。これらの組み合わせや、認識結果以外から得られる別の特徴、例えば話速やＳ／Ｎ比といった特徴と、組み合わせることもできる。
【００３２】
続いて、音声再生処理推定手段１０３を用いて、認識特徴量に応じた音声再生処理を、決定する（ステップＡ３）。ここでは、予め決められた規則に基づき、得られた認識特徴量をもとに、適用すべき適切な音声再生処理を、決定する。予め決められた規則としては、例えば、事後確率が低い部分は、話速を遅くする再生処理を行うことや、固有名詞等の特定の品詞部分は、話速を遅くする再生処理を行うといった規則が考えられる。最後に、音声再生処理手段１０４を用いて、決定された音声再生処理を、入力音声に対して適用する（ステップＡ４）。
【００３３】
次に、本実施形態の効果について説明する。
本実施形態では、音声認識の結果得られる再生したい音声の内容や性質に応じた特徴量を用い、それら特徴量と、音声に対して行うべき処理が記述された音声再生処理推定モデルとを用いることで、発話の内容や特徴に基づいた、適切な音声再生処理を、行うことができる。
【００３４】
次に、本発明の別の実施形態について、図面を参照して詳細に説明する。
図３に示すように、本実施形態では、上記構成に、認識特徴量履歴蓄積手段２０６、ユーザ操作取得手段２０７、ユーザ操作履歴蓄積手段２０８、音声再生処理推定モデル学習手段２０９、及び音声再生処理推定モデル記憶手段２１０が追加された構成となっている。
【００３５】
認識特徴量履歴蓄積手段２０６は、音声認識手段１０１及び認識特徴量抽出手段１０２により入力された音声を、音声認識して、その結果得られる認識特徴量を、入力音声と対応付けて、時系列に蓄積する。ユーザ操作取得手段２０７は、入力音声のどの部分に、ユーザがどのような音声再生処理（例えば、ゆっくり再生したか速く再生したかや、音量を上げたか下げたか、繰り返し再生をしたか等）を施したかを、取得する。ユーザ操作履歴蓄積手段２０８は、ユーザ操作取得手段２０７により取得されたユーザ操作を、入力音声と対応付けて、時系列に蓄積する。
【００３６】
音声再生処理推定モデル学習手段２０９は、認識特徴量履歴蓄積手段２０６に蓄積された入力音声に対する認識特徴量と、ユーザ操作履歴蓄積手段２０８に蓄積された入力音声に対する、ユーザが行った音声再生処理内容との、両者を用いて、認識特徴量に対してユーザが行った音声再生処理内容を関連付ける、音声再生処理推定モデルを生成する。
【００３７】
具体的には、例えば図４に示すように、音声再生処理操作と、それが行われた際の認識特徴量の組み合わせの頻度に基づいて、この頻度が一定値以上の組み合わせについて、その操作と特徴量を対応付ける。このことで、音声再生処理推定モデルを生成できる。この処理においては、例えば識別モデルや生成モデルを用いた機械学習手法を適用することができる。ユーザは、音声再生処理操作を施す際に、微妙に処理対象の音声部分の始終端を変えて、操作を行うことがある。これに対し、音声再生処理操作と、それが行われた音声部分の対応付けの際に、音声部分の始端・終端のずれかを許容して、同一の音声部分とみなす処理を、行うこともできる。
【００３８】
ここで生成される音声再生処理推定モデルは、ユーザ毎にすることもできるし、複数のユーザのモデルを統合して、共通モデルとして使用することも考えられる。これは、例えば、図４の対応付けを特定ユーザのものにするか、複数ユーザから集計するかによって、実現できる。音声再生処理推定手段１０３は、予め定められた規則の代わりに、あるいは同時に、音声再生処理推定モデル記憶手段２１０に格納された、音声再生処理推定モデルを参照して、音声再生処理を選定する。
【００３９】
本実施形態によれば、ユーザ操作履歴とその時の認識特徴量を対応付け、操作者の好みや癖を反映したモデルを、作成・適用することができ、操作者の好みや癖を反映した、適切な音声再生処理を行うことができる。
【００４０】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１の発明を実施するための、最良の形態の構成例を示すブロック図である。
【図２】第１の発明を実施するための、最良の形態の動作例を示す流れ図である。
【図３】本発明の第２の発明を実施するための、最良の形態の構成を示すブロック図である。
【図４】ユーザ操作と認識特徴量の、対応付けの例を示す図である。
【符号の説明】
【００４２】
１０１    音声認識手段
１０２    認識特徴量抽出手段
１０３    音声再生処理推定手段
１０４    音声再生処理手段
２０６    認識特徴量履歴蓄積手段
２０７    ユーザ操作取得手段
２０８    ユーザ操作履歴蓄積手段
２０９    音声再生処理推定モデル学習手段
２１０    音声再生処理推定モデル記憶手段
【図１】
2009210942.tif 000003
【図２】
2009210942.tif 000004
【図３】
2009210942.tif 000005
【図４】
2009210942.tif 000006