(57)【特許請求の範囲】
【請求項１】
対象話者の音声と当該対象話者を特徴づける関連テキストとを組にして記憶する人物データベース記憶部と、
入力された声まね音声を音声認識して認識結果テキストを生成する音声認識部と、
上記認識結果テキストと上記関連テキストとの類似度を示すテキスト類似度を算出するテキスト検索部と、
上記テキスト類似度が高い上記対象話者を特定する候補情報を記憶する高類似度候補記憶部と、
上記声まね音声と上記候補情報により特定される対象話者の音声との類似度を示す話者認識スコアを算出する話者認識部と、
上記話者認識スコアに基づいて声まね評価結果を出力する推定評価部と、
を含む声まね音声評価装置。
【請求項２】
請求項１に記載の声まね音声評価装置であって、
上記人物データベース記憶部は、上記対象話者の音声から抽出した話者特徴ベクトルと当該対象話者を特徴づける関連テキストとを組にして記憶するものであり、
上記話者認識部は、上記声まね音声から抽出した話者特徴ベクトルと上記対象話者の話者特徴ベクトルとから上記話者認識スコアを算出するものである
声まね音声評価装置。
【請求項３】
人物データベース記憶部に、対象話者の音声と当該対象話者を特徴づける関連テキストとが組にして記憶されており、
音声認識部が、入力された声まね音声を音声認識して認識結果テキストを生成する音声認識ステップと、
テキスト検索部が、上記認識結果テキストと上記関連テキストとの類似度を示すテキスト類似度を算出するテキスト検索ステップと、
高類似度候補記憶部に、上記テキスト類似度が高い上記対象話者を特定する候補情報を記憶する高類似度候補記憶ステップと、
話者認識部が、上記声まね音声と上記候補情報により特定される対象話者の音声との類似度を示す話者認識スコアを算出する話者認識ステップと、
推定評価部が、上記話者認識スコアに基づいて声まね評価結果を出力する推定評価ステップと、
を含む声まね音声評価方法。
【請求項４】
請求項１又は２に記載の声まね音声評価装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人間が他者の声まね（声の「ものまね」）をしているときに、音声信号のみから誰のものまねをしているのか推定したり、どの程度似ているか（類似度）を評価したりする声まね音声評価技術に関する。
【背景技術】
【０００２】
非特許文献１には、声まねにおいてどのような音響特徴量が制御されているのかを明らかにするために、プロのものまねタレントによる声まね音声と本人（著名人）の音声とを比較した例が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】北村達也、“物真似タレントによる物真似音声の分析”、信学技報(SP)、vol. 107、no. 282、pp. 49-54、2007年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
第一の課題は、声まね音声と本人の音声との類似性をいかに評価するかである。非特許文献１の場合は、本人を特徴づける発話フレーズ（テキスト）が前提にあり、これをものまねタレントが声まねすることによって、類似度の評価を行っている。すなわち、声まねをされている本人の発話フレーズと同じフレーズの発話を行うことで、基本周波数の変化パターンが類似していることの分析ができている。一部のプロのものまねタレントによる声まねを除けば、ほとんどのものまねはさほど声が似ているわけではない。場合によっては全く似ていない。それでも、人間は何らかの方法により誰の声をまねているのかを判定できる。その方法は基本周波数の変化パターンだけに限定されるものではなく、その他の音響特徴量も知覚しているものと推定される。
【０００５】
第二の課題は、さほど似ていない声まねであっても、誰のものまねであるかを正しく推定する方法である。非特許文献１の場合、本人を特徴づける発話フレーズが、基本周波数の変化パターンの類似性を評価するために重要な位置づけにあったと考えられる。この考えに立つと、発話フレーズを特定しておけば、誰のものまねであるかを絞り込むことができ、音響特徴量のうえでも類似度の評価に有効に作用すると考えられる。しかし、発話フレーズをシステム側から提示することで限定して声まね音声を発話させる例はあっても、任意に発話された声まね音声を認識し、その中から本人を特徴づける発話フレーズを抽出して声まねの評価情報に用いる例は従来なかった。
【０００６】
第三の課題は、高速な処理である。例えば、ものまねの対象が著名人であるとすると、著名人の数は極めて多数に上ることから、多数の候補の中から、誰の声まねをしているのか推定しなければならない。
【０００７】
この発明の目的は、音声信号のみから誰の声まねをしているのかを推定し、その類似度を評価する声まね音声評価技術を提供することである。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、この発明の第一の態様の声まね音声評価装置は、対象話者の音声と当該対象話者を特徴づける関連テキストとを組にして記憶する人物データベース記憶部と、入力された声まね音声と対象話者の音声との類似度を示す話者認識スコアを算出する話者認識部と、声まね音声を音声認識して認識結果テキストを生成する音声認識部と、認識結果テキストと関連テキストとの類似度を示すテキスト類似度を算出するテキスト検索部と、話者認識スコアとテキスト類似度を合算した声まねスコアを算出する類似度合算部と、声まねスコアに基づいて声まね評価結果を出力する推定評価部と、を含む。
【０００９】
この発明の第二の態様の声まね音声評価装置は、対象話者の音声と当該対象話者を特徴づける関連テキストとを組にして記憶する人物データベース記憶部と、入力された声まね音声を音声認識して認識結果テキストを生成する音声認識部と、認識結果テキストと関連テキストとの類似度を示すテキスト類似度を算出するテキスト検索部と、テキスト類似度が高い対象話者を特定する候補情報を記憶する高類似度候補記憶部と、声まね音声と候補情報により特定される対象話者の音声との類似度を示す話者認識スコアを算出する話者認識部と、話者認識スコアに基づいて声まね評価結果を出力する推定評価部と、を含む。
【発明の効果】
【００１０】
この発明の声まね音声評価技術は、声まね音声に対して、話者特徴量に基づく類似度と、声まね音声を認識したテキストと本人を特徴づけるテキストとの類似度とを合算した類似度によって、声まね音声の評価を行う。このように、音声の特徴の類似性とテキストの類似性の双方による複合的な評価に基づくことで、任意の発話で声まねする場合であっても、話者特徴量だけに基づいて評価する従来技術よりも的確に、声まねした人物を特定したり、あるいは声まねの類似性を評価したりすることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第一実施形態の声まね音声評価装置の機能構成を例示する図である。
【図２】図２は、第一実施形態の声まね音声評価方法の処理フローを例示する図である。
【図３】図３は、第二実施形態の声まね音声評価装置の機能構成を例示する図である。
【図４】図４は、第二実施形態の声まね音声評価方法の処理フローを例示する図である。
【図５】図５は、第三実施形態の声まね音声評価装置の機能構成を例示する図である。
【図６】図６は、第三実施形態の声まね音声評価方法の処理フローを例示する図である。
【発明を実施するための形態】
【００１２】
実施形態の説明に先立って、この発明のポイントを上述の課題に対応させて説明する。
【００１３】
第一の課題に対する発明のポイントは話者認識技術を用いる点である。話者認識技術により検索対象となる人物毎の声まね音声との類似性を算出する。具体的には、話者認識技術が出力するスコアを類似性の評価値とする。
【００１４】
人間が声まねを聞いて似ているか否かを判定する際に、明らかに違う声であっても特徴を捉えていると感じることがある。話者認識のスコアがこの現象を捉えているかは定かではないが、話者認識は同一人物の声であるか否かを判定する技術であるから、声まねの上手さの評価尺度としては機械的に求められるものの中では妥当性が高い。
【００１５】
第二の課題に対する発明のポイントは音声認識技術及びテキスト検索技術を用いる点である。これは人間が誰のものまねであるかを推定する際に発話内容に着目するという点を利用したものである。例えば、著名人のものまねである場合は、その著名人の有名なフレーズを発した声まねである場合が多い。役者のものまねであれば、その役者の演じた役のセリフを発した声まねである場合が多い。歌手であれば、有名な歌を唄った声まねである場合が多い。
【００１６】
各人物の関連テキストを事前に集めておき、声まね音声を音声認識でテキスト化する。音声認識結果テキストをクエリとして、類似の関連テキストを持つ人物をテキスト検索技術により検索する。これにより、ものまねが本質的に似ていない場合であっても、誰のものまねであるかを予測できる。
【００１７】
第三の課題に対する発明のポイントはベクトル空間上の類似度計算に基づく話者認識方法を導入する点である。ただし、これはテキスト検索技術の併用に支えられている。具体的には、近年、話者認識技術分野で開発されたi-vectorとコサイン類似度に基づく話者認識方法を用いる。i-vectorについての詳細は、「H. Aronowitz and O. Barkan, “Efficient approximated i-vector extraction”, Proceedings of ICASSP, pp. 4789-4792, 2012.（参考文献１）」に記載されている。コサイン類似度に基づく話者認識方法についての詳細は、「N. Dehak, P. J. Kenny, R. Dehak, P. Dumouchel, and P. Ouellet, “Front-end factor analysis for speaker verification”, IEEE Transactions on Audio, Speech and Language Processing, vol. 19, no. 4, pp. 788-798, 2011.（参考文献２）」に記載されている。
【００１８】
この手法を一般化すると、「ベクトル空間上の類似度計算に基づく話者認識方法」と表現できる。この手法は計算コストが低く極めて高速である。また比較的高性能である。しかし、多人数に対しても適切に話者を検出できるほどの能力は必ずしもない。前述の通り、ものまね自体が似ていない場合もある。しかしながら、第二の課題に対する発明のポイントで挙げた通り、テキストの類似性に着目することで、誰の声まねであるかを同定する、または候補を大幅に限定することができる。限定された候補の中からであれば、ものまねが似ていれば、i-vectorとコサイン類似度に基づく方法でも誰のものまねであるか同定可能である。一方、テキストで同定できてしまえば、残りはi-vectorとコサイン類似度に基づく方法で話者認識スコアを算出し、それをものまねの評価値にすればよい。
【００１９】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００２０】
［第一実施形態］
第一実施形態の声まね音声評価装置は、図１に示すように、音声入力部１０、話者認識部１１、音声認識部１２、テキスト検索部１３、類似度合算部１４、推定評価部１５、人物データベース記憶部１６及び類似度記憶部１７を例えば含む。
【００２１】
声まね音声評価装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。声まね音声評価装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。声まね音声評価装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、声まね音声評価装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
【００２２】
声まね音声評価装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。声まね音声評価装置が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。
【００２３】
人物データベース記憶部１６には、ものまねの対象とされる人物（以下、対象話者という）が発話する音声と、その対象話者を特徴づける関連テキストとを組にした人物データベースが記憶されている。
【００２４】
図２を参照して、第一実施形態の声まね音声評価方法を説明する。
【００２５】
ステップＳ１０において、音声入力部１０へ、声まね音声が入力される。声まね音声は、ある話者が対象話者のものまねをして発話した音声である。声まね音声の入力は、予め収録しておいた声まね音声を入力してもよいし、マイクロホンなどでリアルタイムに収音する声まね音声を入力してもよい。入力された声まね音声は話者認識部１１及び音声認識部１２へ送られる。
【００２６】
ステップＳ１１において、話者認識部１１は、入力された声まね音声と、人物データベース記憶部１６に記憶された各対象話者の音声との類似度を示す話者認識スコアを算出する。算出された話者認識スコアは類似度合算部１４へ送られる。
【００２７】
話者認識スコアの算出方法は、周知の話者認識技術を利用することができる。話者認識スコアの第一の形態は、「森島繁生他、“新映像技術「ダイブイントゥザムービー」”、電子情報通信学会誌、Vol. 94、No. 3、pp. 250-268、2011年3月（参考文献３）」に記載されている混合ガウスモデル（GMM: Gaussian Mixture Model）に基づく話者認識手法である。話者認識スコアの第二の形態は、上記参考文献３に記載されている動的時間伸縮法（DTW: Dynamic Time Warping）に基づく話者認識手法である。話者認識スコアの第三の形態は、「Pavel Matejka, Ondrej Glembek, Fabio Castaldo, Md. Jahangir Alam, Oldrich Plchot, Patrick Kenny, Lukas Burget, Jan Cernocky, “Full-covariance UBM and heavy-tailed PLDA in i-vector speaker verification”, ICASSP 2011, pp. 4828-4831（参考文献４）」に記載されているi-vectorとProbabilistic Linear Discriminant Analysisに基づく話者認識手法である。話者認識スコアの第四の形態は、上記参考文献３に記載されている各話者認識手法の組み合わせによる手法である。
【００２８】
ステップＳ１２において、音声認識部１２は、入力された声まね音声を音声認識して認識結果テキストを生成する。音声認識の方法は周知の音声認識方法を用いればよい。生成された認識結果テキストはテキスト検索部１３へ送られる。
【００２９】
ステップＳ１３において、テキスト検索部１３は、入力された認識結果テキストと、人物データベース記憶部１６に記憶された関連テキストとの類似度を示すテキスト類似度を算出する。テキスト検索の方法は周知のテキスト検索方法を用いればよい。算出されたテキスト類似度は類似度合算部１４へ送られる。
【００３０】
ステップＳ１４において、類似度合算部１４は、所定の方法に従い、話者認識スコアとテキスト類似度とを合算して声まねスコアを算出する。算出された声まねスコアは類似度記憶部１７に記憶される。
【００３１】
話者認識スコアとテキスト類似度の合算の方法は、加算、乗算、対数上での加算、その重み付きの演算などである。重みは予備実験などを通して検索精度等の観点で最適と思われる値を人為的に決めるとよい。
【００３２】
ステップＳ１５において、推定評価部１５は、声まねスコアに基づいて声まね評価結果を出力する。声まね評価結果は、誰のものまねをしているのかを推定する場合は、例えば、声まねスコアの高い方から所定の数の対象話者の人物名である。また、ものまねが似ているか否かの指標を出力する場合は、例えば、声まねスコアの高い方から所定の数の話者認識スコアである。
【００３３】
［第二実施形態］
第一実施形態では、話者認識部は人物データベース中の全対象話者に対して話者認識スコアを算出する必要があった。この方法では計算コストが大きく人物データベースが大規模な場合には適していない。これを回避する目的で、テキスト検索部で上位候補の対象話者だけに限定するといった形態とすることも可能である。
【００３４】
第二実施形態の声まね音声評価装置は、図３に示すように、音声入力部１０、音声認識部１２、テキスト検索部１３、推定評価部１５、人物データベース記憶部１６及び類似度記憶部１７を例えば含み、高類似度候補記憶部２０及び話者認識部２１をさらに含む。
【００３５】
図４を参照して、第二実施形態の声まね音声評価方法を説明する。以下では、上述の第一実施形態との相違点を中心に説明する。
【００３６】
ステップＳ１３において、テキスト検索部１３は、入力された認識結果テキストと、人物データベース記憶部１６に記憶された関連テキストとの類似度を示すテキスト類似度を算出し、テキスト類似度が高い関連テキストを持つ対象話者を特定する候補情報を高類似度候補記憶部２０に記憶する。
【００３７】
ステップＳ３１において、話者認識部３１は、高類似度候補記憶部２０に記憶された候補情報により特定される対象話者に限定して、入力された声まね音声と、人物データベース記憶部１６に記憶された各対象話者の音声との類似度を示す話者認識スコアを算出する。算出された話者認識スコアは推定評価部１５へ送られる。
【００３８】
ステップＳ１５において、推定評価部１５は、話者認識スコアに基づいて声まね評価結果を出力する。声まね評価結果は、誰のものまねをしているのかを推定する場合は、例えば、話者認識スコアの高い方から所定の数の対象話者の人物名である。また、ものまねが似ているか否かの指標を出力する場合は、例えば、高い方から所定の数の話者認識スコアである。
【００３９】
第二実施形態ではテキスト類似度によって限定された対象話者の候補に対してのみ話者認識スコアを算出することになるので、声まね評価結果を速く得ることが可能である。また、テキスト類似度と話者認識スコアのそれぞれについて独立して候補数を制御できる。ただし、テキスト検索部１３で正解の対象話者を候補に挙げることができなかった場合には、どんなにものまねが似ていても、正しく対象話者を特定できないというデメリットがある。
【００４０】
［第三実施形態］
この発明の第三実施形態は、人物データベースが大規模な場合の声まね音声評価装置及び方法である。以下では第一実施形態を基本として構成した第三実施形態の声まね音声評価装置及び方法について説明するが、第二実施形態を基本として第三実施形態の声まね音声評価装置及び方法を構成することも可能である。
【００４１】
第三実施形態の声まね音声評価装置は、図５に示すように、第一実施形態と同様に、音声入力部１０、音声認識部１２、テキスト検索部１３、類似度合算部１４、推定評価部１５及び類似度記憶部１７を例えば含み、話者特徴ベクトル空間話者認識部３１及び人物データベース記憶部３６をさらに含む。
【００４２】
人物データベース記憶部３６には、ものまねの対象とされる対象話者を特徴づける関連テキストと、その対象話者の話者特徴ベクトルとを組にした人物データベースが記憶されている。
【００４３】
図６を参照して、第三実施形態の声まね音声評価方法を説明する。以下では、上述の第一実施形態との相違点を中心に説明する。
【００４４】
ステップＳ３１において、話者特徴ベクトル空間話者認識部３１は、入力された声まね音声から抽出した話者特徴ベクトルと、人物データベース記憶部３６に記憶された各対象話者の話者特徴ベクトルとの類似度を話者認識スコアとして算出する。算出された話者認識スコアは類似度合算部１４へ送られる。
【００４５】
話者特徴ベクトル空間話者認識部３１の具体的な構成は、上記参考文献４に記載されているi-vectorとコサイン類似度に基づく方法である。この方法のポイントは、認識対象の音声（ここでは声まね音声）と各対象話者の音声の話者特徴ベクトルとを、i-vectorと呼ばれる１つのベクトルとして表現する。そして、コサイン類似度等の２つのベクトルの類似度尺度のうち計算コストの小さいものを用いて類似度を計算する。これにより、高速な処理を実現することができる。この方法によれば、話者特徴ベクトル空間話者認識部３１は、声まね音声から１つの話者特徴ベクトルを算出する処理と、人物データベースに予め登録された各対象話者に対して１つの話者特徴ベクトルとの間の類似度（ここでは話者認識スコア）を既定の類似度尺度で算出する処理とにより構成される。
【００４６】
話者特徴ベクトルの１つの形態は、例えば、i-vectorと呼ばれる特徴量である。i-vectorについての詳細は、上記参考文献１に記載されている。話者特徴ベクトルのもう１つの形態は、Joint Factor Analysis（JFA）を用いて抽出した話者依存成分のベクトルである。JFAにより得られるベクトルについての詳細は、上記参考文献２に記載されている。
【００４７】
i-vectorもJFAにより得られるベクトルも、音声データに対して適応処理を施した混合ガウス分布（GMM: Gaussian Mixture Model）の各ガウス分布の平均ベクトルを接続して一繋ぎにしたベクトル（スーパーベクトル）を所定の方法で行列分解したものである。それを考慮すると、話者特徴ベクトルのもう１つの形態は、GMMのスーパーベクトルを所定の方法で話者成分が抽出できるように行列分解して得たベクトルである。話者特徴ベクトルのもう１つの形態は、GMMのスーパーベクトルである。GMMのスーパーベクトルには、話者成分を残しているという点においては選択肢の１つではあるが、話者以外の成分も多量に含んでいる。また設定によっては他のベクトルに比べて極めて高次元となり検索速度への影響も懸念される。その他、GMMのスーパーベクトルを介さない方法で得たベクトルであっても、話者を識別する効力を発揮する音声に対して１つ与えられる特徴ベクトルである限り、話者特徴ベクトルの範疇である。
【００４８】
話者特徴ベクトル間の類似度は任意の類似度尺度を用いることができる。１つの代表的な形態はコサイン類似度である。もう１つ代表的な形態は内積値である。
【００４９】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００５０】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００５１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００５２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５４】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００５５】
１０  音声入力部
１１、２１  話者認識部
１２  音声認識部
１３  テキスト検索部
１４  類似度合算部
１５  推定評価部
１６、３６  人物データベース記憶部
１７  類似度記憶部
２０  高類似度候補記憶部
３１  話者特徴ベクトル空間話者認識部
【図１】
0006316685.tif 000002
【図２】
0006316685.tif 000003
【図３】
0006316685.tif 000004
【図４】
0006316685.tif 000005
【図５】
0006316685.tif 000006
【図６】
0006316685.tif 000007