(57)【要約】【課題】自然性を保持したまま入力音声の発声様態を変換する。【解決手段】入力音声を声道情報と音源情報とに分離する声道音源分離部１０１と、声道音源分離部１０１により分離された声道情報から、入力音声の発声時の口腔内の容積に対応する開口度を、入力音声の所定再生時刻毎に算出する開口度算出部１０２と、開口度の変換度合いを示す発声様態変換度に基づいて、所定再生時刻毎の開口度の変換率を決定する開口度変換率決定部１０５と、開口度変換率決定部１０５により決定された変換率に基づいて、声道音源分離部１０１により分離された声道情報を、開口度算出部１０２が算出した開口度が当該変換率で変換された後の開口度に対応する声道情報に変換する声道情報変換部１０３と、声道情報変換部１０３による変換後の声道情報と、声道音源分離部１０１により分離された音源情報とを用いて、合成音を生成する合成部１０４とを備える。【選択図】図５
2013033103.tif 000002
【特許請求の範囲】
【請求項１】
入力音声を声道情報と音源情報とに分離する声道音源分離部と、
前記声道音源分離部により分離された前記声道情報から、前記入力音声の発声時の口腔内の容積に対応する開口度を、前記入力音声の所定再生時刻毎に算出する開口度算出部と、
開口度の変換度合いを示す発声様態変換度に基づいて、前記所定再生時刻毎の前記開口度の変換率を決定する開口度変換率決定部と、
前記開口度変換率決定部により決定された前記変換率に基づいて、前記声道音源分離部により分離された前記声道情報を、前記開口度算出部により算出された前記開口度が当該変換率で変換された後の開口度に対応する声道情報に変換する声道情報変換部と、
前記声道情報変換部による変換後の声道情報と、前記声道音源分離部により分離された前記音源情報とを用いて、合成音を生成する合成部と
を備える声質変換装置。
【請求項２】
前記開口度算出部は、前記所定再生時刻毎に前記声道音源分離部により分離された前記声道情報から声道断面積関数を算出し、前記口腔内を複数の区間に分割した場合に、算出した前記声道断面積関数で示される各区間の声道断面積の和として、前記開口度を算出する
請求項１に記載の声質変換装置。
【請求項３】
さらに、前記入力音声に含まれる母音の時間区間である母音区間を抽出する母音区間抽出部を備え、
前記声道情報変換部は、前記声道音源分離部により分離された前記声道情報のうち、前記母音区間抽出部により抽出された前記母音区間における声道情報のみを変換する
請求項１または２に記載の声質変換装置。
【請求項４】
前記開口度変換率決定部は、前記発声様態変換度を、前記所定再生時刻毎の前記変換率として決定する
請求項１〜３のいずれか１項に記載の声質変換装置。
【請求項５】
前記開口度変換率決定部は、前記所定再生時刻毎に、前記開口度算出部により算出された前記開口度の時間的な変化系列におけるダイナミックレンジと前記発声様態変換度との積が、変換後の開口度の時間的な変化系列におけるダイナミックレンジと一致するように、前記変換後の開口度を算出するために前記開口度算出部により算出された前記開口度に乗じる前記変換率を決定する
請求項１〜３のいずれか１項に記載の声質変換装置。
【請求項６】
前記開口度変換率決定部は、前記所定再生時刻毎に、前記開口度算出部により算出された前記開口度の時間的な変化系列における開口度の平均値と前記発声様態変換度との積が、変換後の開口度の時間的な変化系列における開口度の平均値と一致するように、前記変換後の開口度を算出するために前記開口度算出部により算出された前記開口度に乗じる前記変換率を決定する
請求項１〜３のいずれか１項に記載の声質変換装置。
【請求項７】
前記声道情報変換部は、前記開口度変換率決定部により決定された前記変換率に基づいて、前記声道音源分離部により分離された前記声道情報を示す声道断面積を変換することにより、前記声道音源分離部により分離された前記声道情報を変換する
請求項１〜６のいずれか１項に記載の声質変換装置。
【請求項８】
前記声道情報変換部は、前記口腔内を複数の区間に分割した場合に、前記変換率に対応し、かつ区間ごとに定められる変換係数を、区間ごとの前記声道断面積に乗算することにより、前記声道音源分離部により分離された前記声道情報を変換する
請求項７に記載の声質変換装置。
【請求項９】
前記変換係数は、口唇に近い区間の前記変換係数ほど、隣接する区間の前記変換係数との差分の絶対値が大きい
請求項８に記載の声質変換装置。
【請求項１０】
入力音声を声道情報と音源情報とに分離するステップと、
分離された前記声道情報から、前記入力音声の発声時の口腔内の容積に対応する開口度を、前記入力音声の所定再生時刻毎に算出するステップと、
開口度の変換度合いを示す発声様態変換度に基づいて、前記所定再生時刻毎の前記開口度の変換率を決定するステップと、
決定された前記変換率に基づいて、分離された前記声道情報を、算出された前記開口度が当該変換率で変換された後の開口度に対応する声道情報に変換するステップと、
変換後の声道情報と、分離された前記音源情報とを用いて、合成音を生成するステップと
を含む声質変換方法。
【請求項１１】
請求項１０に記載の声質変換方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成技術に基づき音声の声質を変換する声質変換装置およびその方法に関する。
【背景技術】
【０００２】
近年、音声合成技術の発達により、さまざまな分野で加工された音声が用いられるようになってきた。
【０００３】
例えば、音楽収録においてボーカル音を微修正するなど方法で加工された音声の利用も増えてきている。
【０００４】
音声収録には、専用のレコーディングスタジオなどの環境が必要である。このため、いったん収録が完了した音声に対して修正が必要になった場合には、音声の再収録が必要となり、コストがかかるという問題がある。
【０００５】
このような再収録が必要な場合として、「言い間違い」や、「アクセントの間違い」などがあるが、これらの原因のように収録時に気づき易いもの以外にも、収録後の編集作業において変更が必要になる場合も考えられる。例えば、収録した音声を少し元気な発声に変更したい場合や、逆に少し弱弱しい発声に変更したい場合など、発声の仕方（後述の発声様態）の変更に関する要望がある。
【０００６】
例えば、ナレーションの音声を収録した後、一部の音声に対して「もう少し元気な感じにしたい」などの要求が制作者からあった場合、ナレータに再度スタジオに来てもらって収録をやり直す必要がある。しかし、実際に再収録を行うには多大なコストが必要である。
【０００７】
そのような場合の対策として、音声を強調する技術がある。従来、音声の明瞭度を向上させる技術として、特許文献１に示すような音声強調装置がある。図１５は、特許文献１の音声強調装置の構成図である。
【０００８】
この音声強調装置は、音声復号器４からの強調前音声が入力される音声強調部１、マイク９からのアナログ信号Ｓ２から得られたディジタル信号が入力される雑音推定部３、音声復号器４および雑音推定部３からの信号に基づいて強調特性を決定する強調特性決定部２を備える。
【０００９】
符号化データＣ１は、音声復号器４に入力され、強調前音声として音声強調部１および強調特性決定部２に入力される。
【００１０】
一方、マイク９に入力されたアナログ信号Ｓ２（周囲雑音）は、Ａ／Ｄ変換器８によりディジタル信号に変換され、送信信号として、音声符号器７および雑音推定部３に入力される。
【００１１】
雑音推定部３は、送信信号が背景雑音区間であるか音声区間であるかを判定し、雑音区間の場合には、その雑音特性を推定し、該雑音特性を強調特性決定部２に与える。
【００１２】
強調特性決定部２は、強調前音声の特性および雑音特性の双方に基づいて強調特性を決定する。この強調特性は音声強調部１に入力され、音声強調部１は、強調特性に基づいて復号音声を強調処理し、強調した強調後音声をＤ／Ａ変換器５に与える。強調後音声は、Ｄ／Ａ変換器５によりアナログ信号に変換され、スピーカ６からアナログ信号Ｓ１として出力される。
【００１３】
このように、収音された周囲雑音の性質が推定され、該周囲雑音の性質および強調前音声の性質の双方に応じて適応的に音声が強調されることにより、明瞭度の高い音声を提供する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００４−２８９６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
特許文献１の音声強調装置では、背景雑音や入力音声の特性（フォルマント中心周波数）に応じてフォルマントの強度を変化させることにより、音声を強調している。
【００１６】
自然な発声が持つ声質は、音声の発話速度や発話内の位置、またはアクセント句内における位置など、さまざまな要因の影響を受ける。例えば、自然な発話においては、文頭ははっきりと明瞭度高く発声するが、文末では発音の怠けが発生し、明瞭度が低下する傾向がある。また、発声時にある単語が強調されている場合は、その単語の声質は、強調されない場合と比較すると明瞭度が高くなる傾向がある。
【００１７】
図１に、人間の声帯及びおよび声道を示す。以下、人間の音声の生成原理を説明する。人間の音声は、図１に示すように、声帯１６０１の振動により生成される音源波形が、声門１６０２から口唇１６０３までにより構成される声道１６０４を通過する際に、舌などの調音器官による狭めなどの影響を受けて生成される。分析合成型音声合成法は、このような音声の生成原理に基づいて、人間の音声を分析する。具体的には、音声を声道情報と音源情報に分離し、分離されたパラメータを変形することにより、合成音の声質を変換することが可能である。例えば、音声の分析方法として、音源声道モデルと呼ばれるモデルが使用される。音源声道モデルによる分析では、音声はその生成過程に基づいて音源情報と声道情報に分離される。分離された音源情報と声道情報をそれぞれ変形することにより声質を変えることができる。
【００１８】
図２は、同一話者による先行音素が同一である同じ母音の声道伝達特性を示す。図２において、横軸は周波数を表し、縦軸はスペクトル強度を表す。
【００１９】
図２に示す曲線２１１は「めまいがします（／ｍｅｍａｉｇａｓｈｉｍａｓｘｕ／）」と発声した際の「めまい」の／ｍａ／の母音部／ａ／が持つ声道伝達特性を示す。曲線２１２は、「お湯が出ません（／ｏｙｕｇａｄｅｍａｓｅＮ／）」と発声した際の／ｍａ／の母音部／ａ／が持つ声道伝達特性を示す。同じ先行音素を持つ母音同士を比較しても、共振周波数を示すフォルマント（上方向のピーク）の位置および強さが大きく異なることがわかる。
【００２０】
この要因としては、曲線２１１に対応する母音部／ａ／は文頭に近く、かつ内容語（ｃｏｎｔｅｎｔ  ｗｏｒｄ）であるのに対して、曲線２１２に対応する母音部／ａ／は、文末に近く、かつ機能語（ｆｕｎｃｔｉｏｎ  ｗｏｒｄ）であると言うことが挙げられる。また、聴感上においても、曲線２１１に対応する母音部／ａ／の方がより明瞭に聞こえる。
【００２１】
このように、自然な発話においては、文章内において発声の方法が異なる。つまり、「ハキハキと発声し、明瞭な音声」や「怠けて発声し、不明瞭な音声」といった意識的あるいは無意識の発声の仕方の違いがある。このような発声方法の違いを以後「発声様態」と呼ぶ。
【００２２】
このような発声様態は音韻環境だけではなく、その他の様々な言語的および生理的な影響を受けて変動している。
【００２３】
特許文献１の音声強調装置は、そのような発声様態の変動を考慮することなく、背景雑音と入力音声のフォルマント中心周波数に基づいてフォルマントの強度の変換を行っているため、強調された音声の発声様態の時間的変化パターンは、入力音声とは異なったものとなる。
【００２４】
この発声様態の時間的変化について、図３の概念図を用いて説明する。図３（ａ）は、入力音声として発声された音声「めまいがします（／ｍｅｍａｉｇａｓｈｉｍａｓｘｕ／）」に対して、音声に含まれる各母音の発声様態（明瞭度）の変化を示している。Ｘの領域は、はっきりした発声であり、明瞭度が高い音韻を示す。Ｙの領域は、怠けた発声であり明瞭度が低い音韻を示している。例えばこのように前半は、明瞭度が高い発声様態であり、後半は明瞭度が低い発声様態を示す。
【００２５】
一方、図３（ｂ）は、フォルマントの強調または弱めにより音声強調を行った場合の強調音声が持つ発声様態の時間的変化を示す。背景雑音と入力音声のフォルマント中心周波数のみによりフォルマント強度を変換しているため、発声様態の時間的な変動パターンを保持することができない。例えば、図３（ｂ）のように発声様態が変動した場合、発声様態は、はっきりと明瞭度を高く発声する区間Ｘと、怠けて明瞭度を低く発声する区間Ｙが交互に繰り返すような強調音声が得られることになる。
【００２６】
このように発声様態の時間的変化パターンが入力音声の時間的変化パターンと異なると、声質変換後の音声における発声様態の変化の自然性を保持することができなくなり、結果として声質変換後の音声の自然性が大きく劣化するという課題を有していた。
【００２７】
本発明は、前記従来の課題を解決するもので、入力音声が保有する発声様態の時間パターンを保持しながら声質を変換することで、声質変換時の自然性、言い換えれば流暢さを低下させずに発声様態を変換することができる声質変換装置を提供することを目的とする。
【課題を解決するための手段】
【００２８】
本発明のある局面に係る声質変換装置は、入力音声を声道情報と音源情報とに分離する声道音源分離部と、前記声道音源分離部により分離された前記声道情報から、前記入力音声の発声時の口腔内の容積に対応する開口度を、前記入力音声の所定再生時刻毎に算出する開口度算出部と、開口度の変換度合いを示す発声様態変換度に基づいて、前記所定再生時刻毎の前記開口度の変換率を決定する開口度変換率決定部と、前記開口度変換率決定部により決定された前記変換率に基づいて、前記声道音源分離部により分離された前記声道情報を、前記開口度算出部により算出された前記開口度が当該変換率で変換された後の開口度に対応する声道情報に変換する声道情報変換部と、前記声道情報変換部による変換後の声道情報と、前記声道音源分離部により分離された前記音源情報とを用いて、合成音を生成する合成部とを備える。
【００２９】
この構成によると、入力音声の発声様態を変換する際に、入力音声における発声様態の時間パターンを保存することが可能となる。つまり、発声様態変換比率を大きくすると、開口度が相対的に大きくなり、はっきりと発声した音声となり、元気に発声されたように聞こえる。一方、発声様態変換比率を小さくすると、開口度が相対的に小さくなり、怠けて発声した音声となり、力なく発声されたように聞こえる。これにより、声質変換された音声には、発声様態の変化の時間パターンが保存されているため、自然性（流暢さ）を劣化させない声質変換が可能となる。
【００３０】
なお、本発明は、このような特徴的な処理部を備える声質変換装置として実現することができるだけでなく、声質変換装置に含まれる特徴的な処理部が実行する処理をステップとする声質変換方法として実現することができる。また、声質変換装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは声質変換方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【発明の効果】
【００３１】
本発明の声質変換装置によれば、入力音声の発声様態を変換する際に、入力音声における発声様態の時間的変化パターンを維持することが可能となる。つまり、声質変換された音声には、発声様態の変化の時間パターンが保存されているため、自然性（流暢さ）を劣化させない声質変換が可能となる。
【図面の簡単な説明】
【００３２】
【図１】人間の音声の発声機構を示す図
【図２】発声様態の違いによる声道伝達特性の違いを示す図
【図３】発声様態の時間的変動を示す概念図
【図４】発声様態の違いによる声道断面積関数の違いを示す図
【図５】本発明の実施の形態における声質変換装置の機能的な構成を示すブロック図
【図６】声道断面積関数の例を示す図
【図７】発声内における開口度の時間パターンを示す図
【図８】開口度の時間パターンの変換例を示す図
【図９】声道断面積関数の変換係数の例を示す図
【図１０】声道断面積関数の変換例を示す図
【図１１】開口度の変換前後における声道伝達特性を示す図
【図１２】本発明の実施の形態における声質変換装置の動作を示すフローチャート
【図１３】本発明の実施の形態の変形例における声質変換装置の機能的な構成を示すブロック図
【図１４】本発明の実施の形態の変形例における声質変換装置の動作を示すフローチャート
【図１５】従来の声質変換装置の構成図
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００３４】
本発明の一実施態様に係る声質変換装置は、入力音声を声道情報と音源情報とに分離する声道音源分離部と、前記声道音源分離部により分離された前記声道情報から、前記入力音声の発声時の口腔内の容積に対応する開口度を、前記入力音声の所定再生時刻毎に算出する開口度算出部と、開口度の変換度合いを示す発声様態変換度に基づいて、前記所定再生時刻毎の前記開口度の変換率を決定する開口度変換率決定部と、前記開口度変換率決定部により決定された前記変換率に基づいて、前記声道音源分離部により分離された前記声道情報を、前記開口度算出部により算出された前記開口度が当該変換率で変換された後の開口度に対応する声道情報に変換する声道情報変換部と、前記声道情報変換部による変換後の声道情報と、前記声道音源分離部により分離された前記音源情報とを用いて、合成音を生成する合成部とを備える。
【００３５】
この構成によると、入力音声の発声様態を変換する際に、入力音声における発声様態の時間パターン（時間的な変化系列）を保存することが可能となる。つまり、発声様態変換比率を大きくすると、開口度が相対的に大きくなり、はっきりと発声した音声となり、元気に発声されたように聞こえる。一方、発声様態変換比率を小さくすると、開口度が相対的に小さくなり、怠けて発声した音声となり、力なく発声されたように聞こえる。これにより、声質変換された音声には、発声様態の変化の時間パターンが保存されているため、自然性（流暢さ）を劣化させない声質変換が可能となる。
【００３６】
好ましくは、前記開口度算出部は、前記所定再生時刻毎に前記声道音源分離部により分離された前記声道情報から声道断面積関数を算出し、前記口腔内を複数の区間に分割した場合に、算出した前記声道断面積関数で示される各区間の声道断面積の和として、前記開口度を算出する。
【００３７】
さらに好ましくは、上述の声質変換装置は、さらに、前記入力音声に含まれる母音の時間区間である母音区間を抽出する母音区間抽出部を備え、前記声道情報変換部は、前記声道音源分離部により分離された前記声道情報のうち、前記母音区間抽出部により抽出された前記母音区間における声道情報のみを変換する。
【００３８】
この構成によると、声道情報が時間的に早く変化する子音区間に対して開口度を変換しないことで、過度な声道形状の変換を防止することができるため、声質変換時の音質の劣化を抑圧することが可能となる。
【００３９】
また、前記開口度変換率決定部は、前記発声様態変換度を、前記所定再生時刻毎の前記変換率として決定しても良い。
【００４０】
この構成によると、外部から入力された発声様態変換度を直接的に用いて、声道情報を変換することが可能となる。
【００４１】
好ましくは、前記開口度変換率決定部は、前記所定再生時刻毎に、前記開口度算出部により算出された前記開口度の時間的な変化系列におけるダイナミックレンジと前記発声様態変換度との積が、変換後の開口度の時間的な変化系列におけるダイナミックレンジと一致するように、前記変換後の開口度を算出するために前記開口度算出部により算出された前記開口度に乗じる前記変換率を決定する。
【００４２】
この構成によると、外部から入力される発声様態変換度に基づいて、入力音声の開口度の時間パターン（時間的な変化系列）のダイナミックレンジを変換することができる。このため、よりメリハリの付いた音声に声質変換することが可能となる。
【００４３】
また、前記開口度変換率決定部は、前記所定再生時刻毎に、前記開口度算出部により算出された前記開口度の時間的な変化系列における開口度の平均値と前記発声様態変換度との積が、変換後の開口度の時間的な変化系列における開口度の平均値と一致するように、前記変換後の開口度を算出するために前記開口度算出部により算出された前記開口度に乗じる前記変換率を決定しても良い。
【００４４】
この構成によると、外部から入力される発声様態変換度に基づいて、入力音声の開口度の時間パターン（時間的な変化系列）の平均値を変換することができる。このため、平均的に発声様態が変換された声質変換することが可能となる。
【００４５】
また、前記声道情報変換部は、前記開口度変換率決定部により決定された前記変換率に基づいて、前記声道音源分離部により分離された前記声道情報を示す声道断面積を変換することにより、前記声道音源分離部により分離された前記声道情報を変換しても良い。
【００４６】
好ましくは、前記声道情報変換部は、前記口腔内を複数の区間に分割した場合に、前記変換率に対応し、かつ区間ごとに定められる変換係数を、区間ごとの前記声道断面積に乗算することにより、前記声道音源分離部により分離された前記声道情報を変換する。
【００４７】
この構成によると、声道断面積関数を変形する際に、より自由度が高く変換することができるため、声質変換された音声の自然性の劣化を防止することが可能となる。
【００４８】
さらに好ましくは、前記変換係数は、口唇に近い区間の前記変換係数ほど、隣接する区間の前記変換係数との差分の絶対値が大きい。
【００４９】
この構成によると、声道断面積関数を変換する際に、より発声機構に合致した変形が可能となり、声質変換された音声の自然性の劣化を防止することが可能となる。
【００５０】
（実施の形態）
本発明の実施の形態では、元となる音声（入力音声）に対して、後述する発声の様態を表す開口度を変換率に基づいて変換することにより声質変換を行う方法について説明する。
【００５１】
既に述べたように、声質変換を行う際には、入力音声における発声様態の時間的な変動を保持することが重要である。発声様態とは、例えば、ハッキリと明瞭度の高い発声、または、怠けた明瞭度の低い発声である。
【００５２】
発声様態は、例えば音声の発話速度、発話内の位置、または、アクセント句内における位置に影響を受ける。例えば、自然な発話においては、文頭ははっきりと明瞭に発声するが、文末では怠けが発生し、明瞭度が低下する傾向がある。また、入力音声において、ある単語が強調されている場合の発声様態は、強調されない場合と異なる。
【００５３】
図４（ａ）は、前述の「めまいがします（／ｍｅｍａｉｇａｓｈｉｍａｓｘｕ／）」と発声した際の「めまい」の／ｍａ／の母音部／ａ／の対数声道断面積関数を示し、図４（ｂ）は、「お湯が出ません（／ｏｙｕｇａｄｅｍａｓｅＮ／）」と発声した際の／ｍａ／の母音部／ａ／の対数声道断面積関数を示す。
【００５４】
図４（ａ）の母音部／ａ／は、文頭に近く、また内容語（自立語）に含まれる音であることから、発声様態としてはハッキリと明瞭に発話されている。一方、図４（ｂ）の母音部／ａ／は、文末に近いことから、発声様態としては怠けが発生し、明瞭さが低い。
【００５５】
本願発明者らは、このような発声様態の違いと対数声道断面積関数の関係を注意深く観察することにより、発声様態が口腔内の容積と関連があるという知見を見出した。
【００５６】
つまり、口腔内の容積が大きいほど、発声様態はハッキリと明瞭である傾向があり、逆に口腔内の容積が小さいほど、発声様態は怠けを伴い、明瞭度が低い傾向がある。
【００５７】
音声から算出可能な口腔内容積を開口度の指標とすることによって、その音声が持つ発声様態を制御することが可能となる。
【００５８】
本実施の形態では、口腔内容積を示す開口度を用いることにより発声様態の時間的な変動を保存して声質変換を行うことで、自然性の劣化が少ない合成音を生成することができる。
【００５９】
図５は、実施の形態における声質変換装置の機能的な構成を示すブロック図である。声質変換装置は、声道音源分離部１０１と、開口度算出部１０２と、開口度変換率決定部１０５と、声道情報変換部１０３と、合成部１０４とを備える。
【００６０】
声道音源分離部１０１は、入力音声を受け付ける。声道音源分離部１０１は、受け付けた入力音声を声道情報と音源情報に分離する。
【００６１】
開口度算出部１０２は、声道音源分離部１０１により分離された声道情報を用いて、入力音声の各フレームにおける開口度を算出する。つまり、開口度算出部１０２は、声道音源分離部１０１により分離された声道情報から、入力音声の発声時の口腔内の容積に対応する開口度を、入力音声の所定再生時刻（フレーム）毎に算出する。
【００６２】
開口度変換率決定部１０５は、外部から入力される開口度の変換度合いを示す発声様態変換度に基づいて、開口度算出部１０２により算出された各フレームにおける開口度の変換率である率を算出する。
【００６３】
声道情報変換部１０３は、開口度変換率決定部１０５により決定された開口度変換率に基づいて、声道音源分離部１０１により分離された声道情報を、開口度算出部１０２が算出した開口度が当該開口度変換率で変換された後の開口度に対応する声道情報に変換する。
【００６４】
合成部１０４は、声道情報変換部１０３により変換された声道情報と、声道音源分離部１０１により分離された音源情報を用いて合成音を生成する。
【００６５】
以上のように構成された声質変換装置により、入力音声の発声様態の時間的な変動を保持しながら声質変換が可能となる。
【００６６】
以下、それぞれの構成要素について説明する。
【００６７】
＜声道音源分離部１０１＞
声道音源分離部１０１は、入力音声に対して、声道音源モデル（音声の発声機構をモデル化した音声生成モデル）を適用することにより、声道情報と音源情報の分離を行う。使用する声道音源モデルに制限はなく、どのようなモデルであっても良い。
【００６８】
例えば、声道音源モデルとして線形予測モデル（ＬＰＣモデル）がある。線形予測モデルは、音声波形のある標本値ｓ（ｎ）をそれより前のｐ個の標本値から予測するものであり、標本値ｓ（ｎ）は、式１のように表せる。
【００６９】
【数１】
2013033103.tif 000003
【００７０】
ｐ個の標本値に対する係数αi（ｉ＝１〜ｐ）は、相関法や共分散法などを用いることにより算出できる。算出した係数αiを用いると入力された音声信号は、式２により生成することができる。
【００７１】
【数２】
2013033103.tif 000004
【００７２】
ここで、Ｓ（ｚ）は音声信号ｓ（ｎ）のｚ変換後の値であり、Ｕ（ｚ）は、は有声音源信号ｕ（ｎ）のｚ変換後の値であり、入力音声Ｓ（ｚ）を声道情報１／Ａ（ｚ）で逆フィルタリングした信号を表す。
【００７３】
さらに、ＬＰＣ分析により分析された線形予測係数αiを用いて、ＰＡＲＣＯＲ係数（偏自己相関係数）を算出するようにしてもよい。ＰＡＲＣＯＲ係数は、線形予測係数と比較して、補間特性が良いことが知られている。ＰＡＲＣＯＲ係数は、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎ−Ｉｔａｋｕｒａアルゴリズムを用いることにより算出することが可能である。なお、ＰＡＲＣＯＲ係数は、次の特徴を保有する。
【００７４】
（特徴１）低次の係数ほどその変動によるスペクトルへの影響が大きく、高次になるにつれて変動の影響が小さくなる。
【００７５】
（特徴２）高次の係数の変動の影響は、平坦に全域にわたる。
【００７６】
以下の説明では、声道情報として、ＰＡＲＣＯＲ係数を用いて説明する。なお、用いる声道情報はＰＡＲＣＯＲ係数に限らず、線形予測係数を用いても良い。さらには線スペクトル対（ＬＳＰ）を用いてもよい。
【００７７】
また、声道音源モデルとしてＡＲＸモデル（Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ  ｗｉｔｈ  ｅｘｏｇｅｎｏｕｓ  ｉｎｐｕｔ）を用いてもよい。ＡＲＸ分析は、音源として数式音源モデルを用いる点がＬＰＣ分析と大きく異なる。また、ＡＲＸ分析では、ＬＰＣ分析と異なり、分析区間内に複数の基本周期を含んだ場合においても、より正確に声道と音源の情報を分離できる（非特許文献１：「音源パルス列を考慮した頑健なＡＲＸ音声分析法」、日本音響学会誌５８巻７号、２００２年、ｐｐ．３８６−３９７）。
【００７８】
ＡＲＸ分析では、音声は式３に示す生成過程により生成される。式３において、Ｓ（ｚ）は音声信号ｓ（ｎ）のｚ変換後の値を表す。Ｕ（ｚ）は有声音源信号ｕ（ｎ）のｚ変換後の値を表す。Ｅ（ｚ）は無声雑音音源ｅ（ｎ）のｚ変換後の値を表す。つまり、ＡＲＸ分析では、有声音は式３の右辺第１項により音声が生成され、無声音は右辺第２項により生成される。
【００７９】
【数３】
2013033103.tif 000005
【００８０】
このとき、有声音源信号ｕ（ｔ）＝ｕ（ｎＴｓ）のモデルとして、式４に示す音モデルを用いる（Ｔｓはサンプリング周期）。
【００８１】
【数４】
2013033103.tif 000006
【００８２】
ただし、ＡＶは有声音源振幅、Ｔ０はピッチ周期、ＯＱは声門開放率を表わす。有声音の場合は式４の右辺上段第１項が使用され、無声音の場合は式４の右辺上段第２項が使用される。声門開放率ＯＱとは、１ピッチ周期における声門が開放されている割合を示す。声門開放率ＯＱが大きいほどやわらかい音声となる傾向があることが知られている。
【００８３】
ＡＲＸ分析は、ＬＰＣ分析と比較して以下の利点がある。
【００８４】
（利点１）分析窓内に複数のピッチ周期に対応した音源パルス列を配して分析を行っているため、女性または子供などの高ピッチ音声でも安定に声道情報を抽出できる。
【００８５】
（利点２）特に、ピッチ周波数Ｆ０と第１フォルマント周波数Ｆ１が接近している／ｉ／、／ｕ／などの狭母音の声道音源分離性能が高い。
【００８６】
有声音区間では、ＬＰＣ分析の場合と同様に、Ｕ（ｚ）は、入力音声Ｓ（ｚ）を声道情報１／Ａ（ｚ）で逆フィルタリングすることにより得ることができる。
【００８７】
ＡＲＸ分析においても、声道情報１／Ａ（ｚ）は、ＬＰＣ分析におけるシステム関数と同じ形式である。このことから、ＬＰＣ分析と同様の方法により、ＰＡＲＣＯＲ係数を求めても良い。
【００８８】
＜開口度算出部１０２＞
開口度算出部１０２は、声道音源分離部１０１により分離された声道情報を用いて、入力音声の各音声フレームに対して口腔内の容積に対応する開口度を算出する。入力音声の各音声フレームには、入力音声が発声された時刻の情報が含まれる。
【００８９】
開口度算出部１０２は、所定再生時刻毎に声道音源分離部１０１により分離された声道情報から声道断面積関数を算出し、口腔内を複数の区間に分割した場合に、算出した声道断面積関数で示される各区間の声道断面積の和として、開口度を算出する。
【００９０】
具体的には、開口度算出部１０２は、声道情報として抽出されたＰＡＲＣＯＲ係数から式５を用いて、声道断面積関数を算出する。
【００９１】
【数５】
2013033103.tif 000007
【００９２】
ここで、ｋｉは、ｉ次のＰＡＲＣＯＲ係数、Ａｉは、ｉ番目の声道断面積を表し、ＡＮ＋１＝１とする。
【００９３】
図６は、ある発声の母音／ａ／の対数声道断面積関数を示す図である。声門から口唇までの声道を１１個の区間（セクション）に分割しており、セクション１１が声門を表し、セクション１が口唇を表す。
【００９４】
図６において、網掛け領域は概ね口腔内と考えることができる。そこで、セクション１からセクションＴまでを口腔内と考えると（図６ではＴ＝５）、開口度Ｖは式６により定義することができる。Ｔは、ＬＰＣ分析あるいはＡＲＸ分析の次数に応じて変更することが望ましい。例えば１０次のＬＰＣ分析の場合、３乃至５程度が望ましい。ただし、具体的な次数については限定するものではない。
【００９５】
【数６】
2013033103.tif 000008
【００９６】
開口度算出部１０２は、以上のように定義される開口度Ｖを入力音声の各フレームに対して算出する。
【００９７】
図７に、「めまいがします（／ｍｅｍａｉｇａｓｈｉｍａｓｘｕ／）」という発声において、式６により算出された開口度の時間的な変化を示す。
【００９８】
このように開口度は、時間的に変動しており、この時間変動パターンを崩すと、自然性が劣化する。
【００９９】
このように声道断面積関数を用いて算出される開口度（口腔内の容積）を用いることにより、単に口唇の開き具合だけではなく、外界から直接観測できない、口腔内の形状（例えば舌の位置）も考慮することができる。
【０１００】
なお、上記の説明では、開口度の算出の単位はフレームとしたが、フレームに限定されるものではない。例えば、音素を単位として開口度を算出するようにしても良い。この場合、音素中心のフレームにおける開口度を、その音素の開口度としても良い。また、音素内の開口度の平均値を、その音素の開口度としても良い。音素を単位とした場合、各フレームにおける開口度は、当該フレームの前後の音素の開口度から内挿補間することにより算出することができる。開口度を算出する単位としては、このほかにモーラまたは音節などを用いるようにしても良い。
【０１０１】
＜開口度変換率決定部１０５＞
開口度変換率決定部１０５は、開口度算出部１０２により算出された各フレームｉにおける開口度変換率ｒｉを算出する。これにより入力音声の発声様態を変化させることにより、入力音声とは異なる発声様態の音声を得ることができる。具体的には、よりハッキリと元気な発声様態への変換や、怠けた元気のない発声様態の変換などが可能となる。なお、開口度変換率ｒｉとは、開口度に乗算する係数のことであり、開口度に開口度変換率ｒｉを乗算することにより、開口度を変換することができる。
【０１０２】
開口度変換率ｒｉの算出の方法としては、例えば発声様態変換度ｑを直接、フレーム毎の開口度変換率ｒｉとしてもよい。具体的には、開口度変換率決定部１０５は、各フレームの開口度変換率ｒｉを式７に従って、算出すればよい。
【０１０３】
【数７】
2013033103.tif 000009
【０１０４】
ここで、ｉは、フレーム番号を示す。
【０１０５】
このように算出された開口度変換率ｒｉを用いると、開口度算出部１０２が算出した開口度（図８（ａ）の破線）に対して、変換後の開口度Ｖ’ｉ（図８（ａ）の実線）は式８により得ることができる。
【０１０６】
【数８】
2013033103.tif 000010
【０１０７】
このように開口度を変換することにより、入力音声の開口度を発声様態変換度に応じて変換することになる。その結果、発声様態の異なる発声をした場合に相当する開口度パターンを生成することができる。
【０１０８】
また、開口度の変化の時間パターンを保持したまま、開口度の変化系列におけるダイナミックレンジを調整するようにしてもよい。つまり、開口度変換率決定部１０５は、フレーム毎に、開口度算出部１０２が算出した開口度Ｖｉの時間的な変化系列におけるダイナミックレンジと発声様態変換度との積が、変換後の開口度Ｖ’ｉの時間的な変化系列におけるダイナミックレンジと一致するように、開口度変換率ｒｉを決定する。
【０１０９】
具体的には、図８（ｂ）の破線に示すように開口度算出部１０２が算出した開口度の時間パターンをＶｉとすると、開口度変換率決定部１０５は、式９により、入力音声の開口度のダイナミックレンジを変換する開口度変換率ｒｉを算出する。
【０１１０】
【数９】
2013033103.tif 000011
【０１１１】
ここで、Ｅ（ｘ）は、ｘの平均値を算出する関数を表す。開口度Ｖｉを、式９で算出されたｒｉを用いて変換した後の開口度Ｖ’ｉは、ダイナミックレンジを式１０で定義する。変換前のダイナミックレンジＤＲと変換後のダイナミックレンジＤＲ’の関係は発声様態変換度ｑを用いると式１１のように表される。このようにして算出された開口度変換率ｒｉを用いることにより、開口度の時間パターンの動きを保持しながらそのダイナミックレンジを変換することが可能となる。
【０１１２】
【数１０】
2013033103.tif 000012
【０１１３】
【数１１】
2013033103.tif 000013
【０１１４】
このようにして算出された開口度変換率ｒｉを用いると、変換後の開口度Ｖ’ｉは式８により表現できる。
【０１１５】
以上のように変換された開口度の時間パターンは、図８（ｂ）の実線のようになり、開口度の時間パターンのダイナミックレンジを変換することができる。
【０１１６】
例えば、発声様態変換度ｑが１よりも大きい場合は、開口度のパターンのダイナミックレンジが拡大される。よって、入力音声に含まれる開口度が大きい区間の音声は、より開口度が大きくなるように変換される。開口度が小さい区間の音声は、より開口度が小さくなるように変換される。その結果、入力音声に対して、メリハリがついた音声に変換することが可能となる。具体的には、開口度が大きくなると、はっきりと発声した音声となり、元気に発声されたように聞こえる。
【０１１７】
一方、発声様態変換度ｑが１よりも小さい場合は、ダイナミックレンジが縮小される。よって、入力音声に含まれる開口度が大きい区間の音声は、より開口度が小さくなるように変換される。このため、発声様態の変動が少なくなり、全体的にメリハリが少なく、落ち着いた音声に変換することが可能となる。具体的には、開口度が小さくなると、怠けて発声した音声となり、力なく発声されたように聞こえる。
【０１１８】
また、開口度変換率決定部１０５は、開口度の変化の時間パターンを保持したまま、開口度の変化系列における平均値をシフトするように開口度を調整するようにしてもよい。つまり、開口度変換率決定部１０５は、フレーム毎に、開口度算出部１０２が算出した開口度の時間的な変化系列における開口度Ｖｉの平均値と発声様態変換度との積が、変換後の開口度Ｖ’ｉの時間的な変化系列における開口度の平均値と一致するように、開口度変換率ｒｉを決定する。
【０１１９】
具体的には、図８（ｃ）の破線に示すように開口度算出部１０２が算出した開口度の時間パターンをＶｉとすると、開口度変換率決定部１０５は、式１２により、入力音声の開口度の平均値をシフトする（変換する）開口度変換率ｒｉを算出する。
【０１２０】
【数１２】
2013033103.tif 000014
【０１２１】
このようにして算出された開口度変換率ｒｉを用いると、変換後の開口度Ｖ’ｉは式８により表現できる。
【０１２２】
以上のように変換された開口度の時間パターンは、図８（ｃ）の実線のようになり、開口度の時間パターンの平均値をシフトするように変換することができる。
【０１２３】
発声様態変換度ｑが１よりも大きい場合には、一様にはっきりと発声し、元気な感じの音声に変換することができる。発声様態変換度ｑが１よりも小さい場合には、一様に怠けて発声することにより、元気なく発声した音声に変換することができる。
【０１２４】
なお、開口度変換率ｒｉの算出方法は上述の方法に限るものではなく、何らかの方法で開口度の時間パターンを保持したままその大きさを変えるものであればよい。
【０１２５】
＜声道情報変換部１０３＞
声道情報変換部１０３は、以上のようにして算出したフレームｉの開口度変換率ｒｉを用いて声道音源分離部１０１により算出された声道情報を変換する。つまり、声道情報変換部１０３は、開口度変換率決定部１０５により決定された開口度変換率に基づいて、声道音源分離部１０１により分離された声道情報を示す声道断面積を変換することにより、声道音源分離部１０１により分離された声道情報を変換する。
【０１２６】
具体的には、声道情報変換部１０３は、各フレームにおいて、声道断面積関数が示す声道断面積に対する変換係数を示す変換関数Ｃｋｉを式１３により算出する。
【０１２７】
【数１３】
2013033103.tif 000015
【０１２８】
ここで、ｋは、声道断面積関数におけるセクション番号であり、ｒｉは、口唇位置における開口度変換率を表す。また、βは、各セクションにおける開口度の変化の度合いの強さを表す予め定められた定数である。βが大きいほど、口唇側のセクションにおいてより変換関数Ｃｋｉが急峻な変化を示す。
【０１２９】
図９は、β＝０．７とし、ｒｉを−０．４、−０．２，０，０．２，０．４、と変化させたときの変換関数Ｃｋｉが示す変換係数Ｃｉを示すグラフである。
【０１３０】
図からわかるように開口度変換率ｒｉが負の場合には、口唇に向けて変換係数Ｃｉの値が小さくなることより徐々に声道断面積が狭まるように働き、開口度変換率ｒｉ正の場合には、変換係数Ｃｉの値が大きくなることより逆に声道断面積が広がるように働く。このような変換係数Ｃｉを式１４に示すように、入力音声の声道断面積関数Ａｉに乗算することにより開口度を調整することが可能である。なお、式１４では、変換関数Ｃｋｉに声道断面積関数Ａｉｋを乗算した式を示している。
【０１３１】
【数１４】
2013033103.tif 000016
【０１３２】
つまり、声道情報変換部１０３は、口腔内を複数の区間に分割した場合に、開口度変換率に対応し、かつ区間ごとに定められる変換係数を、区間ごとの声道断面積に乗算することにより、声道音源分離部１０１により分離された声道情報を変換する。また、変換関数は図９に示すような形状をしている。このため、変換係数は、口唇に近い区間の変換係数ほど、隣接する区間の変換係数との差分の絶対値が大きい。
【０１３３】
なお、声道断面積関数Ａｉｋに対する変換関数Ｃｋｉは式１３に限定するものではなく、声道断面積関数Ａｉｋに対して、口唇に近づくほど変換係数Ｃｉの値が大きく変化するような関数であればよい。あるいは、口腔内に対応するセクションの断面積を一律に変換するように変換関数Ｃｋｉを設計してもよい。
【０１３４】
図１０に、母音／ａ／に関して式１４を用いて開口度を変換した際の声道断面積の変化の様子を示す。図１０（ａ）は、ある発声された母音／ａ／の対数声道断面積関数である。横軸はセクション番号を示し、縦軸は声道断面積の値を示す。一方、図１０（ｂ）は、図１０（ａ）の声道断面積関数に対して、式１４により開口度を変換した場合の声道断面積関数である。横軸および縦軸は、図１０（ａ）と同じである。図１０からわかるように、変換前と変換後の声道断面積を比較した場合に、セクション５付近から口唇（セクション１）にかけて、声道断面積が徐々に狭まっている。このように声道断面積を変換することで、実際の発声時に伴う口腔内の動きを模擬する。つまり、口唇に近いほど声道断面積が大きく変化するという口腔内の動きを模擬している。
【０１３５】
図１１は、以上のようにして得られた声道情報の声道伝達特性を示した図である。同図において横軸は周波数を示し、縦軸はスペクトル強度を示す。
【０１３６】
図１１において実線１１０１は、図１０（ａ）の声道断面積関数に対応する声道伝達特性を示す。破線１１０２は、図１０（ｂ）の声道断面積関数に対応する声道伝達特性を示す。つまり、破線１１０２は、声道情報変換部１０３により変換された後の声道情報の声道伝達特性を示す。声道情報変換部１０３により開口度が小さくなるように変換したことにより、フォルマントの強度は弱まる傾向にある。一方、開口度の変換に伴い、破線１１０２で示される声道伝達特性のフォルマント中心周波数も変換前の声道伝達特性（実線１１０１）と比較すると移動している。このように従来の音声強調装置のようにフォルマント強度だけではなく、フォルマント中心周波数に対しても開口度を変換することにより変形することが可能となる。また、開口度の時間的な変動パターンは入力音声の変動パターンと同様の時間的変動を保持しているため、音声としての自然性も保持することができる。
【０１３７】
＜合成部１０４＞
合成部１０４は、声道情報変換部１０３により変換された声道情報（声道断面積関数）Ａ’ｉｋと、声道音源分離部１０１により分離された音源情報を用いて、音声を合成する。合成の方法は特に限定するものではないが、声道情報としてＰＡＲＣＯＲ係数を用いている場合は、声道断面積関数Ａ’ｉｋを式５を用いてＰＡＲＣＯＲ係数に変換し、ＰＡＲＣＯＲ合成を用いればよい。あるいは、ＰＡＲＣＯＲ係数からＬＰＣ係数に変換した後に合成してもよいし、フォルマントを抽出し、フォルマント合成により合成してもよい。さらにはＰＡＲＣＯＲ係数からＬＳＰ係数を算出しＬＳＰ合成により合成するようにしてもよい。
【０１３８】
＜フローチャート＞
本実施の形態に係る声質変換装置の具体的な動作に関して図１２に示すフローチャートを用いて説明する。
【０１３９】
ステップＳ１０１において、声道音源分離部１０１は、入力音声を声道情報と音源情報とに分離する。
【０１４０】
ステップＳ１０２において、開口度算出部１０２は、ステップＳ１０１で分離された声道情報を用いて、入力音声に含まれる各フレームにおける開口度を算出する。
【０１４１】
ステップＳ１０３において、開口度変換率決定部１０５は、ステップＳ１０２で算出された入力音声の各フレームの開口度と、別途入力される発声様態変換度に基づいて、開口度変換率を決定する。
【０１４２】
ステップＳ１０４において、声道情報変換部１０３は、ステップＳ１０３で決定された開口度変換率に基づいて、ステップＳ１０１において算出された声道情報を変換する。
【０１４３】
ステップＳ１０５において、合成部１０４は、ステップＳ１０４において変換された声道情報と、ステップＳ１０１において分離された音源情報を用いて合成音を生成する。
【０１４４】
＜効果＞
かかる構成によれば、入力音声の発声様態を変換する際に、入力音声における発声様態の時間的変化パターンを保存しながら、発声様態変換度に基づいて発声様態を変換することが可能となる。つまり、発声様態変換比率を大きくすると、開口度が相対的に大きくなり、はっきりと発声した音声となり、元気に発声されたように聞こえるという効果を有する。一方、発声様態変換比率を小さくすると、開口度が相対的に小さくなり、怠けて発声した音声となり、力なく発声されたように聞こえるという効果がある。また、実施の形態の声質変換装置により声質変換された音声は、発声様態の変化の時間パターンが保存されているため、声質変換時の自然性（流暢さ）を劣化させない声質変換が可能となる。
【０１４５】
具体的には、図８（ａ）〜図８（ｃ）の破線に示すように、入力音声の発声様態（明瞭度）の変化と、実線に示すように、声質変換後の音声の発声様態の変化パターン（はっきりや怠けの時間パターン）とが同じになるため、音声の発声様態の不自然さに起因する音質の劣化が生じない。
【０１４６】
なお、本実施の形態では、日本語の音声により説明を行ったが、日本語に限るものではなく、英語をはじめ他の言語においても同様に声質変換を行うことができる。
【０１４７】
例えば、通常発声した場合“Ｃａｎ  Ｉ  ｍａｋｅ  ａ  ｐｈｏｎｅ  ｃａｌｌ  ｆｒｏｍ  ｔｈｉｓ  ｐｌａｉｎ？”と発声した場合の文末のｐｌａｉｎの［ｅｉ］と、“Ｍａｙ  Ｉ  ｈａｖｅ  ａ  ｔｈｅｒｍｏｍｅｔｅｒ？”と発声した場合の文頭のＭａｙの［ｅｉ］との発声様態は異なる（［］内は国際音声記号（ＩＰＡＩｎｔｅｒｎａｔｉｏｎａｌ  Ｐｈｏｎｅｔｉｃ  Ａｌｐｈａｂｅｔ））。また、日本語と同様に文内位置や、内容語もしくは機能語、または強調の有無などによりその発声様態は変化することから、フォルマント強度のみを変換すると、日本語と同様に発声様態の時間的変化パターンが崩れる。よって、声質変換音声の自然性は劣化する。したがって、英語においても開口度を基準に声質を変換することにより、入力音声における発声様態の時間的変化パターンを保存しながら、目標の声質に変換することが可能となる。結果として、声質変換された音声は、発声様態の変化の時間パターンが保存されているため、声質変換時の自然性（流暢さ）を劣化させない声質変換ができる。
【０１４８】
（変形例）
次に、本実施の形態の変形例について説明する。本変形例では、入力音声の母音区間についての声質を変換する。
【０１４９】
図１３は、本発明の実施の形態の声質変換装置の変形例を示す構成図である。図１３において、図５と同じ構成要素については同じ符号を用い、説明を省略する。
【０１５０】
本変形例に係る声質変換装置は、図５に示した声質変換装置の構成において、母音区間抽出部２０１を新たに設け、声道情報変換部１０３の代わりに母音声道情報変換部２０２を用いた構成を有する。
【０１５１】
＜母音区間抽出部２０１＞
母音区間抽出部２０１は、入力された音声に含まれる母音の時間区間である母音区間を抽出する。母音区間の抽出方法は特に限定するものではない。例えば、母音区間抽出部２０１は、音声認識技術を用いて入力音声の音素系列を認識し、その認識結果から母音区間を抽出するようにすればよい。あるいは、母音区間抽出部２０１は、予め保持している母音の音声波形のテンプレートと、入力音声の音声波形の類似度を算出し、算出した類似度が予め設定した閾値よりも大きい場合に母音区間として抽出するようにしてもよい。
【０１５２】
＜母音声道情報変換部２０２＞
母音声道情報変換部２０２は、声道音源分離部１０１により分離された声道情報のうち、母音区間抽出部２０１が抽出した母音区間における声道情報のみを変換する。
具体的な声道情報の変換方法は、声道情報変換部１０３による声道情報の変換方法と同じである。このため、その詳細な説明は繰り返さない。
【０１５３】
＜フローチャート＞
本変形例に係る声質変換装置の具体的な動作に関して図１４に示すフローチャートを用いて説明する。
【０１５４】
ステップＳ２０１において、母音区間抽出部２０１は、入力音声から母音区間を抽出する。
【０１５５】
ステップＳ１０１において、声道音源分離部１０１は、入力音声を声道情報と音源情報とに分離する。
【０１５６】
ステップＳ１０２において、開口度算出部１０２は、ステップＳ１０１で分離された声道情報を用いて、入力音声に含まれる各フレームにおける開口度を算出する。
【０１５７】
ステップＳ１０３において、開口度変換率決定部１０５は、ステップＳ１０２で算出された入力音声の各フレームの開口度と、別途入力される発声様態変換度に基づいて、開口度変換率を決定する。
【０１５８】
ステップＳ２０２において、母音声道情報変換部２０２は、ステップＳ１０３で決定された開口度変換率に基づいて、ステップＳ１０１により算出された声道情報のうち、ステップＳ２０１において抽出された母音区間における声道情報を変換する。
【０１５９】
ステップＳ１０５において、合成部１０４は、ステップＳ２０２において変換された声道情報と、ステップＳ１０１において分離された音源情報を用いて合成音を生成する。子音区間については声道情報の変換が行われない。このため、合成部１０４は、子音区間については、声道音源分離部１０１により分離された声道情報と音源情報とを用いて合成音を生成する。
【０１６０】
＜効果＞
かかる構成によれば、入力音声の発声様態を変換する際に、入力音声における発声様態の時間的変化パターンを保存しながら、発声様態変換比率に基づいて発声様態を変換することが可能となる。結果として、声質変換された音声は、発声様態の変化の時間パターンが保存されているため、声質変換時の自然性（流暢さ）を劣化させない声質変換が可能となる。加えて、子音区間は声道情報の変化が時間的に速く、また大きいため、比較的継続時間が長く、声道情報の動きが緩やかな母音区間と比べて声道情報の変形に伴う音質劣化が大きい。このことから、母音区間のみを変換することにより声質変換時の音質劣化を抑圧することができる。また、母音区間は子音区間よりも継続時間長が長いことから声質変換の効果を維持することが可能である。
【０１６１】
なお、図示しない入力音声取得部が入力音声を取得しても良い。入力音声取得部は、入力音声を取得した時刻と入力音声と対応付けて取得する。この時刻は、所定再生時刻に対応する。入力音声取得部は、声道音源分離部１０１に、取得した入力音声を送信する。入力音声取得部は、マイクロホン等で構成しても良い。または、入力音声取得部に含まれる記憶部に、入力音声を記憶しても良い。
【０１６２】
なお、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１６３】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１６４】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【０１６５】
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるディジタル信号であるとしても良い。
【０１６６】
さらに、本発明は、上記コンピュータプログラムまたは上記ディジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記ディジタル信号であるとしても良い。
【０１６７】
また、本発明は、上記コンピュータプログラムまたは上記ディジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【０１６８】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【０１６９】
また、上記プログラムまたは上記ディジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記ディジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【０１７０】
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしても良い。
【０１７１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１７２】
本発明に係る声質変換装置は、入力音声における発声様態の時間的変化パターンを保存しながら、目標の声質に変換する機能を有し、多様な声質を必要とする情報機器や家電機器のユーザインタフェースや、自分用の声質に変換した着信音などのエンターテイメント等の用途において有用である。また、携帯電話などによる音声通信におけるボイスチェンジャー等の用途にも応用できる。
【符号の説明】
【０１７３】
１０１  声道音源分離部
１０２  開口度算出部
１０３  声道情報変換部
１０４  合成部
１０５  開口度変換率決定部
２０１  母音区間抽出部
２０２  母音声道情報変換部
【図１】
2013033103.tif 000017
【図２】
2013033103.tif 000018
【図３】
2013033103.tif 000019
【図４】
2013033103.tif 000020
【図５】
2013033103.tif 000021
【図６】
2013033103.tif 000022
【図７】
2013033103.tif 000023
【図８】
2013033103.tif 000024
【図９】
2013033103.tif 000025
【図１０】
2013033103.tif 000026
【図１１】
2013033103.tif 000027
【図１２】
2013033103.tif 000028
【図１３】
2013033103.tif 000029
【図１４】
2013033103.tif 000030
【図１５】
2013033103.tif 000031