(57)【要約】【課題】音声障害者が発話した内容を、登録発話モデルにはない内容であっても他の登録発話モデルから自動合成して健常者の音声で発話させる。【解決手段】この音声障害者会話支援装置は、入力された音声信号に対して、特徴抽出して入力音声特徴を出力する音声特徴抽出部と、この入力音声特徴に対して、原発話モデル特徴登録部に登録されている複数の原発話モデル各々の音声特徴との類似度を求める特徴類似度処理部と、入力音声特徴に対して、特徴類似度処理部の求めた類似度が大きい音声特徴を持つ原発話モデルを決定する発話モデル特定部と、目標発話モデルデータ登録部に登録されている複数の目標発話モデル群から、原発話モデルに対応する目標発話モデルを取り出す目標発話モデル決定部と、目標発話モデル決定部が取り出した目標発話モデルを音声合成して出力する音声合成部とから構成される。【選択図】      図１１
2004287209.tif 000002
【特許請求の範囲】
【請求項１】
多数の原発話モデル各々の音声特徴を登録する原発話モデル特徴登録部と、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを登録する目標発話モデル登録部と、
前記多数の目標発話モデル各々の音声特徴を登録する目標発話モデル特徴登録部と、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを登録する変換ルール登録部と、
ユーザの発話音をデジタル音声信号に変換して入力する音声入力部と、
入力された前記デジタル音声信号に対して、入力音声特徴を抽出する音声特徴抽出部と、
前記入力音声特徴に対して、前記原発話モデル特徴登録部に登録されている多数の原発話モデル各々の音声特徴との類似度を求める特徴類似度処理部と、
前記入力音声特徴に対して、前記特徴類似度処理部の求めた類似度が大きい音声特徴を持つ原発話モデルを決定する発話モデル特定部と、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前記発話モデル特定部が決定した前記原発話モデルに対応する目標発話モデルを出力発話モデルとして取り出す目標発話モデル決定部と、
前記目標発話モデル決定部が取り出した出力発話モデルを音声合成し、可聴音声として出力する音声合成部とを備えて成る音声障害者会話支援装置。
【請求項２】
多数の原発話モデル各々の音声特徴を登録する原発話モデル特徴登録部と、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを登録する目標発話モデル登録部と、
前記多数の目標発話モデル各々の音声特徴を登録する目標発話モデル特徴登録部と、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを登録する変換ルール登録部と、
ユーザの発話音をデジタル音声信号に変換して入力する音声入力部と、
入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出する音声特徴抽出部と、
前記入力音声特徴抽出部の抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分とし、かつ、差異部分については再度その部分の音声特徴を、前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴から類似度の高い音声特徴を持つ原発話モデルを求める特徴類似度処理部と、
前記入力音声特徴の各部分に対して、前記特徴類似度処理部が求めた前記共通部分と差異部分とのそれぞれについて音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとする新規発話モデル作成部と、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前記新規発話モデル作成部が決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成する目標発話モデル合成部と、
前記目標発話モデル合成部が合成した出力発話モデルを音声合成し、可聴音声として出力する音声合成部とを備えて成る音声障害者会話支援装置。
【請求項３】
多数の原発話モデル各々の音声特徴を登録する原発話モデル特徴登録部と、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを登録する目標発話モデル登録部と、
前記多数の目標発話モデル各々の音声特徴を登録する目標発話モデル特徴登録部と、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを登録する変換ルール登録部と、
ユーザの発話音をデジタル音声信号に変換して入力する音声入力部と、
入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出する音声特徴抽出部と、
（１）前記入力音声特徴抽出部の抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（２）（１）において差異部分が求められれば、当該差異部分については再度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（３）（２）において差異部分が求められれば、当該差異部分については再々度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（４）前記差異部分が求められなくなるまで（３）の処理を繰り返して複数の共通部分群を求める特徴類似度処理部と、
前記入力音声特徴の各部分に対して、前記特徴類似度処理部が求めた共通部分群のそれぞれの共通部分について音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとする新規発話モデル作成部と、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前記新規発話モデル作成部が決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成する目標発話モデル合成部と、
前記目標発話モデル合成部が合成した出力発話モデルを音声合成し、可聴音声として出力する音声合成部とを備えて成る音声障害者会話支援装置。
【請求項４】
前記新規の原発話モデルの音声特徴群を前記原発話モデル特徴登録部に登録し、前記新規の原発話モデルに対応する出力発話モデルを前記目標発話モデル登録部に登録し、前記出力発話モデルの音声特徴群を前記目標発話モデル特徴登録部に登録して新規の発話モデルを自動学習する自動学習部を備えたことを特徴とする請求項２又は３に記載の音声障害者会話支援装置。
【請求項５】
前記特徴類似度処理部は、前記入力音声特徴の各部分と各原発話モデル毎の音声特徴の各部分との分散距離を求め、分散距離が他の部分よりも小さい部分同士を対応する共通部分と決定することを特徴とする請求項２又は３に記載の音声障害者会話支援装置。
【請求項６】
一部が異なるほぼ同じ内容の原発話モデルを少なくとも二種類発話し、当該原発話モデルの音声信号の特徴データ群を抽出し、当該特徴データ群同士を比較し、特徴データ群間の共通部分に対応する原発話モデルの内容を該当する部分の発話モデルとしてその特徴データを原発話モデル特徴登録部に登録し、
前記原発話モデルと同じ内容の目標発話モデルを少なくとも二種類発話し、当該目標発話モデルの音声信号の特徴データ群を抽出し、当該特徴データ群同士を比較し、特徴データ群間の共通部分に対応する目標発話モデルの内容を該当する部分の発話モデルとしてその特徴データを目標発話モデル特徴登録部に登録し、
前記原発話モデルの特徴データ群と目標発話モデルの特徴データ群との特徴データ間の対応関係を、前記原発話モデルと目標発話モデルとの間の変換ルールとして変換ルール登録部に登録することを特徴とする変換ルール作成方法。
【請求項７】
多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録するステップと、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録するステップと、
前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録するステップと、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録するステップと、
ユーザの発話音をデジタル音声信号に変換して入力するステップと、
入力された前記デジタル音声信号に対して、入力音声特徴を抽出するステップと、
前記入力音声特徴に対して、前記原発話モデル特徴登録部に登録されている多数の原発話モデル各々の音声特徴との類似度を求めるステップと、
前記入力音声特徴に対して、前ステップで求めた類似度が大きい音声特徴を持つ原発話モデルを決定するステップと、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前ステップで決定した前記原発話モデルに対応する目標発話モデルを出力発話モデルとして取り出すステップと、
前ステップで取り出した出力発話モデルを音声合成し、可聴音声として出力するステップとを有する音声障害者会話支援方法。
【請求項８】
多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録するステップと、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録するステップと、
前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録するステップと、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録するステップと、
ユーザの発話音をデジタル音声信号に変換して入力するステップと、
入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出するステップと、
前ステップで抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分とし、かつ、差異部分については再度その部分の音声特徴を、前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴から類似度の高い音声特徴を持つ原発話モデルを求めるステップと、
前記入力音声特徴の各部分に対して、前ステップで求めた前記共通部分と差異部分とのそれぞれについて音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとするステップと、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前ステップで決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成するステップと、
前ステップで合成した出力発話モデルを音声合成し、可聴音声として出力するステップとを有する音声障害者会話支援方法。
【請求項９】
多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録するステップと、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録するステップと、
前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録するステップと、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録するステップと、
ユーザの発話音をデジタル音声信号に変換して入力するステップと、
入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出するステップと、
（１）前ステップで抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（２）（１）において差異部分が求められれば、当該差異部分については再度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（３）（２）において差異部分が求められれば、当該差異部分については再々度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（４）前記差異部分が求められなくなるまで（３）の処理を繰り返して複数の共通部分群を求めるステップと、
前記入力音声特徴の各部分に対して、前ステップで求めた共通部分群のそれぞれの共通部分について音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとするステップと、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前ステップで決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成するステップと、
前ステップで合成した出力発話モデルを音声合成し、可聴音声として出力するステップとを有する音声障害者会話支援方法。
【請求項１０】
前記新規の原発話モデルの音声特徴群を前記原発話モデル特徴登録部に登録し、前記新規の原発話モデルに対応する出力発話モデルを前記目標発話モデル登録部に登録し、前記出力発話モデルの音声特徴群を前記目標発話モデル特徴登録部に登録して新規の発話モデルを自動学習するステップを有することを特徴とする請求項８又は９に記載の音声障害者会話支援方法。
【請求項１１】
前記特徴類似度を求めるステップでは、前記入力音声特徴の各部分と各原発話モデル毎の音声特徴の各部分との分散距離を求め、分散距離が他の部分よりも小さい部分同士を対応する共通部分と決定することを特徴とする請求項８又は９に記載の音声障害者会話支援方法。
【請求項１２】
（１）一部が異なるほぼ同じ内容の原発話モデルを少なくとも二種類発話し、当該原発話モデルの音声信号の特徴データ群を抽出し、当該特徴データ群同士を比較し、特徴データ群間の共通部分に対応する原発話モデルの内容を該当する部分の発話モデルとしてその特徴データを原発話モデル特徴登録部に登録し、前記特徴データ群間の差異部分については、それぞれの特徴データを原発話モデル内の対応する単語もしくは語句の特徴データとして前記原発話モデル特徴登録部に登録し、（２）前記原発話モデルと同じ内容の目標発話モデルを少なくとも二種類発話し、当該目標発話モデルの音声信号の特徴データ群を抽出し、当該特徴データ群同士を比較し、特徴データ群間の共通部分に対応する目標発話モデルの内容を該当する部分の発話モデルとしてその特徴データを目標発話モデル特徴登録部に登録し、前記特徴をデータ群間の差異部分については、それぞれの特徴データを目標を発話モデル内の対応する単語もしくは語句の特徴データとして前記目標発話モデル特徴登録部に登録し、（３）前記原発話モデルの特徴データ群と目標発話モデルの特徴データ群との特徴データ間の対応関係を、前記原発話モデルと目標発話モデルとの間の変換ルールとして変換ルール登録部に登録する処理をコンピュータに実行させることを特徴とする変換ルール作成プログラム。
【請求項１３】
多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録する処理と、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録する処理と、
前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録する処理と、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録する処理と、
ユーザの発話音をデジタル音声信号に変換して入力する処理と、
入力された前記デジタル音声信号に対して、入力音声特徴を抽出する処理と、
前記入力音声特徴に対して、前記原発話モデル特徴登録部に登録されている多数の原発話モデル各々の音声特徴との類似度を求める処理と、
前記入力音声特徴に対して、前処理で求めた類似度が大きい音声特徴を持つ原発話モデルを決定する処理と、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前処理で決定した前記原発話モデルに対応する目標発話モデルを出力発話モデルとして取り出す処理と、
前処理で取り出した出力発話モデルを音声合成し、可聴音声として出力する処理とをコンピュータに実行させることを特徴とする音声障害者会話支援プログラム。
【請求項１４】
多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録する処理と、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録する処理と、
前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録する処理と、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録する処理と、
ユーザの発話音をデジタル音声信号に変換して入力する処理と、
入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出する処理と、
前処理で抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分とし、かつ、差異部分については再度その部分の音声特徴を、前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴から類似度の高い音声特徴を持つ原発話モデルを求める処理と、
前記入力音声特徴の各部分に対して、前処理で求めた前記共通部分と差異部分とのそれぞれについて音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとする処理と、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前処理で決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成する処理と、
前処理で合成した出力発話モデルを音声合成し、可聴音声として出力する処理とをコンピュータに実行させることを特徴とする音声障害者会話支援プログラム。
【請求項１５】
多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録する処理と、
前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録する処理と、
前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録する処理と、
原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録する処理と、
ユーザの発話音をデジタル音声信号に変換して入力する処理と、
入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出する処理と、
（１）前処理で抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（２）（１）において差異部分が求められれば、当該差異部分については再度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（３）（２）において差異部分が求められれば、当該差異部分については再々度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、
（４）前記差異部分が求められなくなるまで（３）の処理を繰り返して複数の共通部分群を求める処理と、
前記入力音声特徴の各部分に対して、前処理で求めた共通部分群のそれぞれの共通部分について音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとする処理と、
前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前処理で決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成する処理と、
前処理で合成した出力発話モデルを音声合成し、可聴音声として出力する処理とをコンピュータに実行させることを特徴とする音声障害者会話支援プログラム。
【請求項１６】
前記新規の原発話モデルの音声特徴群を前記原発話モデル特徴登録部に登録し、前記新規の原発話モデルに対応する出力発話モデルを前記目標発話モデル登録部に登録し、前記出力発話モデルの音声特徴群を前記目標発話モデル特徴登録部に登録して新規の発話モデルを自動学習する処理をコンピュータに実行させることを特徴とする請求項１４又は１５に記載の音声障害者会話支援プログラム。
【請求項１７】
前記特徴類似度を求める処理では、前記入力音声特徴の各部分と各原発話モデル毎の音声特徴の各部分との分散距離を求め、分散距離が他の部分よりも小さい部分同士を対応する共通部分と決定することを特徴とする請求項１４又は１５に記載の音声障害者会話支援プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声障害者会話支援装置、変換ルール作成方法、音声障害者会話支援方法、変換ルール作成プログラム及び音声障害者会話支援プログラムに関する。
【０００２】
【従来の技術】
近年の音声言語処理技術の急速な発展により、音声を用いた人間とコンピュータとの対話などのアプリケーション開発が盛んに行われている。しかしながら、こうしたシステムが入力対象として扱えるのは健常者音声のみであり、喉頭摘出などによって失声した人が発声する食道発声音声や電気式人工喉頭による音声などの音声障害者の音声は入力対象として考えられていない。このため、このような音声障害者の音声入力に対するシステムの応答精度は非常に低いものであり、かかるシステムを音声障害者会話支援に利用するには実用性に乏しかった。
【０００３】
一方、近年のインターネット設備の爆発的な普及に伴い、通信手段として大きな役割を果たしているものに電子メールがある。音声障害者や聴覚障害者にとっても、この電子メールは地域との数少ない通信手段として活用されるようになっているが、不慣れな人にとってはコミュニケーション手段として適した手段とはいえない。
【０００４】
このように、近年のコンピュータシステムの低価格化、インターネットを利用した通信インフラの拡大、拡充化があったとしても、音声障害者も健常者と同様に人対人の直接会話において自分の発した言葉が健常者と同様の音声で相手に伝達されることが、日常的、かつ円滑なコミュニケーションのために願わしいものである。
【０００５】
近年、音声障害者を対象とした、あらかじめ録音した音節の合成や登録されている文の読み上げ音声合成によるコミュニケーションツールが開発されている（ｈｔｔｐ：／／ｗｗｗ．ａｍｉｎｏ．ｃｏ．ｊｐ）。しかしながら、このコミュニケーションツールでは、登録済みの定型文以外は人手で文を作成する必要があるため、ユーザへの負担が大きい。
【０００６】
【特許文献１】
特開２００２−４１０８０号公報
【０００７】
【発明が解決しようとする課題】
本発明は、このような音声障害者が直接的な会話において明瞭な音声で相手に言葉を伝達できる装置の必要性に鑑みてなされたもので、音声障害者の発した音声（原音声）を健常者音声に自動変換して会話相手に伝達できる音声障害者会話支援技術を提供することを目的とする。
【０００８】
本発明はまた、音声障害者が登録されていない新規な内容の発話をしても、少ない数の発話モデルから自動合成によって新規な発話モデルを構成し健常者の音声にして発話できる音声障害者会話支援技術を提供することを目的とする。
【０００９】
本発明はさらに、少ない数の発話モデルから自動学習によって発話モデル辞書を拡充できる音声障害者会話支援技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１の発明の音声障害者会話支援装置は、多数の原発話モデル各々の音声特徴を登録する原発話モデル特徴登録部と、前記多数の原発話モデル各々と対応する多数の目標発話モデルを登録する目標発話モデル登録部と、前記多数の目標発話モデル各々の音声特徴を登録する目標発話モデル特徴登録部と、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを登録する変換ルール登録部と、ユーザの発話音をデジタル音声信号に変換して入力する音声入力部と、入力された前記デジタル音声信号に対して、入力音声特徴を抽出する音声特徴抽出部と、前記入力音声特徴に対して、前記原発話モデル特徴登録部に登録されている多数の原発話モデル各々の音声特徴との類似度を求める特徴類似度処理部と、前記入力音声特徴に対して、前記特徴類似度処理部の求めた類似度が大きい音声特徴を持つ原発話モデルを決定する発話モデル特定部と、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前記発話モデル特定部が決定した前記原発話モデルに対応する目標発話モデルを出力発話モデルとして取り出す目標発話モデル決定部と、前記目標発話モデル決定部が取り出した出力発話モデルを音声合成し、可聴音声として出力する音声合成部とを備えたものである。
【００１１】
請求項２の発明の音声障害者会話支援装置は、多数の原発話モデル各々の音声特徴を登録する原発話モデル特徴登録部と、前記多数の原発話モデル各々と対応する多数の目標発話モデルを登録する目標発話モデル登録部と、前記多数の目標発話モデル各々の音声特徴を登録する目標発話モデル特徴登録部と、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを登録する変換ルール登録部と、ユーザの発話音をデジタル音声信号に変換して入力する音声入力部と、入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出する音声特徴抽出部と、前記入力音声特徴抽出部の抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分とし、かつ、差異部分については再度その部分の音声特徴を、前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴から類似度の高い音声特徴を持つ原発話モデルを求める特徴類似度処理部と、前記入力音声特徴の各部分に対して、前記特徴類似度処理部が求めた前記共通部分と差異部分とのそれぞれについて音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとする新規発話モデル作成部と、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前記新規発話モデル作成部が決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成する目標発話モデル合成部と、
前記目標発話モデル合成部が合成した出力発話モデルを音声合成し、可聴音声として出力する音声合成部とを備えたものである。
【００１２】
請求項３の発明の音声障害者会話支援装置は、多数の原発話モデル各々の音声特徴を登録する原発話モデル特徴登録部と、前記多数の原発話モデル各々と対応する多数の目標発話モデルを登録する目標発話モデル登録部と、前記多数の目標発話モデル各々の音声特徴を登録する目標発話モデル特徴登録部と、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを登録する変換ルール登録部と、ユーザの発話音をデジタル音声信号に変換して入力する音声入力部と、入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出する音声特徴抽出部と、（１）前記入力音声特徴抽出部の抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（２）（１）において差異部分が求められれば、当該差異部分については再度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（３）（２）において差異部分が求められれば、当該差異部分については再々度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（４）前記差異部分が求められなくなるまで（３）の処理を繰り返して複数の共通部分群を求める特徴類似度処理部と、前記入力音声特徴の各部分に対して、前記特徴類似度処理部が求めた共通部分群のそれぞれの共通部分について音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとする新規発話モデル作成部と、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前記新規発話モデル作成部が決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成する目標発話モデル合成部と、前記目標発話モデル合成部が合成した出力発話モデルを音声合成し、可聴音声として出力する音声合成部とを備えたものである。
【００１３】
請求項４の発明は、請求項２又は３の音声障害者会話支援装置において、前記新規の原発話モデルの音声特徴群を前記原発話モデル特徴登録部に登録し、前記新規の原発話モデルに対応する出力発話モデルを前記目標発話モデル登録部に登録し、前記出力発話モデルの音声特徴群を前記目標発話モデル特徴登録部に登録して新規の発話モデルを自動学習する自動学習部を備えたことを特徴とするものである。
【００１４】
請求項５の発明は、請求項２又は３の音声障害者会話支援装置において、前記特徴類似度処理部は、前記入力音声特徴の各部分と各原発話モデル毎の音声特徴の各部分との分散距離を求め、分散距離が他の部分よりも小さい部分同士を対応する共通部分と決定することを特徴とするものである。
【００１５】
請求項６の発明の音声変換ルール作成方法は、一部が異なるほぼ同じ内容の原発話モデルを少なくとも二種類発話し、当該原発話モデルの音声信号の特徴データ群を抽出し、当該特徴データ群同士を比較し、特徴データ群間の共通部分に対応する原発話モデルの内容を該当する部分の発話モデルとしてその特徴データを原発話モデル特徴登録部に登録し、前記原発話モデルと同じ内容の目標発話モデルを少なくとも二種類発話し、当該目標発話モデルの音声信号の特徴データ群を抽出し、当該特徴データ群同士を比較し、特徴データ群間の共通部分に対応する目標発話モデルの内容を該当する部分の発話モデルとしてその特徴データを目標発話モデル特徴登録部に登録し、前記原発話モデルの特徴データ群と目標発話モデルの特徴データ群との特徴データ間の対応関係を、前記原発話モデルと目標発話モデルとの間の変換ルールとして変換ルール登録部に登録することを特徴とするものである。
【００１６】
請求項７の発明の音声障害者会話支援方法は、多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録するステップと、前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録するステップと、前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録するステップと、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録するステップと、ユーザの発話音をデジタル音声信号に変換して入力するステップと、入力された前記デジタル音声信号に対して、入力音声特徴を抽出するステップと、前記入力音声特徴に対して、前記原発話モデル特徴登録部に登録されている多数の原発話モデル各々の音声特徴との類似度を求めるステップと、前記入力音声特徴に対して、前ステップで求めた類似度が大きい音声特徴を持つ原発話モデルを決定するステップと、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前ステップで決定した前記原発話モデルに対応する目標発話モデルを出力発話モデルとして取り出すステップと、前ステップで取り出した出力発話モデルを音声合成し、可聴音声として出力するステップとを有するものである。
【００１７】
請求項８の発明の音声障害者会話支援方法は、多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録するステップと、前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録するステップと、前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録するステップと、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録するステップと、ユーザの発話音をデジタル音声信号に変換して入力するステップと、入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出するステップと、前ステップで抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分とし、かつ、差異部分については再度その部分の音声特徴を、前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴から類似度の高い音声特徴を持つ原発話モデルを求めるステップと、前記入力音声特徴の各部分に対して、前ステップで求めた前記共通部分と差異部分とのそれぞれについて音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとするステップと、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前ステップで決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成するステップと、前ステップで合成した出力発話モデルを音声合成し、可聴音声として出力するステップとを有するものである。
【００１８】
請求項９の発明の音声障害者会話支援方法は、多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録するステップと、前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録するステップと、前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録するステップと、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録するステップと、ユーザの発話音をデジタル音声信号に変換して入力するステップと、入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出するステップと、（１）前ステップで抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（２）（１）において差異部分が求められれば、当該差異部分については再度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（３）（２）において差異部分が求められれば、当該差異部分については再々度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（４）前記差異部分が求められなくなるまで（３）の処理を繰り返して複数の共通部分群を求めるステップと、前記入力音声特徴の各部分に対して、前ステップで求めた共通部分群のそれぞれの共通部分について音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとするステップと、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前ステップで決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成するステップと、前ステップで合成した出力発話モデルを音声合成し、可聴音声として出力するステップとを有するものである。
【００１９】
請求項１０の発明は、請求項８又は９の音声障害者会話支援方法において、前記新規の原発話モデルの音声特徴群を前記原発話モデル特徴登録部に登録し、前記新規の原発話モデルに対応する出力発話モデルを前記目標発話モデル登録部に登録し、前記出力発話モデルの音声特徴群を前記目標発話モデル特徴登録部に登録して新規の発話モデルを自動学習するステップを有することを特徴とするものである。
【００２０】
請求項１１の発明は、請求項８又は９の音声障害者会話支援方法において、前記特徴類似度を求めるステップでは、前記入力音声特徴の各部分と各原発話モデル毎の音声特徴の各部分との分散距離を求め、分散距離が他の部分よりも小さい部分同士を対応する共通部分と決定することを特徴とするものである。
【００２１】
請求項１２の発明の変換ルール作成プログラムは、（１）一部が異なるほぼ同じ内容の原発話モデルを少なくとも二種類発話し、当該原発話モデルの音声信号の特徴データ群を抽出し、当該特徴データ群同士を比較し、特徴データ群間の共通部分に対応する原発話モデルの内容を該当する部分の発話モデルとしてその特徴データを原発話モデル特徴登録部に登録し、前記特徴データ群間の差異部分については、それぞれの特徴データを原発話モデル内の対応する単語もしくは語句の特徴データとして前記原発話モデル特徴登録部に登録し、（２）前記原発話モデルと同じ内容の目標発話モデルを少なくとも二種類発話し、当該目標発話モデルの音声信号の特徴データ群を抽出し、当該特徴データ群同士を比較し、特徴データ群間の共通部分に対応する目標発話モデルの内容を該当する部分の発話モデルとしてその特徴データを目標発話モデル特徴登録部に登録し、前記特徴をデータ群間の差異部分については、それぞれの特徴データを目標を発話モデル内の対応する単語もしくは語句の特徴データとして前記目標発話モデル特徴登録部に登録し、（３）前記原発話モデルの特徴データ群と目標発話モデルの特徴データ群との特徴データ間の対応関係を、前記原発話モデルと目標発話モデルとの間の変換ルールとして変換ルール登録部に登録する処理をコンピュータに実行させることを特徴とするものである。
【００２２】
請求項１３の発明の音声障害者会話支援プログラムは、多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録する処理と、前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録する処理と、前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録する処理と、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録する処理と、ユーザの発話音をデジタル音声信号に変換して入力する処理と、入力された前記デジタル音声信号に対して、入力音声特徴を抽出する処理と、前記入力音声特徴に対して、前記原発話モデル特徴登録部に登録されている多数の原発話モデル各々の音声特徴との類似度を求める処理と、前記入力音声特徴に対して、前処理で求めた類似度が大きい音声特徴を持つ原発話モデルを決定する処理と、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前処理で決定した前記原発話モデルに対応する目標発話モデルを出力発話モデルとして取り出す処理と、前処理で取り出した出力発話モデルを音声合成し、可聴音声として出力する処理とをコンピュータに実行させることを特徴とするものである。
【００２３】
請求項１４の発明の音声障害者会話支援プログラムは、多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録する処理と、前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録する処理と、前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録する処理と、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録する処理と、ユーザの発話音をデジタル音声信号に変換して入力する処理と、入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出する処理と、前処理で抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分とし、かつ、差異部分については再度その部分の音声特徴を、前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴から類似度の高い音声特徴を持つ原発話モデルを求める処理と、前記入力音声特徴の各部分に対して、前処理で求めた前記共通部分と差異部分とのそれぞれについて音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとする処理と、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前処理で決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成する処理と、前処理で合成した出力発話モデルを音声合成し、可聴音声として出力する処理とをコンピュータに実行させることを特徴とするものである。
【００２４】
請求項１５の発明の音声障害者会話支援プログラムは、多数の原発話モデル各々の音声特徴を原発話モデル特徴登録部に登録する処理と、前記多数の原発話モデル各々と対応する多数の目標発話モデルを目標発話モデル登録部に登録する処理と、前記多数の目標発話モデル各々の音声特徴を目標発話モデル特徴登録部に登録する処理と、原発話モデル各々の音声特徴と目標発話モデル各々の音声特徴とを同じ発話内容について対応関係を規定する変換ルールを変換ルール登録部に登録する処理と、ユーザの発話音をデジタル音声信号に変換して入力する処理と、入力された前記デジタル音声信号に対して、入力順に時間的に一定の部分部分に分け、各部分毎の特徴を抽出する処理と、（１）前処理で抽出した入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（２）（１）において差異部分が求められれば、当該差異部分については再度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（３）（２）において差異部分が求められれば、当該差異部分については再々度、その入力音声特徴を前記原発話モデル特徴登録部に登録されている多数の原発話モデルの音声特徴各々と前記部分毎に類似度を求め、類似度の高い部分を共通部分とし類似度の低い部分を差異部分として求め、（４）前記差異部分が求められなくなるまで（３）の処理を繰り返して複数の共通部分群を求める処理と、前記入力音声特徴の各部分に対して、前処理で求めた共通部分群のそれぞれの共通部分について音声特徴の類似度が高い原発話モデルを合成して新規の原発話モデルとする処理と、前記変換ルール登録部の変換ルールを参照して、前記目標発話モデル登録部に登録されている多数の目標発話モデルから、前処理で決定した前記新規の原発話モデルに対応する目標発話モデルを出力発話モデルとして合成する処理と、前処理で合成した出力発話モデルを音声合成し、可聴音声として出力する処理とをコンピュータに実行させることを特徴とするものである。
【００２５】
請求項１６の発明は、請求項１４又は１５の音声障害者会話支援プログラムにおいて、前記新規の原発話モデルの音声特徴群を前記原発話モデル特徴登録部に登録し、前記新規の原発話モデルに対応する出力発話モデルを前記目標発話モデル登録部に登録し、前記出力発話モデルの音声特徴群を前記目標発話モデル特徴登録部に登録して新規の発話モデルを自動学習する処理をコンピュータに実行させることを特徴とするものである。
【００２６】
請求項１７の発明は、請求項１４又は１５の音声障害者会話支援プログラムにおいて、前記特徴類似度を求める処理では、前記入力音声特徴の各部分と各原発話モデル毎の音声特徴の各部分との分散距離を求め、分散距離が他の部分よりも小さい部分同士を対応する共通部分と決定することを特徴とするものである。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。
【００２８】
＜変換ルール作成方法＞まず、本発明の音声障害者会話支援システムに不可欠の、音声障害者発話モデルと健常者発話モデルとの間の音声変換ルールを作成する方法について説明する。この音声変換ルールは、音声入力処理機能、音声出力処理機能を備えたコンピュータによって音声変換ルール作成プログラムを実行させることにより作成するものである。
【００２９】
図１は本発明の１つの実施の形態の音声変換ルール作成プログラムを実行することにより音声変換ルールを作成して変換ルールデータベース（ＤＢ）に登録するコンピュータ１００の機能構成を示している。
【００３０】
コンピュータ１００に対して音声入力手段としてマイク１０１、可聴音の音声出力手段としてスピーカまたはイヤホン（以下、出力部と称する）１０２が接続されている。
【００３１】
そしてコンピュータ１００内には、機能構成要素として、Ａ／Ｄ変換するＡ／Ｄ変換処理部１、符号化処理部２、特徴抽出部３、距離演算部４、共通・差異部分特定部５、音声変換ルール作成部６、変換ルール管理部７、音声合成部８、Ｄ／Ａ変換部９を備えている。さらにコンピュータ１００は、記憶手段として、音声障害者発話モデルＤＢ１１、音声障害者発話モデル特徴ＤＢ１２、健常者発話モデルＤＢ１３、健常者発話モデル特徴ＤＢ１４、変換ルールＤＢ１５を備えている。コンピュータ１００は、これらの各機能部分の処理動作を音声翻訳処理統括制御部２０によって統括制御する。
【００３２】
Ａ／Ｄ変換処理部１は、マイク１０１のアナログ音声電気信号をＡ／Ｄ変換してデジタル音声信号にして入力する。符号化処理部２は、Ａ／Ｄ変換処理部１によりＡ／Ｄ変換されたデジタル音声信号をスペクトル解析し、時間軸上でシフトする一定長の符号に区分する。特徴抽出部３は、入力音声（以下、原音声と称する）、音声障害者発話モデルＤＢ１１、健常者発話モデルＤＢ１３に登録されている発話モデルの特徴を抽出し、発話モデルそれぞれに対して抽出した音声特徴データを該当する発話モデルの該当部分と対応させたデータにして音声障害者発話モデル特徴ＤＢ１２、健常者発話モデル特徴ＤＢ１４に登録する。
【００３３】
距離演算部４は、入力された音声障害者発話モデル同士の特徴データの距離計算、健常者発話モデルの特徴データ同士の距離計算、入力された音声障害者発話モデルと音声障害者発話モデルＤＢ１１に登録されている特定の音声障害者発話モデルとの特徴データの距離演算、入力された健常者発話モデルと健常者発話モデルＤＢ１３に登録されている特定の健常者発話モデルとの特徴データの距離演算を行う。
【００３４】
共通・差異部分特定部５は、この距離演算部４の演算結果に基づき、入力された音声障害者発話モデル間、入力された健常者発話モデル間、あるいは入力された音声障害者発話モデルと既登録の音声障害者発話モデルとの間、入力された健常者発話モデルと既登録の健常者発話モデルとの間で、特徴データ間の共通部分と差異部分を特定する。
【００３５】
音声変換ルール作成部６は、音声障害者の発話モデル間で共通部分とされた特徴データと、健常者の同じ内容の発話モデル間で共通部分とされた特徴データとを対応するものとし、この対応関係を変換ルールとして作成する。
【００３６】
変換ルール管理部７は、音声変換ルール作成部６の作成した同じ発話モデルの共通部分に対する音声障害者音声の特徴データと健常者音声の特徴データとの対応関係を変換ルールＤＢ１５に登録し、この作成された変換ルールが適用できる特徴データが音声障害者発話モデル特徴ＤＢ１２、健常者発話モデル特徴ＤＢ１４それぞれのどこに登録されているかを示すデータも変換ルールと共に変換ルールＤＢ１５に登録する。
【００３７】
音声合成部８は、変換ルール管理部７が音声障害者発話モデル特徴ＤＢ１２、健常者発話モデル特徴ＤＢ１４から読み出した特徴データに基づき、音声障害者発話モデルＤＢ１１、健常者発話モデルＤＢ１３から該当する発話モデルの断片を読み出し、音声合成を行う。Ｄ／Ａ変換部９は、音声合成部８の出力する合成音声のＤ／Ａ変換を行い、出力部１０２から可聴音にして出力させる。
【００３８】
音声障害者発話モデルＤＢ１１は、ユーザである音声障害者の定型的な話内容をユーザ自身の音声の発話モデルとして登録保持している。たとえば、「わたしは鈴木一郎です。」、「わたしはゴルフが好きです。」、「そこで野球します。」等々の定型的な話内容を登録している。音声障害者発話モデル特徴ＤＢ１２は、音声障害者発話モデルＤＢ１１に登録してある種々の音声障害者発話モデルそれぞれについて、特徴抽出部３で特徴解析した特徴データを各音声障害者発話モデルと対応させて登録している。
【００３９】
健常者発話モデルＤＢ１３は、上記の音声障害者発話モデル群に対応し、同一内容の明瞭な発音の発話モデル群を登録保持している。健常者発話モデル特徴ＤＢ１４は、健常者発話モデルＤＢ１３に登録してある種々の健常者発話モデルそれぞれについて、特徴抽出部３で特徴解析した特徴データを各健常者発話モデルと対応させて登録している。
【００４０】
音声翻訳処理統括制御部２０は、音声変換ルール作成プログラムに基づいてこれら各部の動作を統括的に制御する。なお、入力音声のデジタル処理、符号化処理、合成音声のデジタルアナログ変換等はプログラムの指示の下にサウンドボード、サウンドチップ等のハードウェアにて処理するものである。そして、入力音声のデジタル処理、デジタル化された音声信号の再生出力処理については、既存の種々の技術が広く使われる。
【００４１】
次に、上記機能を備えたコンピュータ１００による音声変換ルール作成方法について説明する。
【００４２】
（１）発話モデル・特徴登録処理。
【００４３】
最初に音声障害者発話モデルＤＢ１１に定型的な発話モデル群をユーザである音声障害者の音声で登録し、また音声障害者発話モデル特徴ＤＢ１２に各音声障害者発話モデルに対する特徴データを登録する。また音声障害者発話モデル各々と同じ話内容について、健常者の音声による発話モデル（健常者発話モデル）を健常者発話モデルＤＢ１３に登録し、健常者発話モデル特徴ＤＢ１４に各健常者発話モデルに対する特徴データを登録する。
【００４４】
この処理は、図２のフローチャートによる。まず、図３の表１、図４の表２に示すような多数の定型的な発話モデルそれぞれについて、ユーザである音声障害者にマイク１０１に向かって発話させ（ステップＳ１）、本コンピュータ１００内で音声デジタル処理し（ステップＳ２）、時間軸上で一定区分ずつ符号化し（ステップＳ３）、音声障害者発話モデルＤＢ１１に登録する（ステップＳ４）。この際、発話モデルごとに識別標を付して登録する。たとえば、セット１の１番の発話モデル「わたしは野球をする。」であれば、Ｓ１−００１等とするのである。これは、健常者発話モデルとの対応が明確に行えるようにするためである。
【００４５】
なお、この発話モデル群の登録に際しては、特徴抽出処理も並行して実施するようにしてもよいが、ここでは、発話モデル登録処理のみを先に実行するとして説明を進める。
【００４６】
続いて、図３、図４の表１、表２に示した同じ内容の発話モデルについて、健常者に発話させ、図２の同様の処理によって健常者発話モデルＤＢ１３に登録する。
【００４７】
発話モデル群の登録処理に続いて、図５、図６のフローチャートの発話モデル特徴登録処理を実施する。これは、装置に対してオペレータがインタラクティブに行うものであっても、対話モデル登録終了後に必須の処理として自動的に開始するものであってもよい。
【００４８】
特徴抽出部３は、音声障害者発話モデルＤＢ１１に登録されている多数の発話モデルそれぞれを順次に取り出し（ステップＳ１１）、これらに対して、スペクトル解析を実施し、時間軸上で一定区分長ごとの特徴を抽出し（ステップＳ１２）、解析元の発話モデルとの対応を明確にし、特徴データとして音声障害者発話モデルの特徴データについては音声障害者発話モデル特徴ＤＢ１２に登録する（ステップＳ１３）。
【００４９】
ここで、特徴抽出処理は図６のフローチャートによる。例えば、１つの音声障害者発話モデルのデジタル音声データに対して、時間軸上で一定幅の小区分に分解し（ステップＳ２１）、順次スペクトル解析し（ステップＳ２２）、小区分ごとの波形を特定して特徴データ（パラメータ）とする（ステップＳ２３）。そして発話モデルごとにその始まりから終わりまでの一連の特徴データをパラメータ列とし、これを音声障害者発話モデル特徴ＤＢ１２に登録する（ステップＳ２４）。この音声特徴データの登録には、元の発話モデルの小区分と関係づけるため、発話モデルを特定する識別指標を付して登録することになる。
【００５０】
特徴抽出手法としては、既存の種々の方法のいずれを採用することもできる。例えば、短時間フーリエスペクトル分析、ＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｒｄｉｎｇ）分析がある。
【００５１】
図７は、音声障害者の１つの入力音声信号の波形である。このような波形の入力音声信号を、例えば４８ｋＨｚのサンプリング周波数で収録後、ダウンサンプリングなどを行い使用するデータとする。こうして得られる音声データに対して、スペクトル解析する。解析は音声データを一定時間幅で区分し、各時間区分内におけるデータのＡＲ係数（パラメータ）を求め、その後スペクトル包絡を求める。そして各発話モデルに対する一連の特徴データをその発話モデルに対するパラメータ列にして登録するのである。
【００５２】
このような多数の発話モデルに対する特徴抽出、特徴データの登録処理は、ユーザである音声障害者と健常者との両方で同じ発話モデルについて行い、発話モデルデータについてはそれぞれ音声障害者発話モデルＤＢ１１、健常者発話モデルＤＢ１３に登録し、また各発話モデルに対する特徴データ群は、音声障害者発話モデル特徴ＤＢ１２、健常者発話モデル特徴ＤＢ１４にそれぞれ登録する。
【００５３】
（２）変換ルール作成処理
続いて、変換ルールの抽出処理に移行する。この処理は図８、図９のフローチャート及び図１０の説明図による。図８のフローチャートに示すように、音声障害者発話モデルＤＢ１１に登録されている多数の音声障害者発話モデル群から、一部が異なるほぼ同じ内容の発話モデルを少なくとも二種類に対して、それらの特徴データ群を音声障害者発話モデル特徴ＤＢ１２から取り出し（ステップＳ３１）、当該特徴データ群同士の統計的な距離計算を行って共通部分、差異部分を区分けする（ステップＳ３２，Ｓ３３）。この距離計算は後述する。
【００５４】
特徴データ群間の共通部分に対応する発話モデルの小区分の内容を該当する部分の音声障害者発話モデルとしてその共通部分の特徴データ（Ａ）を変換ルールＤＢ１５に登録する。（ステップＳ３４）。
【００５５】
同様に、音声障害者発話モデルと同じ内容の健常者発話モデルについて、それらの特徴データ群を抽出し（ステップＳ３５）、当該特徴データ群同士の距離計算を行い、共通部分、差異部分を区分けする（ステップＳ３６，Ｓ３７）。そして、特徴データ群間の共通部分に対応する発話モデルの小区分の内容を該当する部分の健常者発話モデルとしてその共通部分の特徴データ（Ｂ）を変換ルールＤＢ１５に登録する（ステップＳ３８）。
【００５６】
続いて、共通部分であった特徴データ（Ａ），（Ｂ）について、それらの対応関係を音声変換ルールとして変換ルールＤＢ１５に登録する。
【００５７】
前述の統計的な距離計算処理については、図９のフローチャートによる。まず、ある発話モデルの特徴データ列のうち小区分の特徴データを比較ベクトルＸとし、参照発話モデル（一部が異なるがほぼ同様の内容の発話モデル）の特徴データ列のうち小区分ｋの特徴データを参照ベクトルＲｋとし、これらの平均２乗誤差ｄ（ｋ）を求める（ステップＳ４１〜Ｓ４３）。
【００５８】
【数１】
2004287209.tif 000003
そして、得られた平均２乗誤差ｄ（ｋ）群を直線で結び距離曲線とする。このとき、極小値を頂点として、その両側に隣接するポイントと頂点とを結んだ線がなす角度（つまり、極小点の下に凸となる頂点の角度）が、同様に３つのポイントでなされるすべての角度よりも小さい場合、この極小点は顕著に小さい距離をもつと判断し、参照ベクトルとの共通部分であると決定する（ステップＳ４４，Ｓ４５Ａ）。下に凸となる極小点のなす角度よりも小さな角度が存在する場合、差異部分とする（ステップＳ４４，Ｓ４５Ｂ）。そして、この判定結果を出力する（ステップＳ４６，Ｓ４７）。
【００５９】
ある発話モデルの共通部分より求めた特徴データ間の変換ルールを例示すれば、図１０のようになる。極小点の頂角が距離曲線内で最も小さい場合には「０」（類似している）、大きい場合には「１」（類似していない）にしている。
【００６０】
実験１は、同一話者、同一文「これはあなたにです。」間の小区分毎の特徴データの距離判定を行ったものであり、各小区分（窓）毎の特徴データ群の距離判定がすべて「０」であるので、発話内容がほぼ同じであることが分かる。
【００６１】
実験２は、同一話者、類字文「これはあなたにです。」と「これは赤いです。」との間の小区分毎の特徴データの距離判定結果である。この場合、最初の３窓、最後の６窓で距離が近く、中程の７窓では距離が遠いことを示している。これから、両発話モデル間で共通する部分として、「これは」、「です」に対して最初の３窓、最後の６窓の特徴データが対応していると推定できる。そこで、「これは」、「です」という発話に対応する特徴データ群、つまり、最初の３窓の特徴データ群、最後の６窓の特徴データ群を変換ルール用のデータとして変換ルールＤＢ１５に登録する。
【００６２】
実験３は、同一話者、異文「わたしは野球をする。」と「これは赤いです。」との間の距離判定結果である。この場合には、類似性が全くないため、距離判定では、全小区分（全窓）で「１」となっている。
【００６３】
そして、実験２の場合、「これは」、「です」の発話に対応する特徴データ群が得られるので、この実験２のような作業を、音声障害者、健常者それぞれによって行わせ、両方の特徴データ群間の対応関係を変換ルールとして変換ルールＤＢ１５に登録するのである。
【００６４】
なお、共通部分／差異部分の判定、つまり類似度の判定には前記距離の最小点をしきい値と比較し、しきい値よりも近ければ共通部分、しきい値よりも遠ければ差異部分と判定する方法を採用することもできる。
【００６５】
このようにして、本実施の形態の音声変換ルール作成方法及びプログラムによれば、これをコンピュータによって実施することにより、音声障害者、健常者それぞれに同じ内容の発話モデルを発話してもらい、それをＤＢ１１，１３に登録し、また特徴抽出処理して特徴ＤＢ１２，１４に登録する。そして類似する発話モデルの特徴データを読み出し、距離計算を実施して共通部分を求め、それを上述した方法で音声変換ルールとして登録する方法により、コンピュータ１００側で帰納的に変換ルールを蓄積していくことができる利点がある。
【００６６】
＜音声障害者会話支援システム＞次に、本発明の第２の実施の形態として、上述した第１の実施の形態の音声変換ルール作成技術により作成し、変換ルールＤＢに蓄積した音声変換ルール辞書を利用する音声障害者会話支援システムについて説明する。
【００６７】
図１１は本発明の１つの実施の形態の音声障害者会話支援装置のシステム構成を示している。本実施の形態の音声障害者会話支援装置は、コンピュータシステム１００に特別な音声障害者会話支援プログラムをインストールして実行させることにより実現されるものである。そして、コンピュータ１００をマイクロ化することによっていわゆるウェアラブルコンピュータあるいは会話支援専用装置として持ち歩けるようにすれば、音声障害者が常時携行して会話支援に利用でき、その有用性が向上する。
【００６８】
本実施の形態の装置には、コンピュータ１００に対して音声入力手段としてマイク１０１、可聴音の音声出力手段としてスピーカまたはイヤホン（以下、出力部と称する）１０２が接続されている。
【００６９】
そして装置本体であるコンピュータ１００内には、機能構成要素として、Ａ／Ｄ変換するＡ／Ｄ変換処理部１、符号化処理部２、特徴抽出部３、距離演算部４、発話モデル決定部２１、変換ルール管理部２２、発話モデル編集部２３、音声合成部８、Ｄ／Ａ変換部９を備えている。
【００７０】
さらに本装置は記憶手段として、音声障害者発話モデルＤＢ１１、音声障害者発話モデル特徴ＤＢ１２、健常者発話モデルＤＢ１３、健常者発話モデル特徴ＤＢ１４、第１の実施の形態で作成した音声変換ルール辞書を保持する変換ルールＤＢ１５を備えている。これらは、音声変換ルール作成処理の際に取得した音声データ、特徴データを保持している。
【００７１】
本装置はさらに、これらの各機能部分の処理動作を統括制御する音声翻訳処理統括制御部２０を備えている。
【００７２】
なお、本装置において音声障害者発話モデルＤＢ１１は必須の要素ではないが、ユーザである音声障害者の発話モデルを登録するものとして備えている。
【００７３】
Ａ／Ｄ変換処理部１は、マイク１０１のアナログ音声電気信号をＡ／Ｄ変換してデジタル音声信号にして入力する。符号化処理部２は、Ａ／Ｄ変換処理部１によりＡ／Ｄ変換されたデジタル音声信号をスペクトル解析し、時間軸上でシフトする一定長の符号に区分する。特徴抽出部３は、ユーザである音声障害者の発話した入力音声（以下、原音声と称する）の特徴を抽出する。
【００７４】
距離演算部４は、入力音声の特徴データ群を音声障害者発話モデル特徴ＤＢ１２に登録されている多数の音声障害者発話モデル特徴データ群と特徴の距離演算を行う。発話モデル決定部２１は、この距離演算部４の演算結果に基づき、原音声に類似する複数の発話モデル候補あるいは一致する１つの発話モデルを特定する。
【００７５】
変換ルール管理部２２は、本装置が新規の発話モデルを自動的に登録するときに音声障害者発話モデルと健常者発話モデルとの特徴データ群間の変換ルールを帰納的に作成し、変換ルールＤＢ１５に追加登録する。
【００７６】
発話モデル編集部２３は、変換ルールＤＢ１５を参照し、発話モデル決定部２１が決定した発話モデルについての音声障害者の発話モデル特徴データに対応する健常者発話モデル特徴データを特定し、編集する。
【００７７】
音声合成部８は、発話モデル編集部２２が編集した特徴データ列に対応する発話モデル群を健常者発話モデルＤＢ１３から呼び出して音声合成する。Ｄ／Ａ変換部９は、音声合成部８の出力する合成音声のＤ／Ａ変換を行い、出力部１０２から可聴音にして出力させる。
【００７８】
次に、上記構成の第２の実施の形態の音声障害者会話支援装置による音声障害者会話支援方法について説明する。
【００７９】
図１２、図１３のフローチャートは、本実施の形態の帰納的変換ルール登録機能（自動学習機能）を伴う音声障害者会話支援処理を示している。音声障害者がマイク１０１を通してある内容を発話すれば（ステップＳ５１）、本装置では、Ａ／Ｄ変換部１がマイク１０１からの入力音声電気信号をデジタル音声信号に変換する（ステップＳ５２）。そして符号化処理部２が所定のサンプリングレートでこの入力デジタル音声信号を符号化する（ステップＳ５３）。
【００８０】
続いて、特徴抽出部３が、符号化処理された原音声に対して特徴抽出処理を実行する（ステップＳ５４）。この処理は発話モデルに対する特徴抽出処理と同様であり、図６のフローチャートの処理による。ただし、特徴抽出された入力音声のパラメータ列はバッファメモリ、フラッシュメモリ、ハードディスク等のいずれの記憶手段に登録するとしても、テンポラリーなものである。
【００８１】
続いて、特徴抽出された音声障害者の原音声に対して、音声障害者発話モデル特徴ＤＢ１２に登録されている多数の発話モデル各々の特徴データと類似度を統計処理によって順次に計算する（ステップＳ５５，Ｓ５６）。この距離計算の詳細は、変換ルール作成におけるものと同様であり、図９のフローチャートの処理による。
【００８２】
距離計算によって特徴データが全て所定のしきい値よりも小さい発話モデル特徴データが発見できれば、その特徴データを有する発話モデルを入力原発話音声と特定し、ステップＳ５７でＹＥＳに分岐し登録モデル比較を終了し、ステップＳ５１１以降の処理に入る。
【００８３】
距離計算によって、特徴データの一部がしきい値よりも小さく（共通部分）と他の部分がしきい値よりも大きい（差異部分）という発話モデル特徴データが発見されることがある。この場合には、ステップＳ５７でＮＯに分岐し、続くステップＳ５８でＹＥＳに分岐し、原音声に対する目標発話モデルの候補とする（ステップＳ５９Ａ）。なお、特徴データのすべてがしきい値よりも大きく、距離が大きく離れている特徴データを有する発話モデルも当然に出る。このような特徴データの発話モデルについては、ステップＳ５８でＮＯに分岐し、目標発話モデル候補から除外する（ステップＳ５９Ｂ）。
【００８４】
以上の距離計算は、入力原発話音声の特徴データに対して、音声障害者発話モデル特徴ＤＢ１２に登録されているすべての発話モデルの特徴データに対して行う（ステップＳ５１０）。
【００８５】
入力原発話音声の特徴データといずれかの音声障害者発話データの特徴データとの距離計算で、共通部分と差異部分がある目標発話モデル候補が複数発見された場合、差異部分について、相互に補完しあうような共通部分が見いだされた目標発話モデル候補間で新規な発話モデルを作成し、登録する。同時に、新規発話モデルに対する特徴データも登録する（ステップＳ５１１，Ｓ５１２）。
【００８６】
続いて、新規に自動作成した音声障害者新規発話モデルに対応する健常者新規発話モデルを作成し、登録し、同時に特徴データも登録する（ステップＳ５１３）。続いて、新規発話モデルの特徴データ間の対応関係を新規に変換ルールとして変換ルールＤＢ１５に登録する（ステップＳ５１３）。
【００８７】
こうして、入力原発話音声に対する発話モデルの新規作成、登録処理が終われば、自動作成した健常者新規発話モデルを健常者発話モデルＤＢ１３から読み出し、音声合成し、Ｄ／Ａ変換し、健常者発話音声として出力部１０２から出力する（ステップＳ５１４〜Ｓ５１７）。
【００８８】
こうして、本実施の形態の音声障害者会話支援装置では、音声障害者が登録されていない内容の発話をしても、これに対して登録済みの音声障害者発話モデル群から自動的に同様の内容の音声障害者発話モデルを新規に作成し、この音声障害者新規発話モデルに対応する健常者新規発話モデルも自動的に生成し、この健常者新規発話モデルを音声出力することができるので、最初に登録する発話モデルの数が少なくても、多様な内容の発話が可能である。
【００８９】
また、新規に合成した発話内容を音声障害者発話モデル、音声障害者発話モデル特徴、健常者発話モデル、健常者発話モデル特徴としてそれぞれのＤＢに登録するので、使用することによって音声変換ルール辞書を自動的に拡充でき、精度の高い会話支援が可能になる。
【００９０】
例えば、「これは私のです。」という発話モデルとしては登録されていない内容を音声障害者が発話したとする。これに対して、装置側では、共通部分と差異部分が混在する発話モデルとして（ａ）「これは彼のです。」と（ｂ）「ワインは私にです。」という２つの発話モデルの特徴データ群が抽出されたとする。この場合、（ａ）の発話モデルに対して、「これは」に対応する特徴データ群、「のです」に対応する特徴データ群が、原音声「これは私のです。」の最初の部分と最後の部分の特徴データ群の共通部分として抽出される。そして、（ｂ）の発話モデルに対して、「私」に対応する特徴データ群が、原音声の中間部分「私」の特徴データ群の共通部分として抽出される。
【００９１】
このとき、本装置１００はこれらの両方の発話モデル（ａ）、（ｂ）の共通部分を互いに補完し、「これは」、「わたし」、「のです」のそれぞれの部分に対応する特徴データ群を特定し、変換ルールＤＢ１５を参照し、これらの音声障害者の発話の特徴データ群に対応する健常者の発話の特徴データ群を特定する。そして、健常者発話モデル特徴ＤＢ１４から該当する特徴データ群に対応する発話モデルの音声データ群を特定し、健常者発話モデルＤＢ１３から取り出し、編集して音声合成し、健常者の音声で同じ内容「これは、私、のです」を発話するのである。
【００９２】
これととも、本装置では、帰納的学習機能により、出力した発話内容を新規な発話モデルとし、その入力音声を新規な発話モデルとし、その発話データと特徴データ群を音声障害者発話モデルＤＢ１１、音声障害者発話モデル特徴ＤＢ１２に登録し、また、これらの（ａ）、（ｂ）に対応する健常者発話モデルを合成して「わたしは私のです。」という発話内容を健常者新規発話モデルとし、この発話モデルを健常者発話モデルＤＢ１３に登録すると共に、特徴データ群を健常者発話モデル特徴ＤＢ１４に登録し、さらに、特徴データ群間の対応関係を新規な音声変換ルールとして変換ルールＤＢ１５に登録する。
【００９３】
同様に、音声障害者が新規な内容の「わたしはゴルフをする。」と発話したとする。これに対して、装置側では、例えば、（ａ）「わたしは野球をする。」の発話モデルでは、「わたしは」、「をする」を共通部分とし、（ｂ）「そこでゴルフを見る。」の発話モデルでは、「ゴルフを」を共通部分とし、これらの共通部分を自動的に合成して「わたしは、ゴルフを、する」と健常者の音声で発話することができる。そして、この新規な内容の発話入力に対して、装置側では、出力した発話内容を新規な発話モデルとし、その発話モデルとその特徴データを音声障害者発話モデルＤＢ１１、音声障害者発話モデル特徴ＤＢ１２に登録し、また、これらの（ａ）、（ｂ）に対応する健常者発話モデルを合成して「わたしはゴルフをする。」の健常者新規発話モデルを作成し、この発話モデルを健常者発話モデルＤＢ１３に登録すると共に、特徴データ群を健常者発話モデル特徴ＤＢ１４に登録し、さらに、特徴データ群間の対応関係を新規な音声変換ルールとして変換ルールＤＢ１５に登録する。
【００９４】
次に、本発明の第３の実施の形態の音声障害者会話支援装置について、説明する。第３の実施の形態の音声障害者会話支援装置は、音声変換ルールの再帰的学習機能を備えたことを特徴とする。
【００９５】
第２の実施の形態の音声障害者会話支援装置が搭載している音声障害者・健常者間の発話モデルの音声変換ルールの帰納的学習機能の特徴として、準備したデータの比較のみからルールを抽出するのではなく、ルール同士を帰納的に、繰り返し比較することでも同様に新しいルールを抽出することができる。そのため、実例データを予め大量に準備する必要がないという利点がある。
【００９６】
加えて、本第３の実施の形態の装置では、再帰的な音声変換ルール獲得機能を搭載している。この再帰的なルール獲得機能を図１４に例示してある。
【００９７】
現在、既に変換ルール辞書に獲得してあるルール（ｉ）、（ｊ）があり、今それらのルールを比較することで新しいルールを獲得する。それぞれのルールは、図１５に示すようなものであるとする。
【００９８】
これらのルール（ｉ），（ｊ）を比較すると、それぞれの右辺、左辺での比較が図１５のように行われ、共通部分が１つ抽出される。その結果、図１６のようになる。ただし、新しい＠？（０，１以外の数字）は、新しく獲得された共通部分である。
【００９９】
したがって、このルール（ｉ）、（ｊ）を比較することで得られるルールは、図１７に示すものになる。このとき、獲得されたそれぞれの共通部分ルールをそれぞれの差異部分ルール（ｉ）’、（ｊ）’に挿入すると、元の比較したルール（ｉ），（ｊ）が再現できる。
【０１００】
図１８は、本発明の第３の実施の形態の音声障害者会話支援装置の機能構成を示している。本装置の特徴は、図１１に示した第２の実施の形態の音声障害者会話支援装置に対して、変換ルール管理部２２を再帰的変換ルール登録管理部２４にした点に特徴があり、その他の構成は第２の実施の形態と同様である。
【０１０１】
この再帰的変換ルール登録管理部２４は、新規な発話モデルの音声入力に対して、既存の変換ルールを利用して第２の実施の形態と同様に新規な発話モデルを作成し、その特徴データ群を音声障害者発話モデル特徴ＤＢ１２、健常者発話モデル特徴ＤＢ１４それぞれに登録し、新規な健常者発話モデルを健常者発話モデルＤＢ１３に登録し、また新規な音声変換ルールを変換ルールＤＢ１５に登録する機能を有する。
【０１０２】
これにより、本実施の形態の音声障害者会話支援装置では、当初、短い部分しか持たない音声変換ルールを自在に組み合わせることで様々な発話モデルの変換ルールを自動的に生成し、登録してゆくことによって変換ルール辞書を拡張することができ、使い込むほどに変換精度を格段に向上できる。
【０１０３】
この再帰的な変換ルール獲得は、帰納的学習における変換ルールの汎用性向上のためには重要なものである。変換ルール獲得を用意した発話モデルの比較のみ、つまり一次でのみ行う場合、「これは＠０のです。」の文ルールに「私」ルールが＠０の差異部分に挿入され、また「わたしは＠１する。」の文ルールに「ゴルフを」ルールが＠１の差異部分に挿入されるだけであり、新規に生成される変換ルールの数には容易に限界が見つかる。
【０１０４】
しかしながら、本実施の形態が特徴とする再帰的なルール獲得機能によれば、獲得された変換ルールを組み合わせることは、変数を持った変換ルールを組み合わせることになるため、生成される新しい変換ルールの数を飛躍的に増加することができる。例えば、図１９に示す場合、「これは、＠、です。」の文ルールから、「これは、あなたにあげた赤い花、です。」という発話モデルを変換ルールの組み合わせによって生成することができる。このようなルールの多次元での適用は、短い部分しか持たないルールを組み合わせることで様々な発話モデルの変換ルールを自動的に生成することができるのである。
【０１０５】
この再帰的な処理をより具体的に示すと次の通りである。（１）「この花は＠です。」、（２）「この山は＠です。」（ここで＠は共通部分を表す）より、（３）「＠花＠」、（４）「＠山＠」を抽出することが再帰的な処理である。ここで（１）、（２）の獲得元となるルールは差異部分ばかりではなく、この例のように共通部分より獲得することもある。例えば（１）の「この花は＠です。」の内容は、（５）「この花は赤です。」、（６）「あのイチゴが赤だ。」のような２つの入力より獲得されるものであり、その場合には、獲得元のルールは（５）、（６）となり、（１）は（５）の差異部分を持つルールということになる。（１）、（２）は１次元で、（３）、（４）は２次元であり、同様にしてさらに３次元、４次元のルールを獲得することもできる。この２次元以上のものを抽出する過程を再帰的と呼んでいる。
【０１０６】
さらに、例えば（８）「私が昨日買った花は赤です。」というな重文を構成する場合、まず（９）「＠花は赤です。」というルールの＠部分に（１０）「私が＠買った」を適用し、さらにこの「私が＠買った」の＠部分に（１１）「昨日」というルールを適用して「私が昨日買った」という文を得、これを（９）の＠部分に代入する操作をする。この場合（１０）は共通部分ではなくて、「私が今日買った。」、「あなたが今日売った。」というものから獲得されたルールであるので差異部分を持つルールである。このような操作を行なうことにより、より複雑な文に対処できるのである。
【０１０７】
このようにして、本実施の形態の音声障害者会話支援装置では、再帰的な処理により入力音声内容に対する一連の特徴パラメータ群と一致する音声障害者音声特徴パラメータ群を音声障害者発話モデルＤＢから抽出し、その特徴パラメータ群に対応する健常者音声特徴パラメータ群を変換ルールＤＢを検索して抽出し、それに対応する健常者音声発話モデルを健常者音声発話モデルＤＢから取り出し、音声合成して出力することにより、音声障害者の発する複雑な内容の入力音声にも精度良く健常者音声に変換して出力できるのである。
【０１０８】
【発明の効果】
以上のように本発明によれば、音声障害者が発する発話内容を対応する健常者の発話音声に変換して出力することにより、音声障害者の会話を効果的に支援することができる。
【０１０９】
また本発明によれば、音声障害者が登録されていない内容の発話をしても、これに対して登録済みの音声障害者発話モデル群から自動的に同様の内容の音声障害者発話モデルの特徴データ群を新規に構築し、この音声障害者新規発話モデルの特徴データ群に対応する健常者新規発話モデルの特徴データ群も自動的に生成し、この健常者新規発話モデルの特徴データ群に基づいて健常者新規発話モデルを作成し、音声出力することができるので、最初に登録する発話モデルの数が少なくとも使用することによって辞書が自動的に拡充でき、精度の高い会話支援が可能になる。
【０１１０】
さらに本発明によれば、再帰的に音声変換ルールを自動作成して変換ルール辞書を拡張することができ、使い込むほどに音声障害者・健常者間の音声変換精度を格段に向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の音声変換ルール作成装置の機能構成を示すブロック図。
【図２】上記実施の形態による発話モデル登録処理のフローチャート。
【図３】上記の実施の形態において発話モデルＤＢに登録する発話モデルの表１。
【図４】上記実施の形態において発話モデルＤＢに登録する発話モデルの表２。
【図５】上記実施の形態による発話モデル特徴登録処理のフローチャート。
【図６】上記実施の形態による特徴抽出処理のフローチャート。
【図７】上記実施の形態による入力音声信号に対してスペクトル解析した結果の波形図。
【図８】上記の実施の形態による音声変換ルール作成処理のフローチャート。
【図９】上記実施の形態による距離計算処理のフローチャート。
【図１０】上記実施の形態による同一文間、類似文間、異文間の特徴データ群の距離計算結果を示す説明図。
【図１１】本発明の第２の実施の形態の音声障害者会話支援装置の機能ブロック図。
【図１２】上記実施の形態による音声障害者会話支援処理のフローチャートその１。
【図１３】上記実施の形態による音声障害者会話支援処理のフローチャートその２。
【図１４】本発明の第３の実施の形態の音声障害者会話支援装置が備える再帰的音声変換ルール作成機能の説明図。
【図１５】上記実施の形態による２種類の音声入力それぞれに対する登録発話モデルとの距離計算結果を示す説明図。
【図１６】上記実施の形態による２種類の音声入力それぞれに対する再帰的なルール適用例を示す説明図。
【図１７】上記実施の形態による２種類の音声入力それぞれに対する再帰的なルール適用の結果得られた新規な変換ルールを示す説明図。
【図１８】本発明の第３の実施の形態の音声障害者会話支援装置の機能構成を示すブロック図。
【図１９】上記実施の形態による再帰的ルール適用例を示す説明図。
【符号の説明】
１  Ａ／Ｄ変換処理部
２  符号化処理部
３  特徴抽出部
４  距離計算部
５  共通・差異部分特定部
６  音声変換ルール作成部
７  変換ルール管理部
８  音声合成部
９  Ｄ／Ａ変換部
８  発話モデル編集部
９  変換ルール管理部
１１  音声障害者発話モデルデータベース（ＤＢ）
１２  音声障害者発話モデル特徴データベース（ＤＢ）
１３  健常者発話モデルデータベース（ＤＢ）
１４  健常者発話モデル特徴データベース（ＤＢ）
１５  変換ルールデータベース（ＤＢ）
２０  音声翻訳処理統括制御部
２１  発話モデル決定部
２２  変換ルール管理部
２３  発話モデル編集部
２４  再帰的変換ルール登録管理部
１０１  マイク
１０２  出力部
【図１】
2004287209.tif 000004
【図２】
2004287209.tif 000005
【図３】
2004287209.tif 000006
【図４】
2004287209.tif 000007
【図５】
2004287209.tif 000008
【図６】
2004287209.tif 000009
【図７】
2004287209.tif 000010
【図８】
2004287209.tif 000011
【図９】
2004287209.tif 000012
【図１０】
2004287209.tif 000013
【図１１】
2004287209.tif 000014
【図１２】
2004287209.tif 000015
【図１３】
2004287209.tif 000016
【図１４】
2004287209.tif 000017
【図１５】
2004287209.tif 000018
【図１６】
2004287209.tif 000019
【図１７】
2004287209.tif 000020
【図１８】
2004287209.tif 000021
【図１９】
2004287209.tif 000022