(57)【特許請求の範囲】
【請求項１】
１つの音素を複数の符号コード群で表現した音素符号を読み込む音素符号読込手段と、前記読み込まれた音素符号を構成する各符号コードについて、発音開始時刻と発音終了時刻との時間差と符号コードの強さとの積で与えられるエネルギー値が高い上位のものを、時間的に重複する符号コードが所定の種類以下の範囲で抽出し、抽出された符号コード群で構成される音素符号に変換する音素符号変換手段と、当該音素符号を構成する符号コードの発音開始時刻および発音終了時刻の各々に対して、所定の時間単位の整数倍になるように補正する符号時刻補正手段を有する音素符号補正装置による補正後の音素符号であって、日本語カナ文字の各音素に対応して、所定の種類以下の音高を同時にもち、音の長さが所定の時間単位の整数倍で規定される和音複数個（母音は２個以上、子音は３個以上）で構成された補正後の音素符号を、音素符号を識別する音素符号識別情報と対応付けて記録した音素符号データベースと、
与えられた合成指示データに記載されている音素符号識別情報に対応する前記補正後の音素符号を前記音素符号データベースから抽出し、当該音素の種別に従って、発音時間および無音時間を設定し、発音の開始および終了を特定する時刻を設定することにより合成音声データを生成する音素編集処理手段と、を有することを特徴とする音声合成装置。
【請求項２】
請求項１において、
前記音素編集処理手段が、前記合成指示データの先頭の音素に対応する音素符号を構成する符号コードの中で最低の音高と、先頭以外の各音素に対応する音素符号を構成する符号コードの中で最低の音高との差分を、前記先頭以外の各音素についてそれぞれ求め、前記先頭以外の各音素に対応する音素符号を構成する全ての符号コードについて当該差分だけ音高を変更することを特徴とする音声合成装置。
【請求項３】
請求項１または請求項２において、
前記音素編集処理手段により生成された合成音声データを音声として出力する音声出力手段をさらに有することを特徴とする音声合成装置。
【請求項４】
請求項１から請求項３のいずれか一項において、
前記音素編集処理手段により生成された合成音声データを五線譜に変換し、印刷する印刷手段をさらに有することを特徴とする音声合成装置。
【請求項５】
請求項１から請求項４のいずれか一項において、
前記音素編集処理手段は、前記音素の種別が、日本語カナ文字の長音であるとき、前記発音時間を所定の値だけ増加させることを特徴とする音声合成装置。
【請求項６】
請求項１から請求項５のいずれか一項において、
前記音素編集処理手段は、前記音素の種別が、日本語カナ文字の「ツ」の促音「ッ」または「ヤ」「ユ」「ヨ」の拗音であるとき、当該音素と当該音素の直前の音素との無音時間、当該音素と当該音素の直後の音素との無音時間、および当該音素の発音時間を、所定の値だけ減少させることを特徴とする音声合成装置。
【請求項７】
請求項１から請求項６のいずれか一項において、
前記音素編集処理手段が、与えられた音素符号識別情報に対応する音素符号を前記音素符号データベースから抽出し、当該音素の種別に従って、発音の開始および終了を特定する時刻を設定する際、前記無音時間に対して、設定された時間伸縮率を乗算し、前記発音の開始および終了を特定する時刻に対して所定の改変を施すようにしていることを特徴とする音声合成装置。
【請求項８】
請求項１から請求項７のいずれか一項において、
前記音素編集処理手段が、与えられた音素符号識別情報に対応する音素符号を前記音素符号データベースから抽出し、当該音素の種別に従って、発音の開始および終了を特定する時刻を設定する際、設定された音高オフセットパラメータに基づいて、前記音素符号データベースに記録されている前記音素符号を構成する各符号コードの音高に対して、前記音高オフセットパラメータを加算し、前記合成音声データを構成する全ての符号コードの音高に対して所定の改変を施すようにしていることを特徴とする音声合成装置。
【請求項９】
請求項８において、
前記合成指示データには各音素ごとに音素符号識別情報とともに前記音高オフセットパラメータが定義されており、前記音素編集処理手段が、
与えられた音素符号識別情報に対応する音素符号を前記音素符号データベースから抽出し、当該音素の種別に従って、発音の開始および終了を特定する時刻を設定する際、前記各音素ごとに定義された音高オフセットパラメータに基づいて、前記音素符号データベースに記録されている前記音素符号を構成する各符号コードの音高に対して、前記音高オフセットパラメータを加算し、前記合成音声データを構成する全ての符号コードの音高に対して、改変を施すようにしていることを特徴とする音声合成装置。
【請求項１０】
請求項１から請求項９のいずれか一項に記載の音声合成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は人間の声を基にして、電子楽器、楽譜等で利用可能な符号データを得るための技術に関する。
【背景技術】
【０００２】
従来、人間の声を擬似的に合成する手法は、種々の分野で利用されている。出願人は、人間の声をＰＣＭでデジタル化した後、フーリエ変換を用い、実効強度の大きい周波数に対応する符号コードを取得することにより音声合成を行う技術を提案している（特許文献１参照）。
【０００３】
また、出願人は、玩具などに搭載されている性能の低いＭＩＤＩ音源でも再生可能とし、既存の楽譜編集ツールに読み込ませて五線譜に変換すると、判読性のある譜面が得られるようにするために、各音素ごとの符号コード群を簡素な符号コード群に変換する技術を提案している（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−９５７９８号公報
【特許文献２】特願２００９−４１１６５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術では、人間の音声を構成する各音素ごとにＭＩＤＩデータ形式で符号化された符号コード群は、電子楽器による自動演奏で音声を再生することを前提としているため、発音タイミングやベロシティ制御が煩雑で、玩具などに搭載されている性能の低いＭＩＤＩ音源では再生できなかった。また、前記符号コード群を既存の楽譜編集ツールに読み込ませて五線譜に変換すると、判読不能な譜面になってしまい、人間による楽器演奏で前記符号コード群を再生することは困難であった。
【０００６】
上記特許文献２に記載の技術では、母音以外の全ての音素を２連和音で簡略化したＭＩＤＩデータで統一的に表現しているが、ＭＩＤＩ音源で種々の楽器音色を設定して再生しても音声の明瞭性に欠けるという問題がある。音声が不明瞭である原因としては、以下の３つがある。第１に、母音以外の全ての音素を２連の４和音等で簡略化している点に問題があり、実際の音素では、時間軸方向のフォルマントゆらぎが大きく、子音の雑音成分と母音成分をつなぐ経過音を人間の聴覚上の補間現象（音脈分凝）に委ねて省略することは難しく、２連和音では変化が少なすぎる。第２に、母音以外の全ての音素を２連の４和音等に統一化する方法に問題があり、実際の日本語の音素では音素ごとに経過音の構成や発音時間が異なり、構成される和音数を統一化することに無理がある。第３に、データベースに登録されている音素のピッチ（音高）にバラツキがある点に問題があり、単純に時間軸方向に配置すると、合成音声に不自然な抑揚が付加され、音声の聴取が行いにくくなっている。
【０００７】
また、ＭＩＤＩ形式の音素データベースを構築する際、日本語音声五十音を録音した波形音声データ一式を準備し、特許第４１３２３６２号公報等に開示の技術を用いて高精細なＭＩＤＩデータに変換し、変換されたＭＩＤＩデータ対して、２箇所の音素区間に対応する位置を画面上で指示する方法をとっており、作業者の主観が入るため整形データが不揃いになる問題と、作業者の負荷が大きいという問題があった。
【０００８】
そこで、本発明は、人間が楽器で演奏可能な程度に、五線譜に自動変換できる簡略化した符号データ（ＭＩＤＩデータ等）を基本として音声合成機能を実現する場合において、作業負荷を軽減するとともに、音声再生品質の明瞭性を改善することが可能な音素符号補正装置、音素符号データベース、および音声合成装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明では、１つの音素を複数の符号コード群で表現した音素符号を読み込む音素符号読込手段と、前記読み込まれた音素符号を構成する各符号コードについて、発音開始時刻と発音終了時刻との時間差と符号コードの強さとの積で与えられるエネルギー値が高い上位のものを、時間的に重複する符号コードが所定の種類以下の範囲で抽出し、抽出された符号コード群で構成される音素符号に変換する音素符号変換手段と、当該音素符号を構成する符号コードの発音開始時刻および発音終了時刻の各々に対して、所定の時間単位の整数倍になるように補正する符号時刻補正手段を有する音素符号補正装置による補正後の音素符号であって、日本語カナ文字の各音素に対応して、所定の種類以下の音高を同時にもち、音の長さが所定の時間単位の整数倍で規定される和音複数個（母音は２個以上、子音は３個以上）で構成された補正後の音素符号を、音素符号を識別する音素符号識別情報と対応付けて記録した音素符号データベースと、与えられた合成指示データに記載されている音素符号識別情報に対応する前記補正後の音素符号を前記音素符号データベースから抽出し、当該音素の種別に従って、発音時間および無音時間を設定し、発音の開始および終了を特定する時刻を設定することにより合成音声データを生成する音素編集処理手段と、を有することを特徴とする音声合成装置を提供する。
【００１０】
本発明によれば、符号コード群として構成される音素符号を読み込み、エネルギー値の高い符号コードを所定数抽出した符号コード群で構成される音素符号に変換し、音素符号を構成する符号コードの発音開始時刻および発音終了時刻の各々に対して、所定の時間単位の整数倍になるように補正するようにしたので、人間が楽器で演奏可能な程度に、五線譜に自動変換できる簡略化した符号データを基本として音声合成機能を実現する場合において、作業負荷を軽減するとともに、音声再生品質の明瞭性を改善することが可能となる。
【００１２】
本発明によれば、日本語カナ文字の各音素を表現した音素符号を、所定の種類以下の音高を同時にもち、音の長さが所定の時間単位の整数倍で規定される和音複数個により構成するようにしたので、音声合成を行うことにより作成される符号コード群は玩具などに搭載されている性能の低いＭＩＤＩ音源で再生可能であるとともに、既存の楽譜編集ツールにより演奏者が楽器演奏時に判読容易な五線譜に変換することが可能となる。
【００１４】
本発明によれば、所定の種類以下の音高を同時にもち、音の長さが所定の時間単位の整数倍で規定される和音複数個で構成された音素符号を記録したデータベースを有し、入力された音素符号識別情報に対応する音素符号を抽出し、音素の種別に従って、発音時間および無音時間を設定し、発音の開始および終了を特定する時刻を設定することにより合成音声データを生成するようにしたので、音声合成を行うことにより作成される符号コード群は玩具などに搭載されている性能の低いＭＩＤＩ音源で再生可能であるとともに、既存の楽譜編集ツールにより演奏者が楽器演奏で再生可能な判読性のある五線譜に変換することが可能となる。
【発明の効果】
【００１５】
本発明によれば、人間が楽器で演奏可能な程度に、五線譜に自動変換できる簡略化した符号データを基本として音声合成機能を実現する場合において、作業負荷を軽減するとともに、音声再生品質の明瞭性を改善することが可能となるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明における音声合成の基本概念を示す図である。
【図２】本発明における音声合成の基本概念を示す図である。
【図３】本発明に係る音素符号補正装置の一実施形態を示す構成図である。
【図４】音素符号表示手段３０に表示された補正前の音素符号の様子を示す図である。
【図５】音素符号表示手段３０に表示された補正後の音素符号の様子を示す図である。
【図６】音素符号補正手段２１による処理前と処理後の音素符号の変化の様子を示す図である。
【図７】補正音素符号記憶部１２に格納された男声の音素符号の例を示す図である。
【図８】補正音素符号記憶部１２に格納された男声の音素符号の例を示す図である。
【図９】補正音素符号記憶部１２に格納された女声の音素符号の例を示す図である。
【図１０】補正音素符号記憶部１２に格納された女声の音素符号の例を示す図である。
【図１１】図７、図８に示した男声の音素符号を五線譜化した例を示す図である。
【図１２】図９、図１０に示した女声の音素符号を五線譜化した例を示す図である。
【図１３】本発明に係る音声合成装置の一実施形態を示す構成図である。
【図１４】音素編集処理手段５０による音高の補正の様子を示す図である。
【図１５】本発明に係る電子透かし埋め込み装置の一実施形態を示す構成図である。
【図１６】３２個の符号コードに対して音素符号補正手段２１による処理を行った例を示す図である。
【発明を実施するための形態】
【００１７】
（１．本発明の基本概念）
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。最初に、本発明の基本概念について説明する。日本語の母音は、２つの特徴的な音声フォルマント成分を含む４つ以上の重音による和音で近似できることが知られている。子音は母音成分に加えて、摩擦音など雑音を表現する和音と母音への経過音を表現する和音の３種の連結された和音が理論上必要であるが、経過音は人間の聴覚上の補間現象（音脈分凝）に委ねれば、最初の雑音と母音の２つの和音に近似できる。そこで、出願人は、日本語の母音は単一の４和音、子音は２連の４和音を基本にして全音素を表現し、これらを時間軸上につなぎ合わせれば音声合成を実現できると考え、特許文献２において、これを提案した。
【００１８】
しかしながら、上述のように、様々な要因により、ＭＩＤＩ音源で種々の楽器音色を設定して再生しても音声の明瞭性に欠けるという問題があった。本発明では、母音、子音等の音素の構成を上記特許文献１とは根本的に異なるものとした。そして、各音素をそれぞれ固有の態様で記録する。さらに、これらの音素を用いて、音素の特徴に応じてさらに多種の態様で合成することを特徴とする。
【００１９】
本実施形態では、母音・子音を問わず、各音素ごとに２連から６連の範囲で可変の和音構成とし、各和音は６重音を標準とし、長さは１／１６秒の整数倍で与える。トータル１２重音の範囲で、長さの異なる和音を重ねる構成も可能とする。図１は、本実施形態における音素の基本構成を４連の場合を例にとって示す図である。図１（ａ）の例では、４つの和音からなる４連構成であり、第１和音、第２和音が最小単位区間の１／１６秒、第３和音が最小単位区間の２倍の２／１６秒、第４和音が最小単位区間の３倍の３／１６秒となっている。図１（ｂ）の例では、図１（ａ）の例と同じ和音を用いているが、第２和音および第３和音に、第４和音を重ねた構成となっている。
【００２０】
本実施形態では、音声合成を行なう際、上記のような構成の音素を時系列に配置する。この際、本実施形態では、音素の長さである音素区間を可変としている。ここで、音素区間を固定で配置する固定音素配置、音素区間を可変で配置する可変音素配置をそれぞれ図２（ａ）（ｂ）に示す。図２の例では、いずれも音素は３連の場合を示している。固定音素配置の場合、図２（ａ）に示すように、左から２番目の音素が合計３／１６秒であっても、音素区間は４／１６秒と固定である。これに対して、可変音素配置の場合、図２（ｂ）に示すように、左から２番目の音素が合計３／１６秒の場合、音素区間も３／１６秒に変化する。
【００２１】
図３（ａ）は、通常の音素の合成パターンを示す図である。通常の音素の場合、音素区間は音素の長さそのまま、音素間隔は標準で設定される。図３（ａ）に示すように、音素“カ”の長さが４／１６秒であった場合、音素区間は音素の長さそのままの４／１６秒、音素間隔は標準の４／１６秒となり、その後、後続音素が続く。図３（ｂ）は、長音の音素の合成パターンを示す例である。長音の音素の場合、音素区間は音素の長さの２倍、音素間隔は標準の２倍で設定される。図３（ｂ）に示すように、音素“カ”の長さが４／１６秒であった場合、音素区間は音素の長さの２倍の８／１６秒、音素間隔は標準の８／１６秒となる。
【００２２】
図４は、通常の音素との比較により、拗音・促音の合成パターンを説明する図である。“アツタ”のように間の“ツ”が通常の音素の場合は、図４（ａ）に示すように、その前後の音素間隔は標準の４／１６秒で設定される。音素区間については、特に示していないが、上述のように音素の長さそのままとなっている。“アッタ”のように間の“ッ”が促音の場合は、図４（ｂ）に示すように、その前後の音素間隔が標準の１／２の２／１６秒で設定される。音素区間については、通常の音素の場合と全く同じである。このように、本実施形態では、音素自体には加工を行なわず、音素間隔を短くすることにより、拗音・促音を作り出している。図２〜図４においては、一部先行音素、後続音素を省略したが、基本的に全ての音素の間には無音の音素間隔が設定される。また、図１から図４に示したものは、基本様式であるため、各音素における各和音の発音時間の比率、各音素の発音時間（音素区間）や無音時間（音素間隔）の長さは適宜変更することが可能である。例えば、隣接音素との間隔（音素間隔）を変動させれば話速を変更できる。
【００２３】
（２．前準備）
次に、従来技術を利用した前処理について説明する。前準備として、人間の声を各音素ごとに符号化する処理を行う。これは、特許文献１に示されている音素の符号化処理に相当する。ただし、特許文献１に示されている符号化処理では、１つの単位区間において、４、８、１６個の符号コードを定義しているが、本実施形態では、より多くの符号コードを定義する点で異なっている。具体的には、本実施形態では、ノートナンバーに対応した３２個の符号コードを定義し、符号化を行う。
【００２４】
符号化処理としては、まず最初に、人間の声を音素単位でデジタル化する。これは、特許文献１に示したのと同様に、各音素を人間が実際に発声し、これを録音したものをＰＣＭ等の手法により行う。このとき、話者はネイティブの日本人男性または女性とし、同一人が７１の音節に対してできる限り、ピッチ（音高）と発声区間を揃えて、発声することが望まれる。一般人の話者ではこのように発声を揃えるのは困難であるため、専門のボイストレーニングを受けたアナウンサー・声楽家などに発声してもらうことが望ましい。更に、男性または女性を含む複数の話者により複数のセットの７１音節の録音信号を収集することが望ましい。続いて、各音素のデジタルデータを１２８個の符号コード群に変換する。この変換は、概略的には特許文献１に示したものと同様である。したがって、各符号コードは、音の高さ、音の強さ、発音開始時刻、発音終了時刻（本実施形態では、符号コードとしてＭＩＤＩを採用するので、ノートナンバー、ベロシティ、ノートオン時刻、ノートオフ時刻）で構成される。しかし、上述のように、本実施形態では、特許文献１のように４〜１６個程度ではなく、全てのノートナンバーに対応した１２８個の符号コード群に変換し、更にその中から３２個の符号コード群を選別する。ＰＣＭデータから、３２個の符号コード群への変換の具体的手法は、特許第４０３７５４２号や、特許第４１３２３６２号等に開示されている公知の技術を利用する。このようにして、各音素ごとの符号コード群を音素符号として音素データベースに記録する。本実施形態では、音素データベースに記録される音素は、いわゆる五十音に加え、撥音、濁音、半濁音を含む計７１音である。
【００２５】
（３．音素符号の補正）
次に、音素符号の補正について説明する。図５は、本発明に係る音素符号補正装置の一実施形態を示す構成図である。記憶手段１０は、音素符号記憶部１１、補正音素符号記憶部１２を有しており、コンピュータに接続されたハードディスク等の外部記憶装置により実現される。処理制御手段２０は、音素符号補正装置全体の処理を統括するものであり、音素符号変換手段２１、符号時刻補正手段２２を有している。処理制御手段２０は、ＣＰＵ、メモリを含むコンピュータ本体であり、音素符号変換手段２１、符号時刻補正手段２２は、専用のプログラムをＣＰＵが実行することにより実現される。音素符号表示手段３０は、処理制御手段２０に読み込まれた音素符号を表示するものであり、液晶ディスプレイ等の表示装置により実現される。
【００２６】
次に、図５に示した音素符号補正装置の処理動作について説明する。まず、最初に処理制御手段２０が、音素符号記憶部１１から音素ごとに音素符号を読み込む。
【００２７】
処理制御手段２０が、音素符号を読み込んだら、音素符号変換手段２１は、読み込んだ音素符号を構成する全符号コードを対象にして、音高（ＭＩＤＩの場合、ノートナンバー）別に、エネルギー総和値を算出する。エネルギー総和値は、各音高における音の強度（ＭＩＤＩの場合、ベロシティ）×発音時間（ＭＩＤＩの場合、デュレーション：ノートオフ時刻−ノートオン時刻）により算出する。全音高についてエネルギー総和値が算出されたら、音素符号補正手段２１は、そのうち、強度値が所定値（例：０〜１２７の値をとるベロシティの場合、６４）以上で、エネルギー総和値が上位の音高を各発音時間の区間において指定和音数（例：６個）を超えないように選出する。
【００２８】
指定和音数は、事前に設定されるものであり、自由に設定することができるが、本実施形態では、上述のように“６”としている。したがって、本実施形態では、３２個の符号コードから６個の符号コードが、音素符号変換手段２１により抽出されることになる。次に、符号時刻補正手段２２が、抽出された符号コードのノートオン時刻、ノートオフ時刻を所定の単位時刻の整数倍になるように補正して開始時刻、終了時刻として設定するとともに、ベロシティを規定値に設定する。
【００２９】
開始時刻、終了時刻は、抽出された符号コードのノートオン時刻をＴｏｎ、ノートオフ時刻をＴｏｆｆ、最小単位時刻をＴｑとし、以下の〔数式１〕に従った処理を実行し、得られたＴｏｎ´、Ｔｏｆｆ´で設定される。
【００３０】
〔数式１〕
Ｔｄ´＝Ｆｌｏｏｒ[（Ｔｄ＋Ｔｑ・２／３）／Ｔｑ] ・Ｔｑ
Ｔｏｎ´＝Ｆｌｏｏｒ[｛（Ｔｏｆｆ＋Ｔｏｎ）／２−Ｔｄ´／２｝／Ｔｑ]・Ｔｑ
Ｔｏｆｆ´＝Ｔｏｎ´＋Ｔｄ´
【００３１】
上記〔数式１〕において、Ｔｄはデュレーションであり、Ｔｏｆｆ−Ｔｏｎである。また、Ｆｌｏｏｒ[]は、実数値の小数点以下を切り捨てて整数化する関数である。
【００３２】
ベロシティの規定値については、ベロシティが“０”〜“１２７”の値を取り得るため、本実施形態では、その最大の“１２７”としている。
【００３３】
音素符号変換手段２１、符号時刻補正手段２２による処理前と処理後の音素符号の変化の様子を図６に示す。図６において、横軸は時間、縦軸は周波数（ノートナンバー）に対応している。グラフ内に配置された矩形は符号コードを示しており、横方向の長さは横軸に従って時間的長さを示しているが、縦方向の長さは縦軸とは異なり、周波数ではなく強度（ベロシティ）を示している。
【００３４】
図６（ａ）は、音素符号変換手段２１、符号時刻補正手段２２による処理前の音素符号を示したものである。上述のように、本実施形態では、同一時刻において３２個の符号コードで音素符号を構成し、指定和音数は６に設定するのが一般的であるが、図６（ａ）では、説明の都合上、同一時刻において符号コードは最大５個となっており、指定和音数は２に設定している場合を示している。また、各符号コードを示す矩形の横方向および縦方向の長さからわかるように、各符号コードの再生時間（終了時刻−開始時刻）および強度も異なっている。音素符号補正手段２１による処理後は、図６（ｂ）に示すように、開始時刻および終了時刻が所定の時間間隔の整数倍の位置に補正され、各符号コードの強度は、規定値に統一されるため、図６（ｂ）においては、各符号コードを示す矩形の横方向および縦方向の長さが全て同一または既定長の整数倍となる。実際に、３２個の符号コードに対して処理を行った例を図１６に示す。
【００３５】
音素符号変換手段２１、符号時刻補正手段２２は、音素符号記憶部１１に記憶されている各音素符号について処理を行い、補正後の各音素符号を補正音素符号記憶部１２に格納する。補正音素符号記憶部１２に格納された音素符号の例を図７〜図１０に示す。このうち、図７、図８は男声を符号化したものであり、図９、図１０は女声を符号化したものである。図７〜図１０中、“Ｃ，Ｃ＃，Ｄ，Ｄ＃、Ｅ、Ｆ、Ｆ＃、Ｇ、Ｇ＃、Ａ、Ａ＃、Ｂ”は、“ド、ド＃、レ、レ＃、ミ、ファ、ファ＃、ソ、ソ＃、ラ、ラ＃、シ”の音名の英語表記で、列記されている数字はオクターブ番号を示し、音名とオクターブ番号の対記号でＭＩＤＩ規格のノートナンバーを特定でき、本願ではＭＩＤＩ規格ノートナンバーの６９をＡ３と表記する（国際的にはＡ４をＭＩＤＩ規格ノートナンバーの６９を示す表記も多数存在する）。図７〜図１０において、“−−−”は、左記の音を延長させることを意味している。したがって、例えば、図７（１）音素Ａの場合、最小単位区間を１／１６秒とすると、“Ｆ５”“Ｄ＃５”“Ａ４”“Ｆ＃４”は音素Ａの開始から２／１６秒間発音され、“Ｇ４”“Ｇ＃２”“Ｇ＃１”は音素Ａの開始から１／１６秒間発音され、“Ｂ２”“Ｂ１”は音素Ａの開始の１／１６後から１／１６秒間発音されることを意味している。また、図７の（２）音素Ｉ、（３）音素Ｕ、（４）音素Ｅ、（５）音素Ｏは、最小単位区間を１／１６秒とすると、それぞれ４／１６秒、３／１６秒、３／１６秒、３／１６秒発音されることを示す。音素符号を構成する符号コードが、ＭＩＤＩ規格で定義されている場合、市販の楽譜編集ツールにより五線譜に変換することができる。図７、図８の男声の音素符号を五線譜化した例を図１１に、図９、図１０の女声の音素符号を五線譜化した例を図１２にそれぞれ示す。
【００３６】
（４．音声の合成）
次に、補正した音素符号を利用した音声の合成について説明する。図１３は、本発明に係る音声合成装置の一実施形態を示す構成図である。図１３において、音素符号データベース１２ａは、補正された音素符号を、合成指示データで示される音素符号識別情報と対応付けて記録したものである。音素符号データベース１２ａに格納されている音素符号は、上述の音素符号補正装置により補正され、補正音素符号記憶部１２に格納されたものと同じである。したがって、上述の音素符号補正装置は、この音素符号データベース１２ａを作成するためのものであるとも言える。合成音声データ記憶手段１３は、音素編集処理手段５０により合成された合成音声データを記憶するものであり、ハードディスク等の記憶装置により実現される。
【００３７】
音素編集処理手段５０は、合成指示データの内容に従って、音素符号データベース１２ａから対応する音素符号を抽出し、所定の加工を施して合成音声データを生成し、所定の出力先に出力する処理を行う。生成された合成音声データは、設定に従って合成音声データ記憶手段１３、音声出力手段６０、印刷手段７０のうち、１つ以上に出力される。音声出力手段６０は、音素編集処理手段５０から受け取った合成音声データを実際の音声として発音するものであり、ＭＩＤＩ音源を備えたＭＩＤＩ再生装置により実現される。印刷手段７０は、音素編集処理手段５０から受け取った合成音声データを五線譜に変換し、印刷するものであり、五線譜への変換は、公知の変換ソフトウェアを実行することにより実現され、印刷機能は、公知のプリンタ等により実現される。図１３に示した音声合成装置は、現実には、入力機器、外部記憶装置を備え、ＭＩＤＩ再生装置を接続したコンピュータに専用のプログラムを組み込むことにより実現される。
【００３８】
音声合成装置に入力される合成指示データは、音素識別情報を所定の順序で配置したものであり、この音素識別情報は、音素符号を識別することができるものであれば、どのような形式であっても良い。本実施形態では、音素識別情報として、音素に対応する文字コードを記録したテキストデータを用いている。この場合、音素データベース内の音素符号は、音素に対応する文字コードと対応付けて記録されている必要がある。
【００３９】
続いて、図１３に示した音声合成装置の処理動作について説明する。まず、合成指示データを音声合成装置に入力する。音声合成装置は、合成指示データを読み込むと、音素編集処理手段５０が合成指示データ内を先頭の音素識別情報から順に合成処理していく。具体的には、音素編集処理手段５０は、合成指示データ内の音素識別情報で音素符号データベース１２ａから対応する音素符号を抽出する。そして、抽出した音素符号が通常音素である場合は、先行音素のノートオフ時刻に音素間隔を加算した時刻をノートオン時刻として設定し、その音素の長さを音素区間として加算した時刻をノートオフ時刻として設定し、ノートナンバー、ベロシティは音素符号データベース１２ａに記録されていた値そのものとするＭＩＤＩイベントを作成する。
【００４０】
抽出した音素符号が長音である場合は、図３（ｂ）に示したように、先行音素のノートオフ時刻に音素間隔を加算した時刻をノートオン時刻として設定し、その音素の長さの２倍を音素区間として加算した時刻をノートオフ時刻として設定し、ノートナンバー、ベロシティは音素データベースに記録されていた値そのものとするＭＩＤＩイベントを作成する。長音の音素の後続音素は、その種別に係らず、ノートオン時刻が、長音の音素のノートオフ時刻の０．５秒後に設定される。ただし、この０．５秒後という数値はあくまで標準値であり、各音素における各和音の発音時間の比率、各音素の発音時間（音素区間）や無音時間（音素間隔）の長さは適宜変更することが可能である。
【００４１】
抽出した音素符号が拗音・促音である場合は、図４に示したように、音素間隔が通常音素の１／２になるため、前の音素のノートオフ時刻の０．１２５秒後をノートオン時刻として設定し、音素の長さに従ってノートオフ時刻を設定する。そして、その音素のノートオフ時刻から０．１２５秒後に後続音素のノートオン時刻を設定する。ただし、この０．１２５秒後という数値はあくまで標準値であり、各音素における各和音の発音時間の比率、各音素の発音時間（音素区間）や無音時間（音素間隔）の長さは適宜変更することが可能である。
【００４２】
通常音素、長音、拗音・促音いずれの場合であっても、音高（ＭＩＤＩの場合ノートナンバー）については、音素符号データベースに記録されていた値そのものとしても良いが、その場合、音素符号データベース１２ａに記録されている各音素の音高が不揃いであると、合成した際、不自然な抑揚が付いてしまう。そこで、本実施形態では、先頭音素以外の各音素について、各音素の最下音と先頭音素の最下音との差分を求め、先頭音素以外の各音素の最下音が先頭音素の最下音と同一となるように、求めた差分だけ各音素の音高を全体に補正する。
【００４３】
ここで、音素編集処理手段５０による音高の補正の様子を図１４に示す。図１４では、説明の便宜上、各音素が４つの符号コードで構成された例について示している。また、図１４（ａ）は、音高を補正しない場合（データベースに記録された音高そのままの場合）、図１４（ｂ）は、音高を補正した場合を示している。先頭音素、後続音素１、後続音素２について、音高を補正しない場合、先頭音素の最下音（先頭音素を構成する符号コードの音高）と、後続音素１の最下音、後続音素２の最下音が図１４（ａ）に示すような状態であったとする。図１４（ａ）のように合成した音声を、再生すると、不自然な抑揚が付いてしまう。そこで、先頭音素の最下音と後続音素１の最下音との差分１、先頭音素の最下音と後続音素２の最下音との差分２をそれぞれ求め、後続音素１については、構成する４つの符号コード全てについて、その音高を差分１だけ補正し、後続音素２については、構成する４つの符号コード全てについて、その音高を差分２だけ補正する。音高補正の結果、図１４（ｂ）に示すように、先頭音素、後続音素１、後続音素２の最下音の音高が同一となり、再生時に不自然な抑揚がなくなる。
【００４４】
ノートナンバーについてはオプション的に別途ユーザにより指示される音高オフセットパラメータを加算することにより適宜上下され、ピッチ変換を実現することができる。
【００４５】
音素編集処理手段５０は、読み込んだ合成指示データ内の音素識別情報単位で音素の合成処理を行っていき、処理が終わった音素単位で順に、合成音声データ（ＭＩＤＩデータ）を、音声出力手段６０に渡していく。音声出力手段６０は、音素編集処理手段５０から受け取ったＭＩＤＩデータを順に再生していく。以上のようにして、音声合成装置は、読み込んだ合成指示データに従って音声の再生が可能となる。
【００４６】
五線譜として出力する場合は、合成音声データを印刷手段７０により五線譜データに変換した後、印刷出力する。また、上記の例のように、合成指示データに従って音声合成をリアルタイムで行い、音声再生したり、五線譜出力することも可能であるが、この音声合成装置では、音素編集処理手段５０による処理結果であるＭＩＤＩデータを合成音声データ記憶手段１３に蓄積し、別途このＭＩＤＩデータをＭＩＤＩ再生装置により音声再生するようにしても良い。ＭＩＤＩデータを記憶装置に蓄積する方法としては、ＳＭＦ(Standard MIDI File)形式ファイルを用いると、市販の種々の音楽関係ソフトウェアに渡すことができ、作成されたＭＩＤＩデータからは、市販の楽譜作成ツールを用いて、楽譜を作成することができる。この場合、楽譜は、ＳＭＦ形式に記録されていた音素符号を基にして作成される。そして、作成された楽譜を印刷装置から出力すれば、読みやすい楽譜として、楽器演奏の際に利用することができる。
【００４７】
上述の通り、音素編集処理手段５０は、合成指示データ内の音素識別情報で音素データベース１２ａから対応する音素符号を抽出し、ＭＩＤＩイベントを作成する際、そのノートナンバーについては音素符号データベース１２ａに収録されている当該音素符号に対応する和音を構成する各音符のノートナンバーに対して、オプション的に別途ユーザにより指示される音高オフセットパラメータを加算し適宜上下させ、ピッチ変換を行えるようにしてある。この場合は、合成音声データ全体のピッチを上下させるものであるが、合成指示データ内の音素識別情報とともに音高オフセットパラメータを音素ごとに定義すれば、各音素ごとにピッチを上下させることもできる。すなわち、あらかじめ作成した旋律の隣接音符間での音高変化（音程情報）を、合成指示データ内の音素識別情報とともに定義される音高オフセットパラメータとして与えれば、歌声合成を実現することができる。
【００４８】
（５．電子透かしへの応用）
本発明に係る音声合成装置は、音楽データに、音声メッセージの形態で著作権者情報など特定の情報を埋め込む技術、可聴な“電子透かし”に応用することが可能である。図１５は、本発明に係る音声合成装置の基本構成を利用した電子透かし埋め込み装置を示す図である。図１５において、音素符号データベース１２ａは、図１３に示した音素符号データベース１２ａと同じものであり、補正された音素符号を、合成指示データで示される音素符号識別情報と対応付けて記録したものである。埋め込み処理手段５１は、ＳＭＦ形式等により記述されたデジタルデータである音楽コンテンツに、メッセージテキスト（合成指示データ）で特定されるメッセージを埋め込む。具体的には、埋め込み処理手段５１は、図１３に示した音素編集処理手段５０の機能を備え、メッセージテキスト（合成指示データ）の内容に従って、音素符号データベース１２ａから対応する音素符号を抽出し、所定の加工を施して合成音声を生成する。そして、出力する音楽コンテンツが複数トラックであり、メッセージ用の専用トラックが存在する場合は、その専用トラックに合成音声を埋め込んで単一のＭＩＤＩ形式の音楽データとして音響出力手段６１に出力する。音楽コンテンツに専用トラックが存在しない場合には、音楽コンテンツの無音部分に、合成音声を格納して音響出力手段６１に出力する。
【００４９】
音響出力手段６１は、図１３に示した音声出力手段６０と実質的には同じものであり、埋め込み処理手段５１から受け取った音響データを実際の音として発音するものである。図１５に示した電子透かし埋め込み装置では、メッセージテキストの埋め込みをリアルタイムで行い、音響出力するようにしたが、埋め込み処理手段５１による処理結果であるＳＭＦ形式等でＭＩＤＩデータを記憶装置に蓄積し、ネットワーク等で別途このＭＩＤＩデータを配信し、受信者側のＭＩＤＩ再生装置により音響出力する形態をとることもできる。図１５に示した電子透かし埋め込み装置は、現実には、外部記憶装置を備え、ＭＩＤＩ再生装置を接続したコンピュータに専用のプログラムを組み込むことにより実現される。
【００５０】
音響出力の際、埋め込まれたメッセージテキストが音楽コンテンツと合成されて音声メッセージとして出力される可聴な電子透かしとして運用する方法と、埋め込まれたメッセージテキストに対応するＭＩＤＩデータのチャンネルボリュームを最小に設定するか、１２７の固定値に設定されている全てのＭＩＤＩイベントのベロシティ値を０に変更する方法により、音楽コンテンツ以外の音声メッセージは再生されない不可聴な電子透かしとして運用する方法もとれる。例えば、一般ユーザにサンプルとして試聴版配布する場合は、可聴な電子透かしを埋め込んで配布し、正規購入された製品版配布する場合は、不可聴な電子透かしを埋め込んで配布する。不可聴な電子透かしが埋め込まれた音楽コンテンツが正規購入品か否かを音楽コンテンツ事業者側で判断する場合、上記の逆の操作、即ち、ＭＩＤＩデータのチャンネルボリュームを最大値に変更するか、０に設定されている全てのＭＩＤＩイベントのベロシティ値を１２７に変更するような前処理を行うことにより可聴な形態で埋め込まれた状態に変更して、以下電子透かし抽出装置を適用すればよい。
【００５１】
続いて、ＭＩＤＩデータに前述の可聴な形態で埋め込まれた電子透かしを抽出する電子透かし抽出装置について述べる。電子透かし抽出装置は、マイクロフォン等の音響信号取得機器、上記音素符号データベース１２ａを備えるとともに、電子透かし抽出のための専用のプログラムを組み込んだコンピュータにより実現される。電子透かし抽出装置に組み込まれた専用プログラムは、コンピュータを、周波数解析手段、音素符号識別情報復号化手段として機能させる。周波数解析手段、音素符号識別情報復号化手段の具体的内容は、特許第４０３７５４２号や、特許第４１３２３６２号等に開示されている手順により実現可能である。電子透かし抽出装置は、音響出力手段６１より空間に送出された音響信号に対して電子透かし抽出装置に接続されたマイクロフォンなどを通じて部分的に録音を行い、録音されたＰＣＭデータに対して周波数解析手段が周波数解析を行い、和音データを抽出する。具体的には、特許第４０３７５４２号や、特許第４１３２３６２号等に開示されている公知の技術を用いて時系列の３２個の符号コード群へ変換する。続いて、音素符号識別情報復号化手段が、抽出された和音データを音素符号データベース１２ａと照合し、類似した和音データをもつ音素符号を抽出し、音素符号識別情報を復号化する。具体的には、音素符号データベース１２ａに収録されている符号コード群と順次照合し、適合する音素符号を順次抽出することにより、図１５のメッセージテキスト（合成指示データ）を復元する。
【産業上の利用可能性】
【００５２】
本発明は、イベントや余興目的に行われる人間の音声再生を模倣した音楽作品制作・作曲の支援産業に利用することができる。また、エンターテインメント分野において、電子楽器を主体とした玩具（ロボット、ぬいぐるみを含む）、玩具型のアコースティック楽器（室内装飾用のミニチュアピアノ）、オルゴール、携帯電話の着信メロディ等の音階再生媒体に対して音声合成機能を付加する産業に利用することができる。また、ＳＭＦ（Ｓｔａｎｄａｒｄ  ＭＩＤＩ  Ｆｉｌｅ）等によるＭＩＤＩ音楽コンテンツ配布時における著作権保護等の産業に利用することができる。
【符号の説明】
【００５３】
１０・・・記憶手段
１１・・・音素符号記憶部
１２・・・補正音素符号記憶部
１２ａ・・・音素符号データベース
１３・・・合成音声データ記憶手段
２０・・・処理制御手段
２１・・・音素符号変換手段
２２・・・符号時刻補正手段
３０・・・音素符号表示手段
４０・・・開始終了時刻指示手段
５０・・・音素編集処理手段
５１・・・埋め込み処理手段
６０・・・音声出力手段
６１・・・音響出力手段
７０・・・印刷手段
【図１】
0005481957.tif 000002
【図２】
0005481957.tif 000003
【図３】
0005481957.tif 000004
【図４】
0005481957.tif 000005
【図５】
0005481957.tif 000006
【図６】
0005481957.tif 000007
【図７】
0005481957.tif 000008
【図８】
0005481957.tif 000009
【図９】
0005481957.tif 000010
【図１０】
0005481957.tif 000011
【図１１】
0005481957.tif 000012
【図１２】
0005481957.tif 000013
【図１３】
0005481957.tif 000014
【図１４】
0005481957.tif 000015
【図１５】
0005481957.tif 000016
【図１６】
0005481957.tif 000017