(57)【要約】【課題】複数の言語の単語が混在している発声内容を簡易に音声合成する技術の提供。【解決手段】音声合成装置（カラオケ装置）は、発声内容情報を取得し（Ｓ１２０）、その発声内容情報を構成する形態素である構成形態素を、第１辞書データに照合することで、構成形態素の発音記号を特定する（Ｓ１６０）。第１辞書データは、各形態素とその形態素の発音記号とを言語ごとに対応付けたものである。さらに、Ｓ１６０で特定した発音記号に対応する特定言語での表音文字へと、第２辞書データに基づいて、構成形態素それぞれを置き換える（Ｓ１６０）。第２辞書データは、発音記号のそれぞれと当該発音記号に対応する特定言語の表音文字とを対応付けたものである。その置き換えられた表音文字に従って、発声内容情報を特定言語で発声した合成音を生成して出力する（Ｓ２５０）。【選択図】図２
2016156989.tif 000002
【特許請求の範囲】
【請求項１】
発声すべき内容の文言を表す発声内容情報を取得する内容取得手段と、
各形態素とその形態素の発音記号とを言語ごとに対応付けた第１辞書データに、前記内容取得手段で取得した発声内容情報を構成する形態素である構成形態素を照合することで、前記構成形態素の発音記号を特定する言語解析手段と、
前記発音記号のそれぞれと当該発音記号に対応する特定言語の表音文字とを対応付けた第２辞書データに基づいて、前記言語解析手段で特定された発音記号に対応する特定言語での表音文字へと、前記構成形態素それぞれを置き換える置換手段と、
前記置換手段で置き換えられた表音文字に従って、前記発声内容情報を特定言語で発声した合成音を生成して出力する合成音出力手段と
を備えることを特徴とする音声合成装置。
【請求項２】
前記言語解析手段は、
前記構成形態素が前記特定言語の形態素であるか否かを判定し、その判定の結果、前記特定言語の形態素でなければ、当該構成形態素の発音記号を特定する
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記言語解析手段は、
日本語を前記特定言語として、前記構成形態素が前記特定言語の形態素であるか否かを判定する
ことを特徴とする請求項１または請求項２に記載の音声合成装置。
【請求項４】
前記内容取得手段は、
楽曲の旋律を構成する複数の音符のうちの少なくとも一部の音符に割り当てられた文言である歌詞を、前記発声内容情報として取得する
ことを特徴とする請求項１から請求項３までのいずれか一項に記載の音声合成装置。
【請求項５】
前記置換手段で、前記構成形態素それぞれを前記特定言語の表音文字へと置き換えた結果、前記表音文字の文字数が、当該構成形態素が割り当てられた対象音符の数よりも多い場合、前記表音文字の文字数に合致するように、前記対象音符を分割する音符分割手段と、
前記音符分割手段で分割された各音符に、前記表音文字を割り当てる割当手段と
を備え、
前記合成音出力手段は、
前記割当手段で各音符に割り当てられた表音文字それぞれを、前記置換手段で置き換えられた表音文字とする
ことを特徴とする請求項１から請求項４までのいずれか１項に記載の音声合成装置。
【請求項６】
発声すべき内容の文言を表す発声内容情報を取得する内容取得手順と、
各形態素とその形態素の発音記号とを言語ごとに対応付けた第１辞書データに、前記内容取得手順で取得した発声内容情報を構成する形態素である構成形態素を照合することで、前記構成形態素の発音記号を特定する言語解析手順と、
前記発音記号のそれぞれと当該発音記号に対応する特定言語の表音文字とを対応付けた第２辞書データに基づいて、前記言語解析手順で特定された発音記号に対応する特定言語での表音文字へと、前記構成形態素それぞれを置き換える置換手順と、
前記置換手順で置き換えられた表音文字に従って、前記発声内容情報を特定言語で発声した合成音を生成して出力する合成音出力手順とを
コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成音を生成する音声合成装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、音高と音価との組み合わせからなる音符に歌詞を割り当てた楽曲を合成音にて歌唱させる歌唱合成装置が知られている（特許文献１参照）。
この種の歌唱合成装置において、合成音を生成するためには、音声合成に必要な音声データを格納するライブラリと、ライブラリに格納された音声データに基づいて音声合成を実行する合成エンジンとが必要となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５８８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、楽曲における歌詞には、複数の言語の単語が混在している場合がある。
このように歌詞の中に複数の言語の単語が混在していると、ライブラリと合成エンジンとを、各言語に併せて用意する必要がある。
【０００５】
特に、ライブラリに格納される音声データは、同一の人物から生成したデータであることが好ましい。このため、発声させるべき発声内容情報の中に複数の言語の単語が混在していると、その発声内容情報を発声させるために必要なデータを確保するための手間が多大なものとなる。
【０００６】
つまり、従来の技術では、複数の言語の単語が混在する発声内容を簡易に音声合成できないという課題があった。
そこで、本発明は、複数の言語の単語が混在している発声内容を簡易に音声合成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するためになされた本発明の１つの態様は、内容取得手段と、言語解析手段と、置換手段と、合成音出力手段とを備える音声合成装置に関する。
内容取得手段は、発声すべき内容の文言を表す発声内容情報を取得する。言語解析手段は、第１辞書データに構成形態素を照合することで、構成形態素の発音記号を特定する。ここで言う第１辞書データは、各形態素とその形態素の発音記号とを言語ごとに対応付けたデータである。また、構成形態素は、内容取得手段で取得した発声内容情報を構成する形態素である。
【０００８】
さらに、置換手段は、第２辞書データに基づいて、言語解析手段で特定された発音記号に対応する特定言語での表音文字へと、構成形態素それぞれを置き換える。ここで言う第２辞書データは、発音記号のそれぞれと当該発音記号に対応する特定言語の表音文字とを対応付けたデータである。
【０００９】
そして、合成音出力手段は、置換手段で置き換えられた表音文字に従って、発声内容情報を特定言語で発声した合成音を生成して出力する。
このような音声合成装置によれば、構成形態素を特定言語の表音文字へと変換することができる。つまり、音声合成装置によれば、複数の言語の単語が発声内容情報に混在していたとしても、全ての単語（形態素）を特定言語の表音文字へと変換できる。
【００１０】
このため、音声合成装置によれば、複数の言語それぞれのライブラリや合成エンジンを用意することなく、当該発声内容情報の合成音を生成して出力することができる。換言すれば、音声合成装置によれば、複数の言語の単語が混在している発声内容情報であっても、当該発声内容情報の合成音を簡易に生成できる。
【００１１】
また、言語解析手段は、構成形態素が特定言語の形態素であるか否かを判定し、その判定の結果、特定言語の形態素でなければ、当該構成形態素の発音記号を特定してもよい。
このような音声合成装置によれば、構成形態素の発音記号を特定する条件を、当該構成形態素が特定言語以外の言語の形態素である場合とすることができる。これにより、音声合成装置によれば、１つの発声内容情報において、構成形態素の発音記号を特定する回数を低減でき、構成形態素の発音記号を特定するために実行する処理の処理量を低減できる。
【００１２】
さらに、言語解析手段は、日本語を特定言語として、構成形態素が特定言語の形態素であるか否かを判定してもよい。
このような音声合成装置によれば、日本語を特定言語として処理を実行できる。
【００１３】
そして、内容取得手段は、楽曲の旋律を構成する複数の音符のうちの少なくとも一部の音符に割り当てられた文言である歌詞を、発声内容情報として取得してもよい。
このような音声合成装置によれば、楽曲の歌詞に複数の言語の単語（形態素）が混在する場合であっても、その楽曲を音声合成にて歌唱させることができる。
【００１４】
ところで、発声内容情報の構成形態素を特定言語の表音文字へと変換した場合、その表音文字の文字数が対象音符の数よりも多くなる可能性がある。
そこで、本発明の１つの態様としての音声合成装置は、音符分割手段と、割当手段とを備えていてもよい。
【００１５】
この場合、音符分割手段は、置換手段で、構成形態素それぞれを特定言語の表音文字へと置き換えた結果、表音文字の文字数が、当該構成形態素が割り当てられた対象音符の数よりも多い場合、表音文字の文字数に合致するように対象音符を分割する。そして、割当手段が、音符分割手段で分割された各音符に表音文字を割り当てる。
【００１６】
さらに、合成音出力手段が、割当手段で各音符に割り当てられた表音文字それぞれを、置換手段で置き換えられた表音文字としてもよい。
このような音声合成装置においては、１つの音符に１つの表音文字を割り当てることができる。この結果、音声合成装置によれば、発声内容情報の合成音を楽曲に適したものとすることができ、違和感の少ない合成音とすることができる。
【００１７】
なお、本発明は、プログラムとしてなされていてもよい。
この場合のプログラムは、発声内容情報を取得する内容取得手順と、第１辞書データに構成形態素を照合することで、構成形態素の発音記号を特定する言語解析手順とをコンピュータに実行させる。さらに、本発明の１つの態様としてのプログラムは、第２辞書データに基づいて、言語解析手順で特定された発音記号に対応する特定言語での表音文字へと、構成形態素それぞれを置き換える置換手順と、その置き換えられた表音文字に従って、発声内容情報を特定言語で発声した合成音を生成して出力する合成音出力手順とをコンピュータに実行させる。
【００１８】
このように、本発明がプログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを音声合成装置として機能させることができる。
【００１９】
なお、ここで言う記録媒体には、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。
【図面の簡単な説明】
【００２０】
【図１】音声合成システムの概略構成を示すブロック図である。
【図２】再生処理の処理手順を示すフローチャートである。
【図３】特定言語変換処理の処理手順を示すフローチャートである。
【図４】特定言語変換処理の概要を示す説明図であり、（Ａ）は発声内容情報の一例を示す図であり、（Ｂ）は歌詞ワードを発音記号へと変換した状況を例示する図であり、（Ｃ）は特定言語の表音文字へと発音記号を置換した状況を例示する図である。
【図５】発声速度調整処理の処理手順を示すフローチャートである。
【図６】発声速度調整処理の概要を説明する説明図である。
【発明を実施するための形態】
【００２１】
以下に本発明の実施形態を図面と共に説明する。
＜音声合成システム＞
図１に示す音声合成システム１は、ユーザが指定した楽曲（以下、対象楽曲と称す）における歌詞を歌唱した合成音声をガイドボーカルとして出力するシステムである。
【００２２】
音声合成システム１は、情報処理サーバ１０と、カラオケ装置３０とを備えている。
情報処理サーバ１０には、少なくとも、ＭＩＤＩ楽曲ＭＤと、辞書データＤＤとが格納されている。
【００２３】
カラオケ装置３０は、情報処理サーバ１０に記憶され、かつ対象楽曲に対応するＭＩＤＩ楽曲ＭＤを演奏する。さらに、カラオケ装置３０は、音源データＰＤに従って、その楽曲を歌唱した合成音声を生成してガイドボーカルとして出力する。なお、音声合成システム１は、複数のカラオケ装置３０を備えている。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、楽曲データと、歌詞データと、楽曲情報とを有している。
【００２４】
このうち、楽曲データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この楽曲データは、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックを少なくとも有している。
【００２５】
楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音のノートオンタイミングと、当該演奏音のノートオフタイミングとによって規定されている。
【００２６】
一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テキストデータと、歌詞出力データとを備えている。歌詞テキストデータは、楽曲の歌詞を表す。歌詞出力データは、歌詞を構成する文字（以下、「歌詞構成文字」と称す）の出力タイミングである歌詞
出力タイミングを、楽曲データの演奏と対応付けるタイミング対応関係が規定されたデータである。また、タイミング対応関係においては、楽曲の主旋律を構成する演奏音（即ち、音符）のうち、少なくとも一部の音符に歌詞構成文字を割り当てることが規定されている。
【００２７】
さらに、歌詞データにおいては、歌詞構成文字に使用される文字の種類を表す文字種類情報が、歌詞構成文字ごとに規定されている。ここで言う文字の種類とは、当該文字が用いられる言語を表す情報であり、例えば、漢字、平仮名、片仮名、ラテン文字、アラビア文字などを含む。
【００２８】
楽曲情報は、楽曲に関する情報であり、楽曲を識別する識別情報（即ち、楽曲ＩＤ）を含む。また、ここで言う楽曲に関する情報には、例えば、楽曲名、アーティスト名、歌詞の言語を表す歌詞言語情報などを含む。
＜辞書データ＞
辞書データＤＤは、言語ごとに用意されるデータであり、各形態素と、その形態素の発音記号と、その発音記号に対応する特定言語の表音文字とが対応付けられている。
【００２９】
なお、本実施形態において、言語とは、音声や文字によって、情報を表現・伝達する規則であり、例えば、日本語、英語、ドイツ語、フランス語、中国語などである。また、特定言語とは、規定された１つの言語である。本実施形態においては、日本語を特定言語として説明する。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。
【００３０】
このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。
【００３１】
記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、複数のＭＩＤＩ楽曲ＭＤが記憶される。なお、図１に示す符号「ｎ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤを識別する識別子であり、楽曲ごとに割り当てられている。この符号「ｎ」は、１以上の自然数である。
【００３２】
さらに、記憶部１４には、辞書データＤＤが記憶される。なお、図１に示す符号「ｍ」は、情報処理サーバ１０の記憶部１４に記憶されている辞書データＤＤを識別する識別子であり、言語ごとに割り当てられている。この符号「ｍ」は、２以上の自然数である。
【００３３】
制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ２０は、処理プログラムやデータを一時的に記憶する。ＣＰＵ２２は、ＲＯＭ１８やＲＡＭ２０に記憶された処理プログラムに従って各処理を実行する。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。
【００３４】
通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここで言う入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。
【００３５】
楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。
【００３６】
マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、マイク６２を介して入力された音声を取得する。出力部４２には、スピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から入力された音源信号を音に換えて出力する。
【００３７】
映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像を出力する。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。
【００３８】
記憶部３８は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、音源データＰＤが格納される。この音源データＰＤは、合成音声の生成（即ち、音声合成）に必要となるデータである。具体的には、音源データＰＤは、音声素片であってもよいし、フォルマント合成に用いる各種パラメータであってもよい。
【００３９】
制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ５４は、処理プログラムやデータを一時的に記憶する。ＣＰＵ５６は、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各処理を実行する。
【００４０】
本実施形態のＲＯＭ５２には、再生処理を制御部５０が実行するための処理プログラムが記憶されている。
＜再生処理＞
次に、制御部５０が実行する再生処理について説明する。
【００４１】
この再生処理は、対象楽曲の再生順序となると起動される。
そして、再生処理が起動されると、図２に示すように、制御部５０は、まず、対象楽曲の識別番号（楽曲ＩＤ）を取得する（Ｓ１１０）。続いて、制御部５０は、Ｓ１１０で取得した楽曲ＩＤが含まれているＭＩＤＩ楽曲ＭＤの歌詞データを、情報処理サーバ１０から取得する（Ｓ１２０）。すなわち、本実施形態のＳ１２０では、発声すべき内容の文言を表す発声内容情報として、歌詞データを取得する。
【００４２】
そして、制御部５０は、Ｓ１２０で取得した歌詞データによって表された歌詞（以下、「対象歌詞」と称す）が特定言語であるか否かを、楽曲情報に基づいて判定する（Ｓ１３０）。
【００４３】
このＳ１３０での判定の結果、対象歌詞が特定言語でない場合（Ｓ１３０：ＮＯ）、制御部５０は、詳しくは後述するＳ２００へと再生処理を移行させる。具体的に、本実施形態のＳ１３０では、楽曲情報に含まれる歌詞言語情報が特定言語であれば、対象歌詞が特定言語であるものと判定する。なお、本実施形態においては、歌詞言語情報が特定言語である状態として、特定言語の歌詞ワードと、特定言語以外の歌詞ワードが混在する場合であって、特定言語の歌詞ワードが占める割合が、予め規定された比率以上であることを含む。ここで言う歌詞ワードとは、対象歌詞を構成する形態素であり、特許請求の範囲に記
載された構成形態素の一例である。
【００４４】
一方、Ｓ１３０での判定の結果、対象歌詞が特定言語であれば（Ｓ１３０：ＹＥＳ）、制御部５０は、対象歌詞を構成する全ての歌詞ワードの中から、１つの歌詞ワードを抽出する（Ｓ１４０）。このＳ１４０では、制御部５０は、対象楽曲における時間の進行に沿って、歌詞ワードを抽出すればよい。なお、以下では、Ｓ１４０にて抽出した歌詞ワードを対象ワードと称す。
【００４５】
続いて、制御部５０は、対象ワードが、特定言語にて用いられる文字以外の文字で表されているか否かを判定する（Ｓ１５０）。このＳ１５０での判定の結果、対象ワードが特定言語にて用いられる文字以外の文字で表されていなければ、即ち、特定言語にて用いられる文字（例えば、平仮名、片仮名、漢字）で表されていれば（Ｓ１５０：ＮＯ）、制御部５０は、再生処理をＳ１６０へと移行させる。なお、本実施形態のＳ１５０では、制御部５０は、歌詞データに含まれる文字種類情報が特定言語にて用いられる文字を表していれば、Ｓ１５０において否定判定する。
【００４６】
そのＳ１６０では、制御部５０は、対象ワードに対する特定言語の表音文字を辞書データＤＤから特定して、その対象ワードを特定言語の表音文字へと置換する。制御部５０は、その後、詳しくは後述するＳ１８０へと再生処理を移行させる。
【００４７】
一方、Ｓ１５０での判定の結果、対象ワードが特定言語にて用いられる文字以外の文字（例えば、ラテン文字、アラビア文字、繁体字など）で表されていれば（Ｓ１５０：ＹＥＳ）、制御部５０は、再生処理をＳ１７０へと移行させる。
【００４８】
そのＳ１７０では、制御部５０は、対象ワードを特定言語の表音文字へと変換する特定言語変換処理を実行する。この特定言語変換処理の詳細は、後述する。
さらに、制御部５０は、対象ワードを構成する表音文字の１つ１つを、１つの音符に割り当てる発声速度調整処理を実行する（Ｓ１８０）。この発声速度調整処理の詳細については、後述する。
【００４９】
続いて、制御部５０は、対象歌詞を構成する全ての歌詞ワードに対して、Ｓ１４０〜Ｓ１８０のステップを実行したか否かを判定する（Ｓ１９０）。このＳ１９０での判定の結果、全ての歌詞ワードに対して、Ｓ１４０〜Ｓ１８０のステップを実行していなければ（Ｓ１９０：ＮＯ）、制御部５０は、再生処理をＳ１４０へと戻す。そのＳ１４０では、制御部５０は、新たな歌詞ワードを対象ワードとして抽出して、Ｓ１５０からＳ１９０までのステップを実行する。
【００５０】
一方、Ｓ１８０での判定の結果、全ての歌詞ワードに対して、Ｓ１４０〜Ｓ１８０のステップを実行していれば（Ｓ１９０：ＹＥＳ）、制御部５０は、詳しくは後述するＳ２４０へと再生処理を移行させる。
【００５１】
ところで、対象歌詞が特定言語でない場合（Ｓ１３０：ＮＯ）に移行するＳ２００では、制御部５０は、対象歌詞を構成する全ての歌詞ワードの中から、１つの歌詞ワードを抽出する。このＳ２００では、制御部５０は、対象楽曲における時間の進行に沿って、歌詞ワードを抽出すればよい。なお、以下では、Ｓ２００にて抽出した１つの歌詞ワードについても、対象ワードと称す。
【００５２】
続いて、制御部５０は、特定言語変換処理を実行する（Ｓ２１０）。さらに、制御部５０は、発声速度調整処理を実行する（Ｓ２２０）。続いて、制御部５０は、対象歌詞を構成する全ての歌詞ワードに対して、Ｓ２００〜Ｓ２２０のステップを実行したか否かを判
定する（Ｓ２３０）。
【００５３】
このＳ２３０での判定の結果、全ての歌詞ワードに対して、Ｓ２００〜Ｓ２３０のステップを実行していなければ（Ｓ２３０：ＮＯ）、制御部５０は、再生処理をＳ２００へと戻す。そのＳ２００では、制御部５０は、新たな歌詞ワードを対象ワードとして抽出して、Ｓ２１０からＳ２３０までのステップを実行する。
【００５４】
一方、Ｓ２３０での判定の結果、全ての歌詞ワードに対して、Ｓ２００〜Ｓ２２０のステップを実行していれば（Ｓ２３０：ＹＥＳ）、制御部５０は、再生処理をＳ２４０へと移行させる。
【００５５】
そのＳ２４０では、制御部５０は、Ｓ１１０で取得した楽曲ＩＤに対応するＭＩＤＩ楽曲ＭＤを情報処理サーバ１０から取得して、対象楽曲を再生する。このＳ２４０により、対象楽曲の演奏音がスピーカ６０から放音される。
【００５６】
さらに、再生処理では、制御部５０は、記憶部３８に記憶された音源データＰＤに従って、対象楽曲の対象歌詞を正確に歌唱したガイドボーカルを音声合成によって生成して、出力する（Ｓ２５０）。Ｓ２５０では、制御部５０は、特定言語の表音文字だけで表された対象歌詞を、その表音文字に従って音声合成する。なお、本実施形態において、音声合成は、波形接続やフォルマント合成などの周知の手法によって実現すればよい。このＳ２５０により、ガイドボーカルがスピーカ６０から放音される。
【００５７】
その後、本再生処理を終了する。
＜特定言語変換処理＞
次に、再生処理のＳ１７０，Ｓ２１０で起動される特定言語変換処理について説明する。
【００５８】
この特定言語変換処理では、図３に示すように、制御部５０は、情報処理サーバ１０の記憶部１４に格納されている辞書データＤＤの中から１つの辞書データＤＤを選択して、対象ワードを照合する（Ｓ３１０）。以下、Ｓ３１０で選択した辞書データＤＤを対象辞書データと称す。
【００５９】
このＳ３１０での照合の結果、対象ワードに適合する形態素が、対象辞書データＤＤに存在していなければ（Ｓ３２０：ＮＯ）、制御部５０は、特定言語変換処理をＳ３１０へと戻す。そのＳ３１０では、新たな辞書データＤＤを対象辞書データＤＤとして選択して、対象ワードを照合する。
【００６０】
一方、Ｓ３１０での照合の結果、対象ワードに適合する形態素が、対象辞書データＤＤに存在していれば（Ｓ３２０：ＹＥＳ）、制御部５０は、特定言語変換処理をＳ３３０へと移行させる。そのＳ３３０では、制御部５０は、対象辞書データＤＤに基づいて、対象ワードを発音記号へと変換する。具体的にＳ３３０では、制御部５０は、図４（Ａ），図４（Ｂ）に示すように、対象ワード（即ち、形態素）に対応する発音記号を対象辞書データＤＤから特定して、その対象ワードを発音記号へと変換する。
【００６１】
さらに、特定言語変換処理では、制御部５０は、Ｓ３３０で発音記号へと変換された対象ワードを、特定言語の表音文字へと置き換える（Ｓ３４０）。具体的にＳ３４０では、制御部５０は、図４（Ｃ）に示すように、対象ワードに対する特定言語の表音文字を対象辞書データＤＤから特定して、その対象ワードを特定言語の表音文字へと置換する。本実施形態において、特定言語の表音文字として、片仮名を用いることが考えられる。
【００６２】
その後、制御部５０は、本特定言語変換処理を終了し、再生処理のＳ１８０またはＳ２２０へと処理を戻す。
すなわち、特定言語変換処理では、特定言語以外の言語で表された歌詞ワードを、その歌詞ワードの発音記号の発声態様に類似する発声態様を有した特定言語の表音文字へと置換する。
＜発声速度調整処理＞
次に、再生処理のＳ１８０，Ｓ２２０で起動される発声速度調整処理について説明する。
【００６３】
この発声速度調整処理が起動されると、図５に示すように、制御部５０は、特定言語の表音文字へと置換された対象ワードの文字数が、１文字であるか否かを判定する（Ｓ４１０）。このＳ４１０での判定の結果、文字数が１文字であれば（Ｓ４１０：ＹＥＳ）、制御部５０は、発声速度調整処理をＳ４２０へと移行させる。
【００６４】
そのＳ４２０では、制御部５０は、対象ワードを表す表音文字１文字を、当該対象ワードが割り当てられた１つの音符に割り当てる。制御部５０は、その後、本発声速度調整処理を終了して、再生処理のＳ１９０またはＳ２３０へと処理を戻す。
【００６５】
一方、Ｓ４１０での判定の結果、特定言語の表音文字へと置換された対象ワードの文字数が、１文字でなければ（Ｓ４１０：ＮＯ）、制御部５０は、発声速度調整処理をＳ４３０へと移行させる。そのＳ４３０では、制御部５０は、対象ワードが割り当てられた音符（以下、対象音符と称す）の情報を、ＭＩＤＩ楽曲ＭＤから取得する。このＳ４３０で取得する対象音符の情報とは、例えば４分音符や８分音符などの音符の種類や音符の音価である。
【００６６】
そして、発声速度調整処理では、制御部５０は、対象ワードを表す表音文字の文字数に音符の数が合致するように、対象音符を分割する（Ｓ４４０）。さらに、発声速度調整処理では、制御部５０は、Ｓ４４０で分割した対象音符のそれぞれに、対象ワードを表す表音文字の１つ１つを割り当てる（Ｓ４５０）。
【００６７】
その後、制御部５０は、その後、本発声速度調整処理を終了して、再生処理のＳ１９０またはＳ２３０へと処理を戻す。
すなわち、発声速度調整処理では、図６に示すように、対象ワードを表す表音文字の文字数が、当該対象ワードが割り当てられた対象音符の数よりも多い場合、その対象ワードを表す表音文字の文字数に合致するように対象音符を分割する。そして、発声速度調整処理では、分割された各音符に、対象ワードを表す表音文字のそれぞれを割り当てる。
［実施形態の効果］
以上説明したように、カラオケ装置３０によれば、歌詞ワードを特定言語の表音文字へと変換することができる。つまり、カラオケ装置３０によれば、複数の言語の単語が対象歌詞に混在していたとしても、全ての単語（形態素）を特定言語の表音文字へと変換できる。
【００６８】
このため、カラオケ装置３０によれば、複数の言語それぞれのライブラリや合成エンジンを用意することなく、当該対象歌詞の合成音を生成して出力することができる。
換言すると、カラオケ装置３０によれば、複数の言語の単語が混在している対象歌詞であっても、当該発声内容情報の合成音を簡易に生成できる。
【００６９】
また、再生処理においては、対象ワードの発音記号を特定する条件を、当該対象ワードが特定言語以外の言語の形態素である場合としている。
これにより、再生処理によれば、１つの対象歌詞において、対象ワードの発音記号の特
定及び特定言語の表音文字への置換を実行する回数を低減でき、対象ワードの発音記号の特定及び特定言語の表音文字への置換を実行する処理の処理量を低減できる。
【００７０】
ところで、対象歌詞の歌詞ワードを特定言語の表音文字へと変換した場合、その表音文字の文字数が対象音符の数よりも多くなる可能性がある。
このような場合であっても、本実施形態の再生処理では、発声速度調整処理において、１つの音符に１つの表音文字を割り当てることを実施している。この結果、再生処理によれば、対象楽曲の歌詞を歌唱した合成音を楽曲に適したものとすることができ、違和感の少ない合成音とすることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００７１】
例えば、上記実施形態の再生処理では、歌詞データを発声内容情報として取得していたが、発声内容情報は、これに限るものではない。すなわち、発声内容情報は、発声すべき内容の文言を表す情報であれば、文学であっても、その他の内容であってもよい。
【００７２】
また、上記実施形態においては、日本語を特定言語としていたが、本発明における特定言語は、これに限るものでなく、どのような言語を特定言語としてもよい。
さらに、上記実施形態における辞書データＤＤには、各形態素と、その形態素の発音記号と、その発音記号に対応する特定言語の表音文字とが対応付けられていたが、この辞書データの構造は、これに限るものではない。例えば、辞書データは、各形態素と、その形態素の発音記号とを対応付けた第１辞書データ、及び発音記号のそれぞれと当該発音記号に対応する特定言語の表音文字とを対応付けた第２辞書データを備えていてもよい。
【００７３】
また、上記実施形態においては、音源データＰＤは、カラオケ装置３０の記憶部３８に格納されていたが、本発明において、音源データＰＤは、カラオケ装置３０の記憶部３８に格納されていなくともよく、情報処理サーバ１０に格納されていてもよい。
【００７４】
また、上記実施形態において、再生処理を実行する主体は、カラオケ装置３０であったが、再生処理の実行主体は、これに限るものではなく、パーソナルコンピュータやスマートホンなどの情報処理装置であってもよい。
【００７５】
また、本発明は、前述したカラオケ装置（音声合成装置）の他、当該カラオケ装置としてコンピュータを機能させるためのプログラム、当該プログラムが記録された記録媒体など、種々の形態で実現することができる。
【００７６】
なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【００７７】
上記実施形態の再生処理におけるＳ１２０を実行することで得られる機能が、特許請求の範囲に記載された内容取得手段の一例であり、特定言語変換処理のＳ３１０〜Ｓ３３０を実行することで得られる機能が、特許請求の範囲に記載された言語解析手段の一例である。また、特定言語変換処理のＳ３４０を実行することで得られる機能が、特許請求の範囲に記載された置換手段の一例であり、再生処理のＳ２５０を実行することで得られる機
能が、特許請求の範囲に記載された合成音出力手段の一例である。
【００７８】
さらに、発声速度調整処理のＳ４４０を実行することで得られる機能が、特許請求の範囲に記載された音符分割手段の一例であり、Ｓ４５０を実行することで得られる機能が、特許請求の範囲に記載された割当手段の一例である。
【符号の説明】
【００７９】
１…音声合成システム  １０…情報処理サーバ  １２…通信部  １４…記憶部  １６…制御部  １８，５２…ＲＯＭ  ２０，５４…ＲＡＭ  ２２，５６…ＣＰＵ  ３０…カラオケ装置  ３２…通信部  ３４…入力受付部  ３６…楽曲再生部  ３８…記憶部  ４０…音声制御部  ４２…出力部  ４４…マイク入力部  ４６…映像制御部  ５０…制御部  ６０…スピーカ  ６２…マイク  ６４…表示部
【図１】
2016156989.tif 000003
【図２】
2016156989.tif 000004
【図３】
2016156989.tif 000005
【図４】
2016156989.tif 000006
【図５】
2016156989.tif 000007
【図６】
2016156989.tif 000008