(57)【特許請求の範囲】
【請求項１】
テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置において、
上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段と、
上記音声信号セグメントの時間遷移に基づいて上記発音特徴ラベルスコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段と、
上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段と、
上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段とを有することを特徴とするテキスト表示用同期情報生成装置。
【請求項２】
上記テキストは、上記音声信号に対応する歌詞テキストに基づく請求項１記載のテキスト表示用同期情報生成装置。
【請求項３】
上記テキストは日本語テキストに基づくものであり、上記マッチング用基準シンボルは、かな文字である請求項１または２のいずれかに記載のテキスト表示用同期情報生成装置。
【請求項４】
上記テキストは英語テキストに基づくものであり、上記マッチング用基準シンボルは単語単位のレベルで表記されたものである請求項１または２のいずれかに記載のテキスト表示用同期情報生成装置。
【請求項５】
上記第１のマッチング用基準シンボル列に含まれる個々のマッチング用基準シンボルは、上記音声信号に対する尤度をそれぞれ伴い、上記マッチング手段は、尤度の大きさの順にＲ（Ｒは２以上の整数）個のマッチング用基準シンボルをマッチング対象とする請求項１〜４のいずれかに記載のテキスト表示用同期情報生成装置。
【請求項６】
上記発音特徴ラベルは音素片ラベルである請求項１〜５のいずれかに記載のテキスト表示用同期情報生成装置。
【請求項７】
上記複数の基準シンボル推定辞書は、機械学習により適合化される請求項１〜６のいずれかに記載のテキスト表示用同期情報生成装置。
【請求項８】
上記複数の基準シンボル推定辞書は、一般的なＮ１個の発声者グループ、癖のあるＮ２個の発声者グループ、および、個別アーティストのＮ３個の発声者に対するＮ（＝Ｎ１＋Ｎ２＋Ｎ３）個の基準シンボル推定辞書である請求項１〜７のいずれかに記載のテキスト表示用同期情報生成装置。
【請求項９】
上記テキストの上記部分テキストはテキスト行であり、上記表示タイミング決定手段は、上記テキスト行ごとに表示タイミングを決定し、上記テキスト行ごとの上記表示タイミングを記述したＬＲＣファイルを出力する請求項１〜８のいずれかに記載のテキスト表示用同期情報生成装置。
【請求項１０】
テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成方法において、
発音特徴ラベルスコア生成手段が、上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力するステップと、
マッチング用基準シンボル列生成手段が、上記音声信号セグメントの時間遷移に基づいて上記発音特徴ラベルスコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するステップと、
マッチング手段が、上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるステップと、
表示タイミング決定手段が、上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定するステップとを有することを特徴とするテキスト表示用同期情報生成方法。
【請求項１１】
テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するためのテキスト表示用同期情報生成用コンピュータプルグラムにおいて、
コンピュータを、
上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段、
上記音声信号セグメントの時間遷移に基づいて上記発音特徴ラベルスコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段、
上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段、および、
上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段
として実現させるために使用されるテキスト表示用同期情報生成用コンピュータプログラム。
【請求項１２】
音声信号を入力する音声信号入力装置と、ＣＰＵとを有し、テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置において、
上記ＣＰＵが、
上記音声信号入力装置から入力した上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力し、
上記音声信号セグメントの時間遷移に基づいて生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生し、
上記テキストに基づく第２のマッチング用基準シンボル列を、上記複数の基準シンボル推定辞書を参照してそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けし、
上記音声信号に対応するテキストデータに基づく第２のマッチング用基準シンボル列を、上記複数の上記第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングし、
上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定するように構成されるテキスト表示用同期情報生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、テキスト表示用同期情報生成技術および音声認識技術に関し、より具体的には、歌詞および楽曲の間の同期情報を生成する歌詞用同期情報生成技術に関する。
【背景技術】
【０００２】
音響データを再生する際に、これに関連するテキストを音響データの再生に同期させて表示させたい場合がある。例えば、楽曲コンテンツの再生に際してその音声部分に同期させて歌詞部分を表示またはハイライト表示することがある。また、ビデオコンテンツの再生に際して、音声部分に同期させてスクリプト（セリフ部分）を表示するという要請もある。
【０００３】
ところで、楽曲データと歌詞データとが関連付けられた状態でコンテンツとして流通していない場合には、そのままでは、楽曲データの再生に同期させて歌詞を表示させることができず、このような場合には、歌詞用同期情報が別途必要になる。このような同期情報のデファクトスタンダードとして歌詞同期フォーマットＬＲＣが知られている（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＬＲＣ＿（ｆｉｌｅ＿ｆｏｒｍａｔ））。図１（Ａ）は歌詞同期フォーマットＬＲＣに準拠したファイル（この歌詞はコンピュータで自動生成した著作権フリーのもの）を示しており、楽曲信号の開始からの経過時間（タイムスタンプ）と、歌詞テキストの各表示行とが対応付けられて記述されている。タイムスタンプは、例えば、対応する表示行を歌い始める時刻を表示する。図１（Ｂ）は歌詞カードテキストの例を示す。このような歌詞同期情報を生成するには、作業者が楽曲を再生・視聴しながら、各行の歌いだしのタイミングで、所定の操作を行って各行にタイムスタンプを関係づけ、同期情報ファイル、例えばＬＲＣファイルを生成するといった手作業での処理がおこなわれていた。しかしながら、作業者がＬＲＣファイルを生成するには、基本的には、楽曲の演奏をすべて聞く必要があり、煩雑である。人手によることなく、機械的に同期情報を生成することが望まれる。
【０００４】
また、機械的な同期情報の生成に一般的な音声認識エンジンを用いることも考えられる。しかしながら、一般的に歌手の歌唱はそれぞれの表現スタイルによって通常の会話とは違う発音表現を行う。例えば「わたし」を「ぅわとぁすぃ」と２重母音的に発音をデフォルメしたり、「こころ」を「ぁここぅろ」のように枕音を置いたりする表現を指す。これらは歌手の独自のパフォーマンスであり、多くの楽曲において存在する。一般的な音声認識エンジンでは、これらの表現をそのままの音として捉え、誤認識してしまうという問題点がある。
【０００５】
なお、特許文献１は、小型ディスプレイの処理装置を利用して同期情報を生成する際に、歌詞テキスト（歌詞カード）の各行をその小型ディスプレイのサイズに収まるように各行を１または複数の文節からなる表示単位に分割し、そのうえで、表示単位にタイムスタンプを割り当てていくことを開示している。
【０００６】
なお、本発明は、上述の事情または以下の課題により限定的に理解されるべきでなく、その内容は特許請求の範囲に規定され、以下に実施例を用いて詳細に説明される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２２７０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
この発明は上述の事情等を考慮してなされたものであり、機械的に同期情報を生成し、または機械的に音声認識を行い、しかも、歌唱者または話者のくせ、演技のスタイル、方言等による問題を抑制することを目的としている。
【課題を解決するための手段】
【０００９】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【００１０】
この発明の一側面によれば、上述の目的を達成するために、テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置を：上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段と；上記音声信号セグメントの時間遷移に基づいて上記発音記号スコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段と；上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段と；上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段とを有するように構成している。
【００１１】
この構成によれば、テキストに基づくマッチング用基準シンボル列を、複数のマッチング用基準シンボル列に横断的にマッチングさせるようにしているので、マッチングを成功裏に行って部分テキストの表示タイミングを生成することができる。
【００１２】
この構成において、上記テキストデータは、上記音声信号に対応する歌詞テキストに基づいたもので良い。
【００１３】
また、この構成において、上記テキストデータは日本語テキストに基づくものであり、上記マッチング用基準シンボルは、かな文字（ひらがなやカタカナ）、ローマ字表記であって良い。表音文字の言語においては、ひろく、表音文字をマッチング用基準シンボルとして良い。
【００１４】
また、この構成において、上記テキストデータは英語テキストに基づくものであり、上記マッチング用基準シンボルは単語単位のレベルで表記されたものであって良い。単語レベルの単位を構文要素として使用できる任意の言語、スペイン語、フランス語、ドイツ語、ポルトガル語、ロシア語等にも適用可能である。
【００１５】
また、この構成において、上記第１のマッチング用基準シンボル列に含まれる個々のマッチング用基準シンボルは、上記音声信号に対する尤度をそれぞれ伴い、上記マッチング手段は、尤度の大きさの順にＲ（Ｒは２以上の整数）個のマッチング用基準シンボルをマッチング対象として良い。
【００１６】
また、この構成において、上記発音記号は音素片ラベルであって良い。
【００１７】
また、この構成において、上記複数の基準シンボル推定辞書は、機械学習により適合化されて良い。
【００１８】
また、この構成において、上記複数の基準シンボル推定辞書は、一般的なＮ１個の発声者グループ、癖のあるＮ２個の発声者グループ、および、個別アーティストのＮ３個の発声者に対するＮ（＝Ｎ１＋Ｎ２＋Ｎ３）個の基準シンボル推定辞書であって良い。
【００１９】
また、この構成において、上記テキストの上記部分テキストはテキスト行であり、上記表示タイミング決定手段は、上記テキスト行ごとに表示タイミングを決定し、上記テキスト行ごとの上記表示タイミングを記述したＬＲＣファイルを出力して良い。
【００２０】
また、この発明の他の側面によれば、上述の目的を達成するために、テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置を：上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段と；上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段と；上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段とを有するように構成している。
【００２１】
この構成によれば、テキストに基づくマッチング用基準シンボル列を、複数のマッチング用基準シンボル列に横断的にマッチングさせるようにしているので、マッチングを成功裏に行って部分テキストの表示タイミングを生成することができる。
【００２２】
また、この発明の他の側面によれば、上述の目的を達成するために、テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置を：上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段と；上記音声信号セグメントの時間遷移に基づいて上記発音記号スコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、基準シンボル推定辞書を参照して、第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段と；上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段と；上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段とを有するように構成している。
【００２３】
この構成によれば、複数の発音特徴ラベルスコアの時間遷移に基づいてマッチング基準シンボルを推定してマッチング基準シンボル列を生成しているので、言語に制約されずに、音声に基づくマッチング基準シンボル列をテキストに基づくマッチング基準シンボル列にマッチングさせることができ、言語に制約されずにテキスト部分の表示タイミングを生成することができる。
【００２４】
また、この構成において、上記マッチング基準シンボルは日本語のかな文字であって良い。
【００２５】
また、この構成において、上記マッチング基準シンボルは、単語単位のレベルで表記されたものであって良い。
【００２６】
また、この発明のさらに他の側面によれば、音声認識装置が：音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段と；上記音声信号セグメントの時間遷移に基づいて上記発音記号スコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、音声認識単位推定辞書を参照して音声認識単位を順次に出力する音声認識単位出力手段とを有するように構成している。
【００２７】
この構成によれば、複数の発音記号スコアの時間遷移に基づいて音声認識単位を推定してので、言語種類に制約されずに音声認識を行うことができる。
【００２８】
また、この構成において、上記音声認識単位は日本語のかなであって良い。
【００２９】
また、この構成において、上記音声認識単位は、単語単位のレベルで表記されたものであって良い。
【００３０】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品（コンピュータプログラム、コンピュータ可読記録媒体）もこの発明の技術的な範囲に含まれることも当然である。
【００３１】
この発明の上述の側面および他の側面は特許請求の範囲に記載され、以下、実施例等を用いて詳述される。
【発明の効果】
【００３２】
この発明によれば、音声信号にテキスト部分を同期させる同期情報を機械的かつ確実に生成することができ、また、音声認識を行うこともできる。
【図面の簡単な説明】
【００３３】
【図１】歌詞同期フォーマットＬＲＣおよび歌詞カードテキストの例を説明する図である。
【図２】この発明の実施例１の同期情報生成装置１０００の構成例を説明するブロック図である。
【図３】図２の同期情報生成装置１０００を実装するコンピュータシステム３００を説明する図である。
【図４】図２の同期情報生成装置１０００の動作例を説明するフローチャートである。
【図５】テキスト、および、これから生成された基準シンボル（ひらがな）列の例を示す図である。
【図６】図２の発音記号スコア生成部１０５１の発音記号空間を模式的に説明する図である。
【図７】図２の発音記号スコア生成部１０５１で用いる発音記号抽出フィルタ装置１０５５を説明する図である。
【図８】図７の発音記号抽出フィルタ装置１０５５の動作例を説明する図である。
【図９】図７の発音記号抽出フィルタ装置１０５５１で生成される発音記号の変化量デシベルの例を模式的に説明する図である。
【図１０】発音記号スコアの出力例を説明する図である。
【図１１】図２の基準シンボル推定部１０５２の機械学習例を説明する図である。
【図１２】図２の基準シンボル推定部１０５２の出力動作例を説明する図である。
【図１３】図２の基準シンボル選択部１０５３によって第１基準シンボル列を選択する例を説明する図である。
【図１４】図２の基準シンボル選択部１０５３によって選択された第１基準シンボル列を第２基準シンボル列にマッチングする例を説明する図である。
【図１５】図２の実施例の運用例を説明するフローチャートである。
【図１６】図２の実施例の運用例を説明するフローチャートである。
【図１７】同期情報抽出の具体例を模式的に説明する図である。
【図１８】英語の音声に適用した例を説明する図である。
【図１９】英語の音声に適用した例を説明する図である。
【図２０】英語の音声に適用した例を説明する図である。
【図２１】この発明の実施例２の同期情報生成装置２００の原理的な構成例を説明するブロック図である。
【図２２】図２１の同期情報生成装置２００の動作例を説明する図である。
【図２３】図２１の同期情報生成装置２００で用いる発音記号の例を説明する図である。
【図２４】発音記号のカナ確率テーブルを説明する図である。
【図２５】テキストのカナと発音記号（タイムスタンプ）とのマッチングを説明する図である。
【図２６】この発明を音声認識に適用した実施例３を説明する図である。
【発明を実施するための形態】
【００３４】
以下、この発明の実施例について説明する。まずこの発明の実施例１に従う同期情報生成装置１０００について説明する。この同期情報生成装置１０００は、楽曲データと歌詞テキストデータとの間の同期情報を生成するものであり、典型的には先に図１を参照して説明したＬＲＣフォーマットのファイルを生成するものである。
【００３５】
図２は、この発明の実施例１に従う同期情報生成装置１０００の原理的な構成例を示している。同期情報生成装置１０００は、楽曲音響データと歌詞カードのテキストデータとを参照してＬＲＣファイルを自動的に作成するものである。楽曲は日本語ベースのものであり、楽曲音響データのボーカル音声信号と歌詞カードのテキストデータとが、かな文字（ひらがな）のレベルでマッチングされ、このマッチングの結果、歌詞カードのテキストデータとボーカル音声信号（楽曲音響データ）の時刻情報とが対応付けられ、この対応付けに基づいてＬＲＣファイルを生成する。マッチングに用いるシンボル（トークンともいう、例えば、かな文字）を以下ではマッチング用基準シンボルまたは単に基準シンボルと呼ぶ。ボーカル音声信号に由来する基準シンボル列を第１基準シンボル列と呼び、歌詞カードのテキストデータに由来する基準シンボル列を第２基準シンボル列と呼ぶ。
【００３６】
この同期情報生成装置１０００は、日本語に限定されず、種々の言語に適用可能である。英語等、単語区切りを伴う言語に適用する場合、基準シンボルは、例えば、大文字、小文字の別や特殊記号を捨象した単語であってよい。この例では、歌詞用同期情報生成について説明するけれども、これに限定されない。
【００３７】
この実施例においては、、ボーカル音声信号に由来する第１基準シンボル列を複数列生成させて、歌詞カードのテキストに由来する第２基準シンボル列を複数の第１基準シンボル列に横断的にマッチングさせて良い。第１基準シンボル列をそれぞれ生成する複数の第１基準シンボル生成プロセスまたはモジュールは、それぞれ特定の発声者（話者）または特定の発声者（話者）グループに機械学習によって適合可能に構成されて良い。
【００３８】
また、この実施例では、音声信号を時間軸に沿って分割して一連の音声信号セグメント（例えば約０．５ｍＳ）を生成し、これら音声信号セグメントの各々に対して、複数の発音記号ごとに当該発音記号の音響成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音記号の音響成分である尤度をスコアとして生成し、複数の発音記号についてスコアを出力し、当該スコアの組（ここでは発音記号スコアベクトルまたは発音記号空間情報ともいう）の時間的遷移に基づいてマッチング用基準シンボル、例えばかな文字を推定して識別するようにしている。発音記号（発音特徴ラベルともいう）は、発音特徴のカテゴリを指し、後に図１９に示すような音素単位（母音、子音）の発音記号でも良く、音素片（Ｄｅｍｉｐｈｏｎｅｍｅ）単位の発音記号であっても良い。音素片単位の発音記号としては、「音声の音素片ネットワーク表現と時系列のセグメント化法を用いた自動ラベリング手法」（日本音響学会誌４２巻１１号（１９８６）、以下、日本音響学会論文ともいう）の音素片ラベルを用いて良い。音素単位の発音記号は、国際音声記号（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｐｈｏｎｅｔｉｃ  Ａｌｐｈａｂｅｔ）に準拠した発音記号（そのサブセットを含む）を用いて良い。
【００３９】
音声信号セグメントのサンプリング期間長は固定でもよく、可変長でも良い。可変長の場合には、周波数スペクトラムの切れ目を抽出してサンプリング区切りを決定して良い。音声信号セグメントの継続期間は約０．５ｍＳであるけれども、これに限定されない。音素の継続期間は例えば６０〜８０ｍＳであるけれども、これに限定されない。
【００４０】
この実施例の具体的な実装においては、後に詳述するように、複数の音響フィルタシステムが準備され、個々の音響フィルタシステムが１個の発音記号に対応付けられ、対応する発音記号の音声特徴で入力音声信号を強調するように構成されている。個々の音響フィルタシステムは、入力音声信号が、当該音響フィルタシステムに対応付けられた発音記号の音声特徴をどの程度含むかに基づいて、その程度に応じた出力を発生させる。入力音声信号が所定の音響フィルタシステムの発音記号に該当する場合には当該音響フィルタシステムからもっとも大きな出力が生じる。複数の音響フィルタシステムが強調する発音記号のセットは、先の日本音響学会論文の発音記号、国際音声学会の発音記号のような、既存の発音記号のセットまたはサブセットと厳密に合致するように選択されてもよいし、フィルタ装置の調整に応じて若干ずれるものであっても良いし、まったく独自のものであってもよい。のちに図１９を参照して説明する発音記号のセットであっても良い。
【００４１】
音響フィルタシステムは例えばレゾナンスフィルタであり、レゾナンスフィルタは複数のノッチフィルタ要素を含んで構成されて良い。
【００４２】
複数の音響フィルタシステムが発生させる出力は、対応する発音記号の音声特徴成分を入力音声信号が含む尤度として把握可能である。出力は、例えば、０〜１のスコアとして表せる。
【００４３】
音声信号セグメントに対して生成される複数個（ｑ個、ｑは２以上の整数、典型的には数十または数百のオーダ）の発音記号のスコアは、ｑ個の発音記号がなすｑ次元の空間（以下ではこれら空間を発音記号空間ともいう）における、音声信号セグメントの音声特徴を定義する。この実施例では、このような発音記号空間における音声信号セグメントの音声特徴の時間的遷移に基づいて基準シンボル（ひらがな）を決定するようにしている。これについては後に説明する。
【００４４】
図２は、この実施例の同期情報生成装置１０００を全体として示しており、この図において、同期情報生成装置１０００は、楽曲音響データファイル入力部１０、歌詞テキストデータファイル入力部２０、ボーカル音声信号抽出部３０、時間情報抽出部４０、第１基準シンボル列生成部１０５０、表示単位行分割部１１０、第２基準シンボル列生成部６０、基準シンボル列マッチング部１０７０、テキストマッチング部８０、ＬＲＣファイル生成部９０、ＬＲＣファイル記憶部１００等を含んで構成されている。
【００４５】
この例では、同期情報生成装置１０００は、典型的には、１つのコンピュータシステム３００によって構成されるけれども、複数のコンピュータシステムや、種々のネットワークシステムを有して構成されて良い。コンピュータシステム３００の一部をスマートフォン等の情報端末で構成して良い。コンピュータシステム３００は、典型的には、図３に示すように、ＣＰＵ３０１、主メモリ３０２、バス３０３、補助記憶装置３０４、種々の入出力インタフェース３０５等を有してなり、パーソナルコンピュータ、スマートフォン、情報家電機器等であって良い。同期情報生成装置１０００は、例えば、コンピュータ可読記録媒体３０６（図２）に記録されたコンピュータプログラムや通信ネットワーク（図示しない）を介して送信されてくるコンピュータプログラムをコンピュータシステム３００にインストールすることにより実現される。同期情報ファイルはＬＲＣファイル記憶部１００に蓄積され、携帯端末等の外部装置４００（図２）からアクセス可能であって良い。外部装置４００が楽曲音響データおより歌詞テキストデータを同期情報生成装置１０００にアップロードし、これに応じて同期情報生成装置１０００が生成した同期情報ファイルを取得して良い。楽曲音響データファイル入力部１０や歌詞テキストデータファイル入力部２０は、外部装置として構成して良い。
【００４６】
図２において、第１基準シンボル列生成部１０５０は、発音記号スコア生成部１０５１、基準シンボル推定部１０５２、および基準シンボル選択部１０５３を有する。発音記号スコア生成部１０５１は、当該音声信号セグメントが発音記号の音声特徴成分を伴う尤度を示す発音記号スコアを発音記号ごとに生成し、各発音記号のスコアを要素とする発音記号スコアベクトルを生成し、これを音声信号セグメントの時間情報（ｔｉｍｅ）に関連付けて出力することができる。基準シンボル推定部１０５２は、発音記号スコア生成部１０５１から順次に出力される発音記号スコアベクトルの時系列に基づいて、Ｎ個（Ｎは２以上の整数）の推定辞書１０５４１〜１０５４Ｎの各々を参照して、推定辞書１０５４１〜１０５４Ｎの各々に対して基準シンボル、そのスコア、および時間情報を生成し、一連の音声信号に対してそれぞれ基準シンボル列を出力することができる。基準シンボル推定部１０５２は、推定辞書１０５４１〜１０５４Ｎの１つを参照して１つの基準シンボル列を生成して良く、また、Ｎ個の推定辞書１０５４１〜１０５４Ｎをそれぞれ参照してＮ個の基準シンボル列を生成して良い。基準シンボル選択部１０５３は、優先的に１つの基準シンボル列を受け取ってそのまま出力し（図１３）、あるいは、Ｎ個の基準シンボル列を受け取って、典型的には、所定の評価値を算出して全体として尤度が大きな順にＲ（Ｒは正の整数、ただしＲ≦Ｎ）個の基準シンボル列を一連の音声信号に対して選択して出力する（図１７、ステップＳ３０３）。例えば、基準シンボル選択部１０５３は、利用状況に応じて、典型的には、所定の１つの推定辞書が発声者に適切に適合されていると考えられるときには、当該１つの推定辞書によって推定される１つの基準シンボル列のみ出力して良い。この場合、それ以外の推定辞書については推定処理を行わなくて良い。第１基準シンボル列は表示単位行分割部１１０によって表示単位またはハイライト単位の部分列に分割される。基準シンボル列マッチング部１０７０は、第１基準シンボル列生成部１５０から出力され、表示単位行分割部１１０で部分列に分割された、典型的にはＲ個の基準シンボル列を、第２基準シンボル列生成部６０から出力された第２基準シンボル列に最適なマッチング経路を選択するようにマッチングさせる。基準シンボル列マッチング部１０７０は、マッチング結果にもとづいて第２基準シンボル列を部分列に分割し、これら部分列に時間情報を付与する。第１基準シンボル列が１つの場合には時間軸を伸縮させてマッチングを行えばよい。こののち、テキストマッチング部８０がテキストデータと第２基準シンボル列（部分列）とをマッチングさせ、このマッチング結果に基づいてテキストデータの部分テキスト（テキスト行）に時間情報が関連付けられる。ＬＲＣファイル生成部１００は、時間情報が関連付けられたテキストデータからＬＲＣファイルを生成する。
【００４７】
この実施例においては、基準シンボルとして、ひらがなを用いているが、実際には、基準シンボルは個々の発話単位にユニークに割り当てられた単語でも良い。発音記号にラベリングする手法例としては、先の先の日本音響学会論文の音素片ラベルを用いて良い。また、時系列情報を扱う機械学習の手法としては、例えば深層学習のＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）があるけれども、方法はこれらに限定されない。正解データを使った機械学習済みモデルを用いることで、入力された発音記号空間に関する情報の時系列遷移に対応して基準シンボルの候補がその確からしさを示すスコア値とともに抽出される。
【００４８】
なお、この実施例において、発音記号スコアベクトルの時間遷移に基づいて１つまたは複数の発声セグメントが１つの基準シンボルとして判定される。Ｎ個のグループごとの基準シンボル列の時間タイミングが同じになるとは限らない。例えば、所定の継続時間におけるスコアの大きさに基づいて上位の７つの基準シンボル列を並べると、例えば、図１４のようになる。
【００４９】
基準シンボル列マッチング部１０７０は、図１４に示すような態様で、テキストの基準シンボル列（太字で示す）と音声信号の基準シンボル列（Ｒ個）とを動的にマッチングさせる。この例では、テキストから「このたびは・・・」という基準シンボル列が生成され、第１基準シンボル列生成部１０５０から時刻ｔ−１、ｔ−２、ｔ−３、・・・、ｔ−１０に沿って基準シンボルが順次に生成されてくる。この例では、太字で示すパスにそって、マッチングが行われる。
【００５０】
図４は、図２に示される同期情報生成装置１０００の動作例の概要を説明するものである。
【００５１】
図２および図４において、楽曲音響データファイル入力部１０は、音響信号をＭＰ３、ＭＰ４等のフォーマットで記録したファイルを入力するものである（図４、ステップＳ１０）。歌詞テキストデータファイル入力部２０は、歌詞テキスト（歌詞カードテキストともいう）を記録したファイルを入力するものである（図４、ステップＳ１１）。
【００５２】
ボーカル音声信号抽出部３０は、楽曲信号から音声信号（ボーカル信号、ボイス信号）を抽出するものである（図４、ステップＳ１２）。ボーカル音声信号抽出部３０は、楽曲信号から抽出した音声信号（ボーカル信号、ボイス信号）を、時間情報抽出部４０に供給する。時間情報抽出部４０は、音声信号を時間軸に沿ってサンプリング周期の音声信号セグメントに順次に分割し、例えば曲の開始からの経過情報を示す時間情報（タイムスタンプ）を各音声信号セグメントに付与する（図４、ステップＳ１３）。時間情報抽出部４０は時間情報付きの音声信号セグメントを第１基準シンボル列生成部１０５０に供給する。
【００５３】
第１基準シンボル列生成部１０５０は、先に説明したように、発音記号スコア生成部１０５１、基準シンボル推定部１０５２、および基準シンボル選択部１０５３を含んで構成されている。発音記号スコア生成部１０５１は、時間情報付きの音声信号セグメント（ボーカル信号、ボイス信号）を受け取って、後述する発音記号空間に準拠して、予め定められた所定数（ｑ個、ｑは正の整数）の発音記号の各々について、音声信号セグメントがそれら発音記号の音響成分を含む尤度をスコアとして生成し、ｑ次元のスコアベクトルを時間情報と関連付けて出力する（図４、ステップＳ１１４）。発音記号は、発音特徴のカテゴリを指し、音素片（Ｄｅｍｉｐｈｏｎｅｍｅ）単位の発音因子であって良い。音素片単位の発音記号としては、先に述べた先の日本音響学会論文の音素片ラベルを用いて良い。後に参照する図２３に示すような音素単位（母音、子音）の発音記号でも良い。
【００５４】
発音記号スコア生成部１０５１からの時間情報付きの発音記号スコアベクトルが基準シンボル推定部１０５２に供給され、基準シンボル推定部１０５２は、Ｎ個の推定辞書１０５４のうちの１つを参照して、またはＮ個の推定辞書１０５４の各々を順次に参照して、発音記号スコアベクトルの時間遷移に応じて基準シンボルを推定し、推定基準シンボル、推定スコアおよび時間情報を出力する（図４、ステップＳ１１５）。基準シンボル推定部１０５２は、一連の音声信号に対して１個の基準シンボル列またはＮ個の基準シンボル列を出力できる。
【００５５】
基準シンボル選択部１０５３は、基準シンボル推定部１０５２から単一の基準シンボル列（スコアおよび時間情報を伴う）のみが出力される場合にはそれをそのまま基準シンボル列マッチング部１０７０に供給し、基準シンボル推定部１０５２からＮ個の基準シンボル列（スコアおよび時間情報を伴う）が出力される場合には、当該Ｎ個の基準シンボル列を受け取って、例えば、所定のひとまとまりの発声期間にわたってスコアを評価して評価値が大きな順にＲ個の基準シンボル列を選択して基準シンボル列マッチング部１０７０に供給する。なお、基準シンボル選択部１０５３は、Ｎ個の基準シンボル列を受け取ったときに、音声信号セグメントごとに、スコアが大きな順にＲ個の基準シンボルを選択してＲ個の基準シンボル列を出力しても良い。第１基準シンボル列生成部１０５０（基準シンボル選択部１０５３）から出力されるＲ個の基準シンボル列は、例えば図１４に示すようなものである。図１４の例ではＲは７である。各音声信号セグメントについてＲ個の基準シンボルがスコアの大きさに基づいてソートされていて良い。ただし、複数の継続する音声信号セグメントの発音記号が同じ場合には、それらをひとまとめにすることが好ましい。
【００５６】
表示単位行分割部１１０は、音響再生時に、一時に、表示またはハイライトされる表示単位の行を決定するものである。表示単位は、息継ぎで区切らせる区間を１つまたは複数個結合して所望のルールに基づいて決定されて良い。１つの具体的なルール例は、これに限定されないが、最大文字数が予め定めた数、例えば１８文字であるというものである。この実施例では、第１基準シンボル列生成部１０５０からの第１基準シンボル列が表示単位行分割部１１０によって表示単位行ごとの基準シンボル部分列に分割される（図４、ステップＳ１６）。分割は分離記号（例えば改行コード）を付加することにより実行して良い。表示単位行分割部１１０は、代替的には、歌詞テキストデータまたは第２基準シンボルデータを部分行単位で分割するように設けて良い。
【００５７】
他方、歌詞テキストデータファイル入力部２０は、テキスト、例えば歌詞テキストを入力するものである（図４、ステップＳ１１）。テキストは第２基準シンボル列生成部６０およびテキストマッチング部８０に供給する。第２基準シンボル列生成部６０は、テキストデータ（図５（Ａ））から基準シンボル列（ひらがな列。図５（Ｂ））を生成する（図４、ステップＳ１７）。第２基準シンボル列生成部８０からの第２基準シンボル列は基準シンボル列マッチング部１０７０に供給されて、第１基準シンボル列生成部１０５０からの１個の第１基準シンボル列、またはＲ個の第１基準シンボル列と動的にマッチングされる（図４、ステップＳ１１８）。第２基準シンボル列をＲ個の第１基準シンボル列にマッチングする例は、図１４に太字で示されるようなものである。このマッチングによって第２基準シンボル列に第１基準シンボル列の時間情報が付与される。時間情報が付与された第２基準シンボル列はテキストマッチング部８０に供給される。
【００５８】
テキストマッチング部８０は、時間情報付きの第２基準シンボル列をテキストデータにマッチングさせ、テキストデータに、部分行単位で、時間情報を付与する（図４、ステップＳ１９）。ＬＲＣファイル生成部９０は部分行単位で時間情報が付与されたテキストデータを受け取ってＬＲＣファイル（図１（Ａ））を生成する（図４、ステップＳ２０）。これはＬＲＣファイル記憶部１００に記憶されて良い。
【００５９】
図６は発音記号空間を模式的に説明するものである。図２の実施例おいては、音声信号セグメントが、発音記号のセットにより定義される発音記号空間においてどのような尤度で分布するかを調べ、この発音記号空間における分布が、継続的な音声信号セグメントにおいてどのように遷移するかを測定し、その測定結果に基づいて、基準シンボル（発声トークンともいう。かな文字または単語）を推定するものである。
【００６０】
図６（Ａ）に示すように、発音は、声帯・唇・歯・歯茎・口蓋・口蓋垂・舌・咽頭などの発声器官の状態に応じて異なる発音特徴を伴う。音声信号を音響処理（フィルタリング）により多様な発音矯正を行い、発音記号ごとの重み（スコア）を抽出する。図６（Ｂ）に模式的に示すように、音声信号セグメント例に対して各発音記号に対して強調を行うと、発音記号「ｕ」対して「＋４．２」の変化量（デシベル）が得られ、発音記号「ｏ」に対して「＋２．６」の変化量が得られ、他の発音記号に対しても同様に変化量が得られる。図５（Ｂ）に示さない発音記号についても同様に変化量が得られる。この変化量は、元の入力信号レベルに対して発音強調を行うことによりどれだけ変動があったかを示す。この例では、強調後の信号レベル（電力）を強調前の信号レベルで割ったもののデシベル表示であるけれどもこれに限定されない。変化量（デシベル）が大きいほど尤度が大きいと判断でき、この変化量は変換テーブルに基づいて０〜１のスコア（尤度）に変換される（１に近づくほど一致度が高い）。発音記号空間のスコアによって音声信号セグメントがどのような音響成分を有しているかを表示できる。なお、スコアの大きい発音記号以外は無視して近似的な扱いを行って良い。典型的には、スコアベクトルに対して、スコアの大きい順に所定数のベクトル要素を有効にし、他のスコアが小さなベクトル要素はゼロまたはヌルにして良い。
【００６１】
図７（Ａ）および（Ｂ）は、発音記号空間に準拠して音声信号セグメントの音響特徴を記述する発音記号スコアベクトルを生成する発音記号スコア生成部１０５１の構成例を示す。図７（Ａ）および（Ｂ）において、発音記号スコア生成部１０５１は、Ｍ個（正の整数、例えば６４個）の発音記号抽出フィルタ装置１０５５１、１０５５２、・・・、１０５５Ｍを含む。発音記号抽出フィルタ装置１０５５１〜１０５５Ｍの各々は、Ｐ（正の整数、例えば５１２個）個の音響フィルタシステム１０５６を有する。音響フィルタシステム１０５６は例えばレゾナンスフィルタである。音響フィルタシステム１０５６の各々において、複数のノッチフィルタのフィルタ調整を例えば３つのレベルで設定して、所定の発音記号の強調を行うようになっている。発音記号抽出フィルタ装置１０５５１〜１０５５ＭのＰ個の音響フィルタシステム１０５６の各々は、発音記号の各々に対応し、対応する発音記号の音声特徴の音声信号が入力されたときに最も大きなフィルタ出力値を生成するように、フィルタ調整を行うようになっている。音響フィルタシステム１０５６の入力および出力は対応するレベル検出器１０５７に供給され、レベル検出器１０５７は電力の変化量を検出して（図６（Ｂ）、図９に模式的にデシベルで示す）、これに基づいて変換テーブルを参照して、入力された音響信号（音声信号セグメント）が、当該音響フィルタシステム１０５６に対応する発音記号である尤度をスコア値として出力する。レベル検出器１０５７からのスコア値は上位発音記号特定部１０５８に送られ、スコアの大きさに基づいて大きい順にＫ（Ｋは正の整数、Ｋ≦Ｐ）個のスコアが出力され、小さなスコアは無視されて良い（ゼロまたはヌルとして良い）。発話記号抽出フィルタ装置１０５５１〜１０５５Ｍからは、（Ｍ×Ｋ）個の時刻、発音記号、スコアの組が出力される。このように発音記号スコア生成部１０５１からはｑ次元のスコアベクトル（ゼロまたはヌルの要素を含む）および時間情報が生成され、出力される。
【００６２】
図８は発音記号スコア生成部１０５１をさらに説明するものである。図８に示すように、発音記号スコア生成部１０５１は、（Ｐ×Ｍ）個の発音矯正用強調フィルタパラメータによって管理・設定される。発音記号スコア生成部１０５１はＭ個の発音記号抽出フィルタ装置１０５５を有し、発音記号抽出フィルタ装置１０５５の各々はＰ個の音響フィルタシステム１０５６を有し（図７）、全体で（Ｐ×Ｍ）個のフィルタパラメータが個別に設定される。発音記号抽出フィルタ装置１０５５の各々は、時間ｔ（ｔ−１、ｔ−２、ｔ−３、・・・）に沿ってセグメント分割された音声信号（ｔｉｍｅ、ｖｏｉｃｅ）に対し、それぞれＰ個の対応する発音記号のスコアを時間情報に関連付けて生成し、そのうちの上位のＫ個を出力する。図９は、発音記号スコア生成部１０５１の発音記号の各々に対応する音響フィルタシステム１０５６で生成される電力のデシベルを模式的に示す。発音記号抽出フィルタ装置１０５５１から、音声信号セグメントごとに、上位準拠で選定した（Ｍ×Ｋ）個の発音記号のスコアが出力される。
【００６３】
図１０は、発音記号抽出フィルタ装置１０５５１〜１０５５Ｍから出力される発音記号のスコアの出力例（もっともスコアの大きいもののみ）を示す。発話記号は、Ａ［Ｂ］で表され、「Ａ」は、対象となるサンプリング期間の音響特特徴を示し、「Ｂ」はつぎのサンプリング期間の音響的特徴を示して良い。
【００６４】
図１１は、基準シンボル推定部１０５２の推定辞書の機械学習を説明する。図２および図４にも説明したように、基準シンボル推定部１０５２は、発音記号スコア生成部１０５１（発音記号抽出フィルタ装置１０５５）によって各音声信号セグメントに対してその発音記号空間情報に対応して出力される発音記号スコアベクトルを、その連続性を考慮して時系列分析処理を行い、対応する基準シンボルを求める。この実施例においては、基準シンボルを推定するための準備として、発音記号空間情報の連続性と基準シンボルとの関連性を機械学習の手法を用いてモデル化する。具体的には、図１１に示されるように、事前に正しい情報の組み合わせであるとわかっている、音声データと同期対象のテキストデータのペアを教師データとして入力して（Ｓ３０、Ｓ３１）、機械学習モジュールで学習を行う。実際には音声信号セグメントを図４のステップＳ１１４で取得した発音記号スコアベクトル（発音記号空間情報）と、テキストデータを図４のステップＳ１６で基準シンボルに変換したデータとのペアを教師データとする（Ｓ３２、Ｓ３３、Ｓ３４））。学習した発音空間モデルは推定辞書１０５４に保持される。
【００６５】
なお、ここで、言語を発話する際の最小文字単位（日本語ではひらがな、カタカナ等）に対して漢字や特別の意味を持って発話される記号のように複数の最小文字単位で表現される文字列を含むテキストの場合には、言語の発話する際の最小文字単位を表す基準シンボルを介する必要がある。時系列情報を扱う機械学習の手法としては、上述のとおり、例えば深層学習のＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を採用して良いけれども、これに限定されない。正解データを使った機械学習済みモデルを用いることで、入力された発話空間情報の時系列の特徴に対応する基準シンボルの候補が確からしさを示すスコア値とともに抽出される。
【００６６】
複数の教師データセットを用いてＮ個の推定辞書を機械学習により生成できる。すなわち、図１１に示す機械学習処理フローに対して、歌手の歌い方の特徴グループごとの教師データセットを使って、複数の学習済みモデルを生成する。このグループ単位の教師データを準備するにあたっては、まず、歌手の歌い方の特徴（くせ）の違いごとにＮグループにグルーピングする。例えば、しゃがれた声、こもりがちな声、「し」や「ひ」といった特定の発話レベルが低い、北米南部の訛りのように特定のワードの発話が一般的ではないなどでグルーピングをおこなう。実施例としては、以下のように複数のタイプを持っている。
Ｇ１：一般的グループ（グループ数  ｎ１）
Ｇ２：癖ありグループ（グループ数  ｎ２）（歌い方に特徴のある歌手）
Ｇ３：個別アーティスト（グループ数  ｎ３）
グループ総数Ｎ＝ｎ１＋ｎ２＋ｎ３
このように分類されたグループ単位で、機械学習処理を行い、グループごとの学習済みモデルを作成する。これらのグループごとの学習済みモデルを集めたものを基準シンボル推測データベース（推定辞書）として管理する。
【００６７】
図１２は、未知の音声データに対する動作例を示す。図１２および図２において、推定辞書１０５４として図１１に示す学習処理によってＮ個のグループに対して学習した学習済みの発音記号空間モデルを用いる。各音声信号セグメントについて、発音記号スコア生成部１０５１によって時間情報を関連付けられた発音記号ベクトルが生成され（Ｓ３５、Ｓ３６）、学習済みの発音記号空間モデル（推定辞書１０５４）を参照して基準シンボル候補およびそのスコアが推定される（Ｓ３７）。基準シンボル候補はＮ個のグループ（Ｎ個の推定辞書１０５４）ごとにＮ個出力されてよい。基準シンボル選択部１０５３は、図１４に示すように、Ｎ個の時間情報、基準シンボル、スコアの組を、例えば、所定の評価値に基づいて選択して１個またはＲ個出力して良いけれども、これに限定されない。スコアは基準シンボルが発声される確からしさを示す。
【００６８】
図１３は、第１基準シンボル列生成部１０５０の動作例を、基準シンボル選択部１０５３を中心に説明する。図１３において、第１基準シンボル列生成部１０５０の発音記号スコア生成部１０５１は、時間情報が関連付けられた音声信号セグメントを順次に受け取り、発音記号セットのスコア（発音記号スコアベクトル）、時間情報を順次に出力する。基準シンボル推定部１０５２は、グループ１からグループＮの学習済モデルを有する推定辞書１０５４（図２）を参照して、発音記号セットのスコアの遷移に基づいて、Ｎ個の基準ベクトル列を生成する。基準シンボル列の各基準シンボルはスコアを有する。基準シンボル列選択部１０５３は、Ｎ個の基準シンボル列の評価値を、シンボルのスコアに基づいて算出し、評価値が一定の条件を満たす１または複数の基準シンボル列を選択して出力する。
【００６９】
図１４は、基準シンボル列マッチング部１０７０（図２）の動作例を説明する。この例では、第２基準シンボル列生成部６０（図２）からテキストに基づいて基準シンボル列「このたびは・・・」が出力される。時間ｔ−１、ｔ−２、ｔ−３、・・・の一連の音声信号セグメントに対して、第１基準シンボル列生成部１０５０の基準シンボル選択部１０５３（図２）からＲ個（この例では７個）の第１基準シンボル列が「おのてひあ・・・」、「こむちびわ・・・」、・・・「さにゆや・・・」と出力される。第１基準シンボル列は、評価値（スコア）の大きさに基づいて並べられている。図の例では、スコアが大きい第１基準シンボル列ほど左側に配置される。基準シンボル列マッチング部１０７０は、時間軸に沿って、１つの第２基準シンボル列を複数の第１基準シンボル列に動的にマッチングを行う。太字はマッチングで選択された動的な経路を示す。スコアが大きい（図１４の左側）順にマッチングを行うことにより、マッチングのコストを小さくできる。
【００７０】
基準シンボル列マッチング部１０７０のマッチングによって、第２基準シンボルの部分列が音声信号セグメントの時間情報に関連付けらる。そして、先に説明したように、テキストマッチング部８０がテキストデータと第２基準シンボル列（部分列）とをマッチングさせ、このマッチング結果に基づいてテキストデータの部分テキスト（テキスト行）に時間情報が関連付けられる。
【００７１】
つぎに、具体的な同期情報抽出例を説明する。この例では、さきに説明したようにＮ（＝ｎ１＋ｎ２＋ｎ３）個の基準シンボル列が出力され、基準シンボル列選択部１０５３が１個またはＲ個の第１基準シンボル列を出力し、基準シンボル列マッチング部１０７０が当該第１基準シンボル列を第２基準シンボル列とマッチングさせる。この例では、発声者がすでに推定辞書の特定のグループ（メンバが１人のグループもあって良い）に属するものとして登録されている場合には、該当する１つの推定辞書を用いて先行して同期情報を抽出し（図１５）、そうでない場合には、Ｎ個の推定辞書を用いて同期情報を抽出するけれども（図１６）、この実施例はこれに限定されない。
【００７２】
この同期情報抽出例では、図１５および図１６を参照して説明するフローで同期情報を、所定の評価値を利用して抽出する。この例では、音声のトータル時間ｔ＿ｍａｘとした場合の評価値（ｅｖａｌｕａｔｉｏｎ＿ｖａｌｕｅ）の算出関数を例えば以下のように定義するが、算出関数はこれに限定されない。
ｅｖａｌｕａｔｉｏｎ＿ｖａｌｕｅ
＝Σｎｕｍ＿ｂａｓｉｃ＿ｓｙｍｂｏｌ（ｔ）＋ｗ×Σｓｕｍ＿ｓｃｏｒｅ（ｔ）
ただし（０≦ｔ＜ｔ＿ｍａｘ，ｗは重み係数）      ...．  （式１）
ｎｕｍ＿ｂａｓｉｃ＿ｓｙｍｂｏｌ（ｔ）は、時間ｔの区間において、基準シンボルのスコア値がＬｉｍｉｔ＿ｓｃｏｒｅ＿ｍｉｎ以上である基準シンボル数である。
Σｓｕｍ＿ｓｃｏｒｅ（ｔ）は、時間ｔの区間における基準シンボルのスコアの合計である。
【００７３】
同期情報が未知の楽曲に対して、その歌手がデータベースに含まれるいずれかのクループに登録済みであった場合には、図１５に示すフローに従って同期情報を抽出する。すなわち、図１５に示すように、その歌手に対応するグループの学習済みモデルを用いて基準シンボル列を推定していき（Ｓ２００）、（式１）による評価値を算出する（Ｓ２０１）。その評価値がＬｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ１（第１最小値。動作可能閾値）以上であれば、そのグループの学習済みモデルによる基準シンボル候補の情報を用いて基準シンボルマッチングおよびテキストマッチングを用いて同期情報（ＬＲＣファイル）を取得する（Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５）。そうでない場合は、まだ評価していないすべてのグループの学習済みモデルに対して基準シンボル列を推定し（Ｓ２０２、Ｓ２０７）、評価値を算出し（Ｓ２０８）、その評価値のいずれもＬｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ１未満の場合には処理を中止する（Ｓ２０９、Ｓ２１１）。いずれかの評価値がＬｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ１以上の場合にはその評価値が高い上位Ｒ個の基準シンボル例を用いて基準信号マッチングおよびテキストマッチングを行い、同期情報を取得する（Ｓ２０９、Ｓ２１０、Ｓ２０３、Ｓ２０４、Ｓ２０５）。
【００７４】
歌手がまだどのクループにも登録されていない場合には、図１６に示すフローに従って同期情報を抽出する。すなわち、図１６に示すように、すべてのグループの学習済みモデルを用いて基準シンボル列を推定し、評価値を算出し（Ｓ３００、Ｓ３０１）、すべての評価値がＬｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ１（第１の最小値。動作可能閾値）未満であると処理を中止する（Ｓ３０２、Ｓ３０９）。いずれかの基準シンボル列についても評価値がＬｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ１（第１の最小値）以上である場合にはその評価値が高い上位Ｒ個の基準シンボル例を用いて基準信号マッチングおよびテキストマッチングを行い、同期情報を取得する（Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５、Ｓ３０６）。最も大きな評価値が、予め定められたＬｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ２（＞Ｌｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ１）以上であれば、歌手はその最も高い評価値のグループに属するとして登録する（Ｓ３０７、Ｓ３１０）。そうでない場合には登録することなく処理を終了する。この場合、新たな学習を行って良い。
【００７５】
なお、図１５および図１６において、上述のとおり、評価値がＬｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ１以上のグループが見つからなかった場合には、その音声に対する処理が困難である旨の通知とともに処理を中止する。また、図１５のステップＳ２１１または図１６のステップＳ３０９で処理が中止された歌手、または、図１６のステップＳ３０９において処理で最も高い評価値がＬｉｍｉｔ＿ｍｏｄｅｌ＿ｓｃｏｒｅ＿ｍｉｎ２に満たなかった歌手に対しては、必要に応じてそのボーカルとテキストの正解データを用意して、図１１のフローに従って新たに学習モデルを作成し、そのグループを追加登録する。
【００７６】
なお、図１６のフローで、音声信号に基づいて、最大Ｎ個のグループに対する第１基準シンボル列が出力される（図４のステップＳ１１５）。これら第１基準シンボル列と、同期情報の抽出対象となるテキストから生成した第２基準シンボル列（図４のステップＳ１７）とをマッチングさせる（図４のステップＳ１１８）。先に図１４を参照して説明した基準シンボル列のマッチングフロー例では、評価値を基準にして上位Ｒ個の第１基準シンボル列を用いるけれども、これをＮ個として良い。図１４の例では、時間方向にオーバーラップしている場合があるため、同じ抽出結果を重複させないなどの処理が行われる。このように作成された第１シンボル列と、第２基準シンボル列との類似度を計算する。計算方法としては、コサイン類似度等が利用できる。また、必要に応じて、文字の位置をずらした文字列との類似度を計算する。１００％マッチングしなくても、最も類似度の高いシンボル列をマッチング結果として採用する。マッチングに使用した第１基準シンボル列には、シンボル単位で時間情報が付加されているため、同期情報の抽出対象となるテキストの第２基準シンボル列（その部分列）に、同期情報として時間情報が関連付けられる（図４のステップＳ１１８）。
【００７７】
同期対象テキストを基準シンボルに変換する際に、元のテキストと変換後の基準シンボルの関係情報を保持してその情報を利用することで、先の処理で第２基準シンボル列（その部分列）に付加された同期時間の情報を元のテキスト（その部分テキスト）に関連付ける。（図４のステップＳ１９）これにより、同期情報付きテキストデータが得られる（図４のステップＳ２０）。
【００７８】
図１７は、基準シンボルのマッチングを中心にして実施例の動作を模式的に示すものである。図１５において、同期対称テキストは、「この度はこんな私を選んでくれて・・・」というものである。これは、「このたびはこんなわたしを・・・」という第２基準シンボル列に変換される。他方、音声信号セグメント（ｔ−１、ｔ−２、・・・）に基づいて、発音空間に対応した発音記号スコア情報から複数（この例では７個）の第１基準シンボル列が「おのてひあ・・・」、「こむちびわ・・・」、・・・「さにゆや・・・」が生成される。第１基準シンボル列は、評価値（スコア）の大きさに基づいて並べられている。図の例では、スコアが大きい第１基準シンボル列ほど左側に配置される。時間軸に沿って、１つの第２基準シンボル列を複数の第１基準シンボル列に動的にマッチングさせる。太字はマッチングで選択された動的な経路を示す。「このたびは」という第２基準シンボル部分列が、「このたびわ」という第１基準シンボル部分列に太字で示すようにマッチングされ、その時間情報（タイムスタンプ）が第２基準シンボル部分列に関係付けられ、さらにこれに対応する部分テキストの「この度は」に関係づけられる。この例では、「この度は」の先頭に、時間ｔ−１のタイムスタンプが付与される。「この度は」という部分テキスト（文節）を構成する文字単位にタイムスタンプを付しても良い。基準シンボル列の一部が合致しなくてもマッチングを成功裏に終了させても良い。マッチングに、基準シンボルの個々のラベルの間の距離（または類似度）を導入して、距離が小さくなる（または類似度が大きくなる）ように動的なマッチングを行って良い。
【００７９】
この実施例においては、以下の効果がある。
音（発音）とその音に対応する言葉（文字）を関連付けるため、言語ごとの音声辞書が不要で、言語によらず、共通の発音空間モデルを使って処理が可能である。
人物ごとに学習した発音を言葉に変換ライブラリー（発音空間モデル）によるマッチングをおこなうことで、音声認識率を向上させる事が出来る。
【００８０】
この実施例は以下の用途に適用可能であるけれども、これに限定されない。
（１）音楽コンテンツに対して、ボーカルと伴奏が混在する曲データと、歌詞カードのテキストデータとの時間的同期情報の抽出
（２）ドラマ、映画等のビデオコンテンツに対して映像データの音声データと、シナリオ上のセリフのテキストデータとの時間的同期情報の抽出
（３）会議上における、音声もしく、映像データの音声データと、その音声を音声認識エンジンにより抽出されたテキストデータとの時間的同期情報の抽出
【００８１】
つぎに実施例１を英語に適用した例について説明する。上述の実施例は日本語に適用し、基準シンボルとしてかな文字を用いたけれども、この発明は、基準シンボルを単語レベルのものとして採用し、単語レベルの単位をトークンとして使用できる任意の言語、スペイン語、フランス語、ドイツ語、ポルトガル語、ロシア語等にも適用可能である。
【００８２】
日本語のように、表意文字（例えば漢字）、表音文字（ひらがなやカタカナ、ローマ字）を持つ言語の歌詞に対しては、表音文字単位の基準シンボルに変換することが好ましいけれども、英語のような言語では、単語を基準にして基準シンボルを構築できる。ただし、この適応例では日本語の処理の説明の統一性を保つために、英語の適応例では大文字小文字変換、特殊文字の削除をおこなったものを基準シンボルとしている。
【００８３】
この英語の例では、図１８に示すように英語の歌詞テキストを単語レベルの第２基準シンボルへ変換している。図１９は、音声信号セグメントに応じた第１基準シンボル列の出力例を示す。図２０は、同期情報抽出の全体の流れを示す。この例でも、太字に沿ってマッチングが行われている。部分テキストに同期情報が付与される。
【００８４】
以上でこの発明の実施例１の同期情報生成装置１０００の説明を終了する。
【００８５】
つぎにこの発明の実施例２を説明する。図２１は、この発明の実施例２に従う、簡略化された同期情報生成装置２００を示す。図２１において図２と対応する箇所には対応する符号を付した。実施例２の同期情報生成装置２００は、実施例１と同様に、楽曲音響データと歌詞カードのテキストデータとを参照してＬＲＣファイルを自動的に作成するものである。楽曲は日本語ベースのものであり、楽曲音響ルデータのボーカル音声信号と歌詞カードのテキストデータとが、かな文字（ひらがな）のレベルでマッチングされ、このマッチングの結果、歌詞カードのテキストデータとボーカル音声信号（楽曲音響データ）の時刻情報とが対応付けられ、この対応付けに基づいてＬＲＣファイルを生成する。マッチングに用いるシンボル（トークンともいう、例えば、かな文字）を以下ではマッチング用基準シンボルまたは単に基準シンボルと呼ぶ。
【００８６】
この同期情報生成装置２００は、日本語に限定されず、種々の言語に適用可能である。英語にも適用する場合、基準シンボルは、例えば、大文字、小文字の別や特殊記号を捨象した単語であってよい。この例では、歌詞用同期情報生成について説明するけれども、これに限定されない。
【００８７】
図２１において、同期情報生成装置２００は、楽曲音響データファイル入力部１０、歌詞テキストデータファイル入力部２０、ボーカル音声信号抽出部３０、時間情報抽出部４０、第１基準シンボル列生成部５０、第２基準シンボル列生成部６０、基準シンボル列マッチング部７０、テキストマッチング部８０、ＬＲＣファイル生成部９０、ＬＲＣファイル記憶部１００等を含んで構成されている。第１基準シンボル列生成部５０は、この構成例においては、発音記号検出部５１および基準シンボル推定部５２を含んで構成されている。
【００８８】
この例では、同期情報生成装置２００は、１つのコンピュータシステム３００によって構成されるけれども、複数のコンピュータシステムや、種々のネットワークシステムを有して構成されて良い。コンピュータシステム３００の一部をスマートフォン等の情報端末で構成して良い。コンピュータシステム３００は、典型的には、図３に示すように、ＣＰＵ３０１、主メモリ３０２、バス３０３、補助記憶装置３０４、種々の入出力インタフェース３０５等を有してなり、パーソナルコンピュータ、スマートフォン、情報家電機器等であって良い。同期情報生成装置２００は、例えば、コンピュータ可読記録媒体３０６に記録されたコンピュータプログラムや通信ネットワーク（図示しない）を介して送信されてくるコンピュータプログラムをコンピュータシステム３００にインストールすることにより実現される。同期情報ファイルはＬＲＣファイル記憶部１００に蓄積され、携帯端末等の外部装置４００からアクセス可能であって良い。外部装置４００が楽曲音響データおより歌詞テキストデータを同期情報生成装置２００にアップロードし、これに応じて同期情報生成装置２００が生成した同期情報ファイルを取得して良い。
【００８９】
図２２は、図２１の同期情報生成装置２００の動作例の概要を示している。図２１および図２２において、楽曲音響データファイル入力部１０は、音響信号をＭＰ３、ＭＰ４等のフォーマットで記録したファイルを入力するものである（図２２、ステップＳ１０）。音響信号（ａｕｄｉｏ）は、この例では、ボーカル信号（音声信号、ｖｏｉｃｅ）および伴奏信号を含む。歌詞テキストデータファイル入力部２０は、歌詞テキスト（歌詞カードテキストともいう）のデータを記録したファイルを入力するものである（図２２、ステップＳ１１）。歌詞テキストは例えば図１（Ｂ）に示すように、楽曲内の歌詞の第１コーラス、第２コーラス等の曲全体のブロック構成がわかるように記載されることが多く、歌いやすい単位で行が羅列、改行されているわけではない。この実施例では、テキストを最適化された大きさの行単位に分割して良い（図２２、ステップＳ１６）。
【００９０】
ボーカル音声信号抽出部３０は、楽曲信号から音声信号（ボーカル信号、ボイス信号）を抽出するものである（図２２、ステップＳ１２）。音声信号抽出には種々の既知の手法を採用して良い。ステレオボーカル抽出には、センターキャンセリングおよび周波数帯域制限を利用できる。これは、ボーカル音声がＬｃｈとＲｃｈの両方に含まれることを利用するものである。また、モノラルボーカル抽出には、周波数地域制限を利用でき、これは、例えば、人の音声帯域（例えば１００Ｈｚ−１０００Ｈｚ）のバンドパスフィルタをかけて信号をとりだす手法がある。その他、多重ＨＰＳＳ法、バイナリマスキング法、ＲＰＣＡ法を採用して良い。
【００９１】
ボーカル音声信号抽出部３０は、楽曲信号から抽出した音声信号（ボーカル信号、ボイス信号）を、時間情報抽出部４０に供給する。ボーカル信号（ボイス信号）は、無音区間の検出等に基づいて、ひとまとまりの音声ごとに分析されて良い。時間情報抽出部４０は、音声信号を時間軸に沿って音声信号セグメントに所定のサンプリング周期で順次に分割し、例えば曲の開始からの経過情報を示す時間情報（タイムスタンプ）を各音声信号セグメントに付与する（図２２、ステップＳ１３）。時間情報抽出部４０は時間情報付きの音声信号セグメントを第１基準シンボル列生成部５０に供給する。
【００９２】
第１基準シンボル列生成部５０は、先に説明したように、発音記号検出部５１および基準シンボル推定部５２を含んで構成されている。発音記号検出部５１は、時間情報付きの音声信号セグメント（ボーカル信号、ボイス信号）を入力して発音記号および時間情報を出力するものである（図２２、ステップＳ１４）。発音記号は図２３に示すようなものであり、フォルマント分析やメル周波数ケプストラム（ＭＦＣＣ）分析等で検出して良い。種々のデジタルオーディオワークステーションを用いて発音記号データを出力でき、例えば、米国Ｄｉｇｉｄｅｓｉｇｎ社のＰｒｏｔｏｏｌｓを用いて良い。発音記号検出部５１は、発音記号および時間情報（タイムスタンプともいう）の対を順次に出力し、これは基準シンボル推定部５２に供給される。
【００９３】
基準シンボル推定部５２は、カナ確率テーブル５２ａを参照して発音記号の出現順序に基づいて基準シンボル列（ひらがなの列）を出力する（図２２、ステップＳ１５）。カナ確率テーブル５２ａは、発音記号の個別の時系列が表れたときにそれが個別のカナ（語）である確率を表す。カナ確率テーブル５２ａでは、図２４に示すように、発音記号の各々、例えば、「ｗｇ」が基準シンボル（カナ）の各々、例えば、「を」、「わ」、・・・に対応する確率が求められている。基準シンボル推定部５２は、発音記号と対をなすタイムスタンプをカナ列に対応付けて出力する。図２５は、カナ列とタイムスタンプとの対応付け結果を示す。図２５のＬＲＣ列は、楽曲信号の開始時点を起点にした場合に発話記号が検出された時間（タイムスタンプ）を示している。なお、すべての基準シンボル（カナ）にタイムスタンプを割り当てなくても良く、典型的には、出現頻度の大きな発音記号を中心に、カナにタイムスタンプがマッチングされて良いけれども、これに限定されない。基準シンボル推定部５２からのタイムスタンプを伴う第１基準シンボル列は、表示単位行分割部１１０で表示表単位に分割されて基準シンボル列マッチング部７０に供給される。
【００９４】
この例でも、表示単位行分割部１１０は、第１基準シンボル列を分割するのに替えて、歌詞テキストデータまたは第２基準シンボルデータを部分行単位で分割してよい。
【００９５】
他方、歌詞テキストデータファイル入力部２０は、テキスト、例えば歌詞テキストのデータを入力するものである（図２２、ステップＳ１１）。テキストは第２基準シンボル列生成部６０およびテキストマッチング部８０に供給する。第２基準シンボル列生成部６０は、テキストデータ（図５（Ａ））から基準シンボル列（ひらがな列。図５（Ｂ））を生成する（図２２、ステップＳ１７）。テキストデータから基準シンボル列への変換は形態素解析や簡便な辞書引きで行える。第２基準シンボル列生成部８０からの第２基準シンボル列は基準シンボル列マッチング部７０に供給されて、第１基準シンボル列生成部５０からの第１基準シンボル列とマッチングされ、この結果、第２基準シンボル列に時間情報が付与される（図２２、ステップＳ１８）。時間情報が付与された第２基準シンボル列はテキストマッチング部８０に供給される。
【００９６】
テキストマッチング部８０は、時間情報付きの第２基準シンボル列をテキストデータにマッチングさせ、テキストデータに時間情報を付与する（図２２、ステップＳ１９）。ＬＲＣファイル生成部９０は時間情報付きのテキストデータを受け取ってＬＲＣファイル（図１（Ａ））を生成する（図２２、ステップＳ２０）。これはＬＲＣファイル記憶部１００に記憶されて良い。
【００９７】
なお、図２１に破線で示すように、複数のカナ確率テーブル５２ａを設けて複数の基準シンボル列を生成し、基準シンボル列マッチング部７０で、図２の基準シンボル列マッチング部１０７０と同様なダイナミックなマッチングを行って良い。
【００９８】
以上でこの発明の実施例２に従う、図２１に示す同期情報生成装置２００の説明を終了する。
【００９９】
つぎのこの発明を音声認識装置に適用した実施例３を説明する。図２６は、この実施例３の音声認識装置７００を示し、この図において、音声認識装置７００は、入力部７０１、音声信号セグメント分割部７０２、音声記号スコア生成部７０３、音声単位推定部７０４、音声単位推定辞書７０５、出力部７０６を含んで構成されている。音声認識装置７００も図３に示すようなコンピュータシステムに実装されて良い。
【０１００】
入力部７０１は、話者が発生した音声をマイクロホンを介して音声信号に変換するものである。音声信号セグメント分割部７０２は音声信号を時間区間に分けて出力するものである。音声記号スコア生成部７０３は発音記号空間に準拠して一群の発音記号およびスコアの組を音声信号セグメントごとに出力するものである。この例では同期情報を取得するものではないので時間情報は不要である。音声単位推定部７０４は一群の発音記号およびスコアの組を受け取って音声単位推定辞書７０５を参照して発音単位を推定する。発音単位は、先に説明した例における基準シンボル（トークン）であり、日本語の場合、例えば、ひらがな文字（モーラ）であってよく、英語等の場合、単語（大文字小文字の別、特殊文字を捨象したもの）であって良く、また音素等であってもよい。日本語のひらがな文字が出力される場合には、辞書を参照して適宜カナ漢字変換されて良い。適宜、単語モデルおよび言語モデルを参照して最終的な文章を出力して良い。
【０１０１】
以上でこの発明の実施例３の説明を終了する。
【０１０２】
なお、この発明は上述の実施例に限定されることなく、その趣旨を逸脱しない範囲で種々変更が可能である。例えば、この発明は、音声信号と表示対象テキストとを同期させる種々の用途に適用できる。例えば、ビデオコンテンツとセリフ（スクリプト）とを同期させてよい。記録した音声（音声付ビデオ）と音声認識結果とを同期させて再生する場合にも適用可能である。この発明は日本語に適用されるだけでなく、種々の言語に適用可能である。また、当業者は、特許請求の範囲の記載に従って種々の変更を行い、種々の実施例を実施でき、このような実施例も特許請求の範囲の記載に含まれることに留意されたい。
以下、ここで説明された技術的特徴を列挙する。
［技術的特徴１］
テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置において、
上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段と、
上記音声信号セグメントの時間遷移に基づいて上記発音特徴ラベルスコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段と、
上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段と、
上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段とを有することを特徴とするテキスト表示用同期情報生成装置。
［技術的特徴２］
上記テキストは、上記音声信号に対応する歌詞テキストに基づく技術的特徴１記載のテキスト表示用同期情報生成装置。
［技術的特徴３］
上記テキストは日本語テキストに基づくものであり、上記マッチング用基準シンボルは、かな文字である技術的特徴１または２のいずれかに記載のテキスト表示用同期情報生成装置。
［技術的特徴４］
上記テキストは英語テキストに基づくものであり、上記マッチング用基準シンボルは単語単位のレベルで表記されたものである技術的特徴１または２のいずれかに記載のテキスト表示用同期情報生成装置。
［技術的特徴５］
上記第１のマッチング用基準シンボル列に含まれる個々のマッチング用基準シンボルは、上記音声信号に対する尤度をそれぞれ伴い、上記マッチング手段は、尤度の大きさの順にＲ（Ｒは２以上の整数）個のマッチング用基準シンボルをマッチング対象とする技術的特徴１〜４のいずれかに記載のテキスト表示用同期情報生成装置。
［技術的特徴６］
上記発音特徴ラベルは音素片ラベルである技術的特徴１〜５のいずれかに記載のテキスト表示用同期情報生成装置。
［技術的特徴７］
上記複数の基準シンボル推定辞書は、機械学習により適合化される技術的特徴１〜６のいずれかに記載のテキスト表示用同期情報生成装置。
［技術的特徴８］
上記複数の基準シンボル推定辞書は、一般的なＮ１個の発声者グループ、癖のあるＮ２個の発声者グループ、および、個別アーティストのＮ３個の発声者に対するＮ（＝Ｎ１＋Ｎ２＋Ｎ３）個の基準シンボル推定辞書である技術的特徴１〜７のいずれかに記載のテキスト表示用同期情報生成装置。
［技術的特徴９］
上記テキストの上記部分テキストはテキスト行であり、上記表示タイミング決定手段は、上記テキスト行ごとに表示タイミングを決定し、上記テキスト行ごとの上記表示タイミングを記述したＬＲＣファイルを出力する技術的特徴１〜８のいずれかに記載のテキスト表示用同期情報生成装置。
［技術的特徴１０］
テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成方法において、
発音特徴ラベルスコア生成手段が、上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力するステップと、
マッチング用基準シンボル列生成手段が、上記音声信号セグメントの時間遷移に基づいて上記発音特徴ラベルスコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するステップと、
マッチング手段が、上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるステップと、
表示タイミング決定手段が、上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定するステップとを有することを特徴とするテキスト表示用同期情報生成方法。
［技術的特徴１１］
テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するためのテキスト表示用同期情報生成用コンピュータプルグラムにおいて、
コンピュータを、
上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段、
上記音声信号セグメントの時間遷移に基づいて上記発音特徴ラベルスコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段、
上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段、および、
上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段
として実現させるために使用されるテキスト表示用同期情報生成用コンピュータプログラム。
［技術的特徴１２］
音声信号を入力する音声信号入力装置と、ＣＰＵとを有し、テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置において、
上記ＣＰＵが、
上記音声信号入力装置から入力した上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力し、
上記音声信号セグメントの時間遷移に基づいて生成される上記複数の発音特徴ラベルに対するスコアの遷移から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生し、
上記テキストに基づく第２のマッチング用基準シンボル列を、上記複数の基準シンボル推定辞書を参照してそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けし、
上記音声信号に対応するテキストデータに基づく第２のマッチング用基準シンボル列を、上記複数の上記第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングし、
上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定するように構成されるテキスト表示用同期情報生成装置。
［技術的特徴１３］
テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置において、
上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々から、特定の発声者または特定の発声者グループにそれぞれ個別に適合化可能である複数の基準シンボル推定辞書を参照して、それぞれ複数の第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段と、
上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段と、
上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段とを有することを特徴とするテキスト表示用同期情報生成装置。
［技術的特徴１４］
テキストに対応する音声信号に基づいて、上記テキストの部分テキストの各々を表示するタイミングを決定するテキスト表示用同期情報生成装置において、
上記音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段と、
上記音声信号セグメントの時間遷移に基づいて上記発音特徴ラベルスコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、基準シンボル推定辞書を参照して、第１のマッチング用基準シンボル列を上記音声信号セグメントの時間情報に関連付けて発生するマッチング用基準シンボル列発生手段と、
上記テキストに基づく第２のマッチング用基準シンボル列を、上記マッチング用基準シンボル列発生手段からそれぞれ発生させられた上記複数の第１のマッチング用基準シンボル列に、動的に決定されるマッチング経路に沿ってマッチングして上記第２のマッチング用基準シンボル列に上記音声信号セグメントの時間情報を関連付けるマッチング手段と、
上記第２のマッチング用基準シンボル列に関連付けられた上記音声信号セグメントの時間情報を用いて、上記テキストの上記部分テキストの各々を表示する表示タイミングを決定する表示タイミング決定手段とを有することを特徴とするテキスト表示用同期情報生成装置。
［技術的特徴１５］
上記マッチング用基準シンボルは日本語のかなである技術的特徴１４記載のテキスト表示用同期情報生成装置。
［技術的特徴１６］
上記マッチング用基準シンボルは、単語単位のレベルで表記されたものである技術的特徴１４記載のテキスト表示用同期情報生成装置。
［技術的特徴１７］
音声信号を時間軸に沿って分割して得た音声信号セグメントの各々に対して、複数の発音特徴ラベルごとに当該発音特徴ラベルの発音成分を強調するようにフィルタリングを行い、当該音声信号セグメントが当該発音特徴ラベルの発音成分である尤度をスコアとして生成し、複数の発音特徴ラベルについてそれぞれのスコアを当該音声信号セグメントの時間情報に関連付けて出力する発音特徴ラベルスコア生成手段と；
上記音声信号セグメントの時間遷移に基づいて上記発音記号スコア生成手段から生成される上記複数の発音特徴ラベルに対するスコアの遷移から、音声認識単位推定辞書を参照して音声認識単位を順次に出力する音声認識単位出力手段とを有することを特徴とする音声認識装置。
［技術的特徴１８］
上記音声認識単位は日本語のかなである技術的特徴１７記載の音声認識装置。
［技術的特徴１９］
上記音声認識単位は、単語単位のレベルで表記されたものである技術的特徴１７記載の音声認識装置。
【符号の説明】
【０１０３】
１０００    同期情報生成装置
１０    楽曲音響データファイル入力部
２０    歌詞テキストデータファイル入力部
３０    ボーカル音声信号抽出部
４０    時間情報抽出部
１０５０    第１基準シンボル列生成部
１０５１    発音記号スコア生成部
１０５２    基準シンボル推定部
１０５３    基準シンボル選択部
１０５４    推定辞書
１０５５    発音記号抽出フィルタ装置
１０５６    音響フィルタシステム
１０５７    レベル検出器
１０５８    上位発音記号特定部
６０    第２基準シンボル列生成部
１０７０    基準シンボル列マッチング部
８０    テキストマッチング部
９０    ＬＲＣファイル生成部
１００    ＬＲＣファイル記憶部
１１０    表示単位行分割部
３００    コンピュータシステム
３０１    ＣＰＵ
３０２    主メモリ
３０３    バス
３０４    補助記憶装置
３０５    入出力インタフェース
３０６    コンピュータ可読記録媒体
４００    外部装置
７００    音声認識装置
７０１    入力部
７０２    音声信号セグメント分割部
７０３    音声記号スコア生成部
７０４    音声単位推定部
７０５    音声単位推定辞書
７０６    出力部
【図１】
0006849977.tif 000002
【図２】
0006849977.tif 000003
【図３】
0006849977.tif 000004
【図４】
0006849977.tif 000005
【図５】
0006849977.tif 000006
【図６】
0006849977.tif 000007
【図７】
0006849977.tif 000008
【図８】
0006849977.tif 000009
【図９】
0006849977.tif 000010
【図１０】
0006849977.tif 000011
【図１１】
0006849977.tif 000012
【図１２】
0006849977.tif 000013
【図１３】
0006849977.tif 000014
【図１４】
0006849977.tif 000015
【図１５】
0006849977.tif 000016
【図１６】
0006849977.tif 000017
【図１７】
0006849977.tif 000018
【図１８】
0006849977.tif 000019
【図１９】
0006849977.tif 000020
【図２０】
0006849977.tif 000021
【図２１】
0006849977.tif 000022
【図２２】
0006849977.tif 000023
【図２３】
0006849977.tif 000024
【図２４】
0006849977.tif 000025
【図２５】
0006849977.tif 000026
【図２６】
0006849977.tif 000027