(57)【要約】  【課題】歌詞テキスト用の同期情報を生成する。  【解決手段】音響データファイル入力部１０、歌詞テキストファイル入力部２０、ボーカル音声信号抽出部３０が音響信号からボーカル音声信号を抽出し、発音記号検出部４０が、ボーカル音声信号から発音記号および時間情報を生成する。音声認識部５０がボーカル音声信号に対し音声認識を行い、音声認識結果テキストを出力する。発音記号マッチング部６０が、音声認識結果に発音記号をマッチングさせてその発生時間情報を対応付ける。テキストマッチング部９０が、時間情報が割り当てられた音声認識結果テキストと歌詞テキストとをマッチングさせ、表示単位行ごとのテキストごとに時間情報を付与して、同期情報ファイルを生成する。【選択図】図２
2020012855.tif 000002
【特許請求の範囲】
【請求項１】
音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段と、
上記音声信号を音声認識してテキストを出力する音声認識手段と、
上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングする第１のマッチング手段と、
歌詞テキストと上記音声認識手段から出力されたテキストとを出現順序に沿ってマッチングする第２のマッチング手段と、
上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段と、
上記第１のマッチング手段のマッチング結果と、上記第２のマッチング手段のマッチング結果とに基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有することを特徴とする歌詞用同期情報生成装置。
【請求項２】
楽曲信号から上記音声信号を抽出する音声信号抽出手段をさらに有する請求項１記載の歌詞用同期情報生成装置。
【請求項３】
上記音声特徴検出手段は、上記楽曲信号の開始時点からの時間を上記時間情報として出力する請求項２記載の歌詞用同期情報生成装置。
【請求項４】
上記音声特徴検出手段は、音声特徴記号として発音記号を出力する請求項１〜３のいずれかに記載の歌詞用同期情報生成装置。
【請求項５】
上記音声認識手段は、上記音声信号の出力が小さい部分で上記音声信号を分割して分割部分単位で音声認識を行う請求項１〜４のいずれかに記載の歌詞用同期情報生成装置。
【請求項６】
上記音声特徴検出手段は、上記音声信号に現れる典型的な音声特徴を決定して、当該典型的な音声特徴が検出されやすいように上記音声信号を補正する請求項１〜５のいずれかに記載の歌詞用同期情報生成装置。
【請求項７】
上記第１のマッチング手段は、上記典型的な音声特徴に対応して検出された、上記典型的な音声特徴に対応する音声特徴記号を上記音声認識手段から出力されたテキストにマッチングし、上記表示タイミング決定手段は、上記典型的な音声特徴に対応して検出された、上記典型的な音声特徴に対応する音声特徴記号にあり当てられた時間情報を利用して、上記複数の行部分テキストの各々の表示タイミングを決定する請求項６記載の歌詞用同期情報生成装置。
【請求項８】
上記第２のマッチング手段は、上記歌詞テキストおよび上記音声認識手段から出力されたテキストに対応する編集距離に基づいてマッチングを行う請求項１〜７のいずれかに記載の歌詞用同期情報生成装置。
【請求項９】
上記第２のマッチング手段は、上記歌詞テキストの異なる言語への翻訳および上記音声認識手段から出力されたテキストの上記異なる言語への翻訳の間の編集距離に基づいてマッチングを行う請求項８に記載の歌詞用同期情報生成装置。
【請求項１０】
上記音声認識手段は日本語を音声認識して日本語のテキストを出力し、上記第２のマッピング手段は、日本語の上記歌詞テキストと上記音声認識手段から出力された日本語のテキストとをマッチングする請求項９のいずれかに記載の歌詞用同期情報生成装置。
【請求項１１】
上記異なる言語は英語である請求項１０のいずれかに記載の歌詞用同期情報生成装置。
【請求項１２】
上記テキスト分割手段は、上記音声信号が実質的にゼロになる間隔を基づいて上記テキストを複数の上記行部分テキストに分割する請求項１〜１１のいずれかに記載の歌詞用同期情報生成装置。
【請求項１３】
上記テキスト分割手段は、上記部分テキストの文字数の許容範囲に基づいて上記部分テキストを分割する請求項１２に記載の歌詞用同期情報生成装置。
【請求項１４】
歌詞テキストを複数のコーラス部分の間の比較を行い、比較結果に基づいて時刻情報を取得できなかった行部分テキストの表示タイミングを補間する表示タイミング補間手段をさらに有する請求項１〜１３のいずれかに記載の歌詞用同期情報生成装置。
【請求項１５】
上記音声認識手段の音声認識結果に含まれ、上記歌詞テキストに含まれない追加テキストがある場合にこれに基づいて行部分テキストを追加生成し、当該追加生成した行部分テキストの各々に表示タイミングを割り当てる請求項１〜１４のいずれかに記載の歌詞用同期情報生成装置。
【請求項１６】
音声特徴検出手段が、音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力するステップと、
音声認識手段が、上記音声信号を音声認識してテキストを出力するステップと、
第１のマッチング手段が、上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングするステップと、
第２のマッチング手段が、歌詞テキストと上記音声認識手段から出力されたテキストとを出現順序に沿ってマッチングするステップと、
テキスト分割手段が、上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するステップと、
表示タイミング決定手段が、上記第１のマッチング手段のマッチング結果と、上記第２のマッチング手段のマッチング結果とに基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定するステップとを有することを特徴とする歌詞用同期情報生成方法。
【請求項１７】
コンピュータを、
音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段、
上記音声信号を音声認識してテキストを出力する音声認識手段、
上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングする第１のマッチング手段、
歌詞テキストと上記音声認識手段から出力されたテキストとを出現順序に沿ってマッチングする第２のマッチング手段、
上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段、および、
上記第１のマッチング手段のマッチング結果と、上記第２のマッチング手段のマッチング結果とに基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段
として実現させるために使用される歌詞用同期情報生成用コンピュータプログラム。
【請求項１８】
音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段と、
上記音声信号を音声認識してテキストを出力する音声認識手段と、
上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングする第１のマッチング手段と、
表示対象テキストと上記音声認識手段から出力されたテキストとを出現順序に沿ってマッチングする第２のマッチング手段と、
上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段と、
上記第１のマッチング手段のマッチング結果と、上記第２のマッチング手段のマッチング結果とに基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有することを特徴とするテキスト表示用同期情報生成装置。
【請求項１９】
上記表示対象テキストはビデオコンテンツのセリフのテキストである請求項１８記載のテキスト表示用同期情報生成装置。
【請求項２０】
音声特徴検出手段が、音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力するステップと、
音声認識手段が、上記音声信号を音声認識してテキストを出力するステップと、
第１のマッチング手段が、上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングするステップと、
第２のマッチング手段が、表示対象テキストと上記音声認識手段から出力されたテキストとを出現順序に沿ってマッチングするステップと、
テキスト分割手段が、上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するステップと、
表示タイミング決定手段が、上記第１のマッチング手段のマッチング結果と、上記第２のマッチング手段のマッチング結果とに基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定するステップとを有することを特徴とするテキスト表示用同期情報生成方法。
【請求項２１】
コンピュータを、
音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段、
上記音声信号を音声認識してテキストを出力する音声認識手段、
上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングする第１のマッチング手段、
表示対象テキストと上記音声認識手段から出力されたテキストとを出現順序に沿ってマッチングする第２のマッチング手段、
上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段、および、
上記第１のマッチング手段のマッチング結果と、上記第２のマッチング手段のマッチング結果とに基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段
として実現させるために使用されるテキスト表示用同期情報生成用コンピュータプログラム。
【請求項２２】
音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段と、
上記音声信号を音声認識してテキストを出力する音声認識手段と、
上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングするマッチング手段と、
上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段と、
上記マッチング手段のマッチング結果に基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有することを特徴とするテキスト表示用同期情報生成装置。
【請求項２３】
音声特徴検出手段が、音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力するステップと、
音声認識手段が、上記音声信号を音声認識してテキストを出力するステップと、
マッチング手段が、上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングするステップと、
テキスト分割手段が、上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するステップと、
表示タイミング決定手段が、上記マッチング手段のマッチング結果に基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定するステップとを有することを特徴とするテキスト表示用同期情報生成方法。
【請求項２４】
コンピュータを、
音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段、
上記音声信号を音声認識してテキストを出力する音声認識手段、
上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングするマッチング手段、
上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段、および、
上記マッチング手段のマッチング結果に基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段
として実現させるために使用されるテキスト表示用同期情報生成用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、テキスト表示用同期情報生成技術に関し、より具体的には、歌詞および楽曲の間の同期情報を生成する歌詞用同期情報生成技術に関する。
【背景技術】
【０００２】
音響データを再生する際に、これに関連するテキストを音響データの再生に同期させて表示させたい場合がある。例えば、楽曲データの再生に際してその音声部分に同期させて歌詞部分を表示またはハイライト表示することがある。また、ビデオコンテンツの再生に際して、音声部分に同期させてスクリプト（セリフ部分）を表示するという要請もある。
【０００３】
ところで、楽曲データと歌詞データとが関連付けられた状態でコンテンツとして流通していない場合には、そのままでは、楽曲データの再生に同期させて歌詞を表示させることができず、このような場合には、歌詞用同期情報が別途必要になる。このような同期情報のデファクトスタンダードとして歌詞同期フォーマットＬＲＣが知られている（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＬＲＣ＿（ｆｉｌｅ＿ｆｏｒｍａｔ））。図１（Ａ）は歌詞同期フォーマットＬＲＣに準拠したファイル（この歌詞はコンピュータで自動生成した著作権フリーのもの）を示しており、楽曲信号の開始からの経過時間（タイムスタンプ）と、歌詞テキストの各表示行とが対応付けられて記述されている。タイムスタンプは、例えば、対応する表示行を歌い始める時刻を表示する。図１（Ｂ）は歌詞カードテキストの例を示す。このような歌詞同期情報を生成するには、作業者が楽曲を再生・視聴しながら、各行の歌いだしのタイミングで、所定の操作を行って各行にタイムスタンプを関係づけ、同期情報ファイル、例えばＬＲＣファイルを生成するといった手作業での処理がおこなわれていた。しかしながら、作業者がＬＲＣファイルを生成するには、基本的には、楽曲の演奏をすべて聞く必要があり、煩雑である。人手によることなく、機械的に同期情報を生成することが望まれる。
【０００４】
なお、特許文献１は、小型ディスプレイの処理装置を利用して同期情報を生成する際に、歌詞テキスト（歌詞カード）の各行をその小型ディスプレイのサイズに収まるように各行を１または複数の文節からなる表示単位に分割し、そのうえで、表示単位にタイムスタンプを割り当てていくことを開示している。
【０００５】
なお、本発明は、上述の事情または以下の課題により限定的に理解されるべきでなく、その内容は特許請求の範囲に規定され、以下に実施例を用いて詳細に説明される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２２７０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この発明は上述の事情等を考慮してなされたものであり、機械的に同期情報を生成することを目的としている。
【課題を解決するための手段】
【０００８】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【０００９】
この発明の一側面によれば、上述の目的を達成するために、歌詞用同期情報生成装置を：音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段と；上記音声信号を音声認識してテキストを出力する音声認識手段と；上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングする第１のマッチング手段と；歌詞テキストと上記音声認識手段から出力されたテキストとを出現順序に沿ってマッチングする第２のマッチング手段と；上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段と；上記第１のマッチング手段のマッチング結果と、上記第２のマッチング手段のマッチング結果とに基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有するように構成している。
【００１０】
この構成によれば、音声特徴記号に対応付けられた正確な時間情報を、音声特徴記号と音声認識結果とのマッチングおよび音声認識結果とテキストとのマッチングによって、行部分テキストに関連付け、もって、行部分テキストの表示タイミング（タイムスタンプ）を自動的かつ確実に生成できる。
【００１１】
この構成において、楽曲信号から上記音声信号を抽出する音声信号抽出手段をさらに設けて良い。楽曲は、歌声（ボーカル）と伴奏とからなることが多く、楽曲信号から音声信号（ここでは、歌声信号、ボーカル信号ともいう）を抽出する必要がある。
【００１２】
楽曲信号から音声信号（ボーカル信号）を抽出する手法は、任意の手法を利用できる。一般的な手法としては、例えば、ステレオボーカル抽出には、センターキャンセリングおよび周波数帯域制限を利用できる。これは、ボーカル音声がＬｃｈとＲｃｈの両方に含まれることを利用するものである。また、モノラルボーカル抽出には、周波数地域制限を利用でき、これは、例えば、人の音声帯域（例えば１００Ｈｚ−１０００Ｈｚ）のバンドパスフィルタをかけて信号をとりだす手法がある。その他、音声部分の分離精度が高い、その他の手法として、多重ＨＰＳＳ法、バイナリマスキング法、ＲＰＣＡ法などが用いられる。
【００１３】
また、この構成において、上記音声特徴検出手段は、上記楽曲信号の開始時点からの時間を上記時間情報として出力して良い。時間情報の微調整（開始を遅らせたり早めたり）を設定して出力しても良い。
【００１４】
また、この構成において、上記音声特徴検出手段は、音声特徴記号として発音記号を出力して良い。発音記号は、フォルマント分析やメル周波数ケプルトラム（ＭＦＣＣ）分析等によって抽出できる。
【００１５】
また、この構成において、上記音声認識手段は、上記音声信号の出力が小さい部分で上記音声信号を分割して分割部分単位で音声認識を行って良い。
【００１６】
また、この構成において、上記音声特徴検出手段は、上記音声信号に現れる典型的な音声特徴を決定して、当該典型的な音声特徴が検出されやすいように上記音声信号を補正して良い。
【００１７】
例えば、歌入りの楽曲信号から抜き出したボーカル信号に対して、前処理を行い、発話信号（調音分析信号）の検出精度を向上させる。すなわち、ボーカル信号から発話信号を抽出したのち、出現頻度の高い発話信号を調べ、その発話信号が検出しやすいように波形補正処理をしてから再度発話信号の検出エンジンにかけ直すことで、その発話信号の検出精度があげられ、かつ誤検出を削減することができる。波形補正処理（発音矯正処理例）としては、音声データを多数のバンドパスフィルタで分解し倍音構成（帯域毎の量）を変調して「あ」「い」「う」「え」「お」などの母音の発音信号の矯正を行って良いけれども、その方式に限定されるものではない。
【００１８】
また、この構成において、上記第１のマッチング手段は、上記典型的な音声特徴に対応して検出された、上記典型的な音声特徴に対応する音声特徴記号を上記音声認識手段から出力されたテキストにマッチングし、上記表示タイミング決定手段は、上記典型的な音声特徴に対応して検出された、上記典型的な音声特徴に対応する音声特徴記号に割り当てられた時間情報を利用して、上記複数の行部分テキストの各々の表示タイミングを決定して良い。
【００１９】
また、この構成において、上記第２のマッチング手段は、上記歌詞テキストおよび上記音声認識手段から出力されたテキストに対応する編集距離に基づいてマッチングを行って良いけれども、その他種々のマッチング手法を採用して良い。
【００２０】
この構成において、上記第２のマッチング手段は、上記歌詞テキストの異なる言語への翻訳および上記音声認識手段から出力されたテキストの上記異なる言語への翻訳の間の編集距離に基づいてマッチングを行って良い。適用言語は日本語であって良いけれども、これに限定されず、音声認識が可能で、テキスト表示でき、音声特徴を検出できるものであれば、どのような言語であっても良い。すなわち、上記音声認識手段は日本語を音声認識して日本語テキストを出力し、上記第２のマッピング手段は、日本語の上記歌詞テキストと上記音声認識手段から出力された日本語のテキストとをマッチングして良いけれども、これに限定されず種々の言語に適用して良い。適用言語が日本語の場合、上述の異なる言語は英語であって良いけれども、これに限定されない。
【００２１】
この構成において、上記テキスト分割手段は、上記音声信号が実質的にゼロになる間隔に基づいて上記テキストを複数の上記行部分テキストに分割して良い。
【００２２】
この構成において、上記テキスト分割手段は、上記部分テキストの文字数の許容範囲に基づいて上記部分テキストを分割して良い。文字数は例えば最大で１８である。また、歌詞データの構成に基づいた分割規則を学習するようにしてもよい。同期情報を生成するたびに学習情報を蓄積することができ、新らたな分割規則で同期情報ファイルを更新して良い。
【００２３】
また、この構成において、歌詞テキストにおける複数のコーラス部分の間の比較を行い、比較結果に基づいて時刻情報を取得できなかった行部分テキストの表示タイミングを補間する表示タイミング補間手段をさらに設けて良い。
【００２４】
また、この構成において、上記音声認識手段の音声認識結果に含まれ、上記歌詞テキストに含まれない追加テキストがある場合にこれに基づいて行部分テキストを追加生成し、当該追加生成した行部分テキストの各々に表示タイミングを割り当てて良い。
【００２５】
この発明の他の側面によれば、テキスト表示用同期信号生成装置を：音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段と；上記音声信号を音声認識してテキストを出力する音声認識手段と；上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングする第１のマッチング手段と；表示対象テキストと上記音声認識手段から出力されたテキストとを出現順序に沿ってマッチングする第２のマッチング手段と；上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段と；上記第１のマッチング手段のマッチング結果と、上記第２のマッチング手段のマッチング結果とに基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有するように構成している。上記音声認識手段から出力されたテキストが適宜に分割されている場合には、テキスト分割手段を省略して良い。
【００２６】
この構成によれば、音声特徴記号に対応付けられた正確な時間情報を、音声特徴記号と音声認識結果とのマッチングおよび音声認識結果とテキストとのマッチングによって、行部分テキストに関連付けることによって、行部分テキストの表示タイミング（タイムスタンプ）を自動的かつ確実に生成できる。
【００２７】
上記表示対象テキストはビデオコンテンツのセリフのテキストや楽曲コンテンツの歌詞テキストであって良い。
【００２８】
また、この発明の他の側面によれば、テキスト表示用同期情報生成装置を：音声信号から音声特徴を判別して、音声特徴記号を、発声時刻に対応する時間情報とともに出力する音声特徴検出手段と；上記音声信号を音声認識してテキストを出力する音声認識手段と；上記発音記号検出手段から出力された音声特徴記号と上記音声認識手段から出力されたテキストを出現順序に沿ってマッチングするマッチング手段と；上記音声認識手段から出力されたテキストを複数の行部分テキストに分割するテキスト分割手段と；上記マッチング手段のマッチング結果に基づいて、上記時間情報を上記複数の行部分テキストの各々に関連付けて、当該複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段と有するように構成している。上記音声認識手段から出力されたテキストが適宜に分割されている場合には、テキスト分割手段を省略して良い。
【００２９】
この構成によれば、音声信号と同期させて対応するテキストを表示できる。
【００３０】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品（コンピュータプログラム）もこの発明の技術的な範囲に含まれることも当然である。
【００３１】
この発明の上述の側面および他の側面は特許請求の範囲に記載され、以下、実施例等を用いて詳述される。
【発明の効果】
【００３２】
この発明によれば、音声信号にテキスト部分を同期させる同期情報を機械的かつ確実に生成することができる。
【図面の簡単な説明】
【００３３】
【図１】歌詞同期フォーマットＬＲＣおよび歌詞カードテキストの例を説明する図である。
【図２】この発明の実施例の同期情報生成装置の構成例を説明するブロック図である。
【図３】歌詞同期の一般的な態様を説明する図である。
【図４】実施例の動作例を説明する図である。
【図５】図４の一部の詳細を説明する図である。
【図６】発音記号を説明する図である。
【図７】音声認識の一例を説明する図である。
【図８】発音記号のカナ確率テーブルを説明する図である。
【図９】テキストのカナと発音記号（タイムスタンプ）とのマッチングを説明する図である。
【図１０】息継ぎポイントを考慮した改行位置の調整を説明する図である。
【図１１】音声認識結果のテキストと歌詞カードのテキストとの対応を説明する図である。
【図１２】音声認識結果と歌詞カードテキストとの間のテキストマッチングを説明する図である。
【図１３】英語に翻訳して編集距離を用いてマッチングする際の当初の編集距離の生成を説明する図である。
【図１４】テキストの一部の変更を行った際の編集距離を生成する図である。
【図１５】テキストの一部の変更を行った際の編集距離を生成する図である。
【図１６】テキストの一部の変更を行った際の編集距離を生成する図である。
【図１７】テキストの一部の変更を行って編集距離がなくなった状態を説明する図である。
【図１８】日本語の音声認識結果と歌詞カードテキストとの間のテキストマッチング（入れ替え候補の決定）を説明する図である。
【図１９】歌詞コーラスの構成例を説明する図である。
【図２０】歌詞カードデータから補間のための情報を抽出する例を説明する図である。
【図２１】歌詞カードデータからの補間のための情報を用いて時間情報を補間する例を説明する図である。
【図２２】歌詞カードテキストにないボーカル音声部分を補間する例を説明する図である。
【図２３】歌詞カードテキストにないボーカル音声部分を補間する態様を説明する図である。
【図２４】息継ぎポイントを歌詞および波形とともに説明する図である。
【図２５】ボーカルのない区間の抽出例を説明する図である。
【図２６】実施例によって出力されるＬＲＣファイルの一部を説明する図である。
【発明を実施するための形態】
【００３４】
以下、この発明の実施例の同期情報生成装置について説明する。この同期情報生成装置は、楽曲データと歌詞テキストデータとの間の同期情報を生成するものであり、典型的には先に図１を参照して説明したＬＲＣフォーマットのファイルを一例として生成するものである。
【００３５】
図２は、この実施例の同期情報生成装置２００を示しており、この図において、同期情報生成装置２００は、音響データファイル入力部１０、歌詞テキストファイル入力部２０、ボーカル音声信号抽出部３０、発音記号検出部４０、音声認識部５０、発音記号マッチング部６０、ボーカル無音区間検出部７０、表示単位行分割部８０、テキストマッチング部９０、表示単位行同期情報決定部１００、歌詞ブロック分析部１１０、補間部１２０、および同期情報ファイル出力部１３０等を含んで構成されている。各ブロックには適宜に出力情報の種類が記述されている。「ｖｏｉｃｅ」は、ボーカル音声信号（ボイス信号）、「ｐｈｓ」は発音記号（ｐｈｏｎｅｔｉｃ  ｓｙｍｂｏｌ）、「ｔｅｘｔ」はテキスト、「ｔｉｍｅ」は時間情報（タイムスタンプ）、「ＬＲＣ」は同期情報である。同期情報生成装置２００は典型的には１または複数の計算機リソース（コンピュータシステム）を用いて構成される。図２の実施例の動作例は図４に説明され、以下、適宜に、これを参照する。この例では、歌詞用同期情報生成について説明するけれども、これに限定されない。この例では、１つのコンピュータシステム３００によって構成されるけれども、複数のコンピュータシステムや、種々のネットワークシステムを有して構成されて良い。コンピュータシステムの一部をスマートフォン等の情報端末で構成して良い。同期情報生成装置２００は、例えば、記録媒体３０１に記録されたコンピュータプログラムや通信ネットワーク（図示しない）を介して送信されてくるコンピュータプログラムをコンピュータシステム３００にインストールすることにより実現される。コンピュータシステムは、ＣＰＵ、主メモリ、バス、外部メモリ、種々の入出力インタフェース等を有してなり、パーソナルコンピュータ、スマートフォン、情報家電機器等であって良い。同期情報ファイルは同期情報ファイル記憶部１４０に蓄積され、携帯端末等の外部装置４００からアクセス可能であって良い。外部装置４００が音響データおより歌詞テキストデータを同期情報生成装置２００にアップロードし、これに応じて同期情報生成装置２００が生成した同期情報ファイルを取得して良い。
【００３６】
なお、歌詞をボーカルに同期させて表示させる態様としては、図３に示すように、（Ａ）文字同期、（Ｂ）行同期、および（Ｃ）ブロック同期が知られている。この実施例では、（Ｂ）のレベルでの説明をおこなう。（Ａ）、（Ｂ）、（Ｃ）の順に自動化を実現しにくく、作業員が直接入力する必要がある。
（Ａ）文字同期：各歌詞の文字単位の位置で時間を同期させる方法。
（Ｂ）行同期：各歌詞のテキストの行の先頭の位置の時間を同期させ、付加的に、行内の歌詞の時間はおおよそあわせる方法。
（Ｃ）各歌詞のコーラス（１番、２番とか）の先頭位置の時間だけを同期させ、それ以外の時間はおおよそあわせる方法。
【００３７】
図２に戻る。音響データファイル入力部１０は、音響信号をＭＰ３、ＭＰ４等のフォーマットで記録したファイルを入力するものである（図４、Ｓ１０）。音響信号（ａｕｄｉｏ）は、この例では、ボーカル信号（音声信号、ｖｏｉｃｅ）および伴奏信号を含む。歌詞テキストファイル入力部２０は、歌詞テキスト（歌詞カードテキストともいう）を記録したファイルを入力するものである（図４、Ｓ１１）。歌詞テキストは例えば図１（Ｂ）に示すように、楽曲内の歌詞の第１コーラス、第２コーラス等の曲全体のブロック構成がわかるように記載されることが多く、歌いやすい単位で行が羅列、改行されているわけでない。この実施例では、後述するように、表示単位行分割部８０によって表示単位の行を歌いやすい単位で最適化するようにしている。
【００３８】
ボーカル音声信号抽出部３０は、楽曲信号から音声信号（ボーカル信号、ボイス信号）を抽出するものである（図４、Ｓ１２）。音声信号抽出には種々の既知の手法を採用して良い。ステレオボーカル抽出には、センターキャンセリングおよび周波数帯域制限を利用できる。これは、ボーカル音声がＬｃｈとＲｃｈの両方に含まれることを利用するものである。また、モノラルボーカル抽出には、周波数地域制限を利用でき、これは、例えば、人の音声帯域（例えば１００Ｈｚ−１０００Ｈｚ）のバンドパスフィルタをかけて信号をとりだす手法がある。その他、多重ＨＰＳＳ法、バイナリマスキング法、ＲＰＣＡ法を採用して良い。
【００３９】
ボーカル音声信号抽出部３０は、楽曲信号から抽出した音声信号（ボーカル信号、ボイス信号）を、発音記号検出部４０、音声認識部５０、およびボーカル無音区間検出部７０に供給する。
【００４０】
発音記号検出部４０は、楽曲信号から抽出した音声信号（ボーカル信号、ボイス信号）を入力して発音記号および時間情報を出力するものである（図４、Ｓ１３）。発音記号は図６に示すようなものであり、フォルマント分析やメル周波数ケプストラム（ＭＦＣＣ）分析等で検出して良い。種々のデジタルオーディオワークステーションを用いて発音記号データを出力でき、例えば、米国Ｄｉｇｉｄｅｓｉｇｎ社のＰｒｏｔｏｏｌｓを用いて良い。この実施例では、音声信号中の出現頻度の高い発音記号を調べ、その発音信号が正確に検出されるように波形補正処理をしてから、再度、発音信号の発音記号検出部４０の検出エンジンにかけ直す。この結果、その発音信号の検出精度が向上して、誤検出を削減することができる。この処理を利用して発話パターンの検出精度を向上させることにより、後段のテキストとのマッチング精度も改善される。発音矯正処理例としては、音声データを多数のバンドパスフィルタで分解し倍音構成（帯域毎の量）を変調して「あ」「い」「う」「え」「お」などの母音の発音信号の矯正を行って良いけれども、これに限定されない。
【００４１】
発音記号検出部４０の動作例は、後述の音声認識の動作例とともに図５に示される。図５の動作例では、音声特徴抽出エンジンを用いて発音記号および時間情報を抽出し（Ｓ１３１）、検出された発音記号に対して類似発音記号単位でグルーピングを行い（クラスタ、Ｓ１３２）、出現頻度の高い発音記号のグループに対して典型的な発音記号の波形に近くなるように矯正を行い（Ｓ１３３）、矯正された音声信号に対して音声特徴抽出エンジンを用いて改めて実現時間情報を抽出する（Ｓ１３４）。
【００４２】
図２の発音記号検出部４０は、発音記号および時間情報（タイムスタンプともいう）の対が順次に出力され、これは発音記号マッチング部６０に供給される。
【００４３】
音声認識部５０は、楽曲信号から抽出した音声信号（ボーカル信号、ボイス信号）を入力して音声認識を行って日本語文字列を出力するものである（図４、Ｓ１４）。音声認識部５０は、音声認識エンジンとして音声認識機能のみでなく、形態素解析、構文解析、意味解析等の機能を含んで良い。音声認識部５０は、音声信号を音声認識し日本語テキストデータを出力し、この出力データは例えばカナ（音節）の列を含み、発音記号マッチング部６０に供給される。
なお、この例では音声認識部５０の実現例として日本語文字列に変換し、カナ（音節）に対するマッチングをおこなっているが、言語が日本語に特定されるものではなく、他の言語の歌詞に対しても同様の処理でマッチングできることは明らかである。
【００４４】
音声認識部５０の音声認識エンジンが、連続した発話信号の認識に弱い傾向がある場合には、音声信号をゼロクロッシングポイント（信号レベルが小さい位置）で適切な長さに分割し、分割単位で音声認識処理を行うことが好ましい。図７は、このような前処理を示し、交番的に間引きを行い、オリジナルの音声信号から２つの間引き後の音声信号（間引き１および間引き２）を形成して、別個に音声認識を行い、そののち、後処理として音声認識結果を合成する。必要に応じて、波形に特定の語（カナ）が認識しやすくなるようなフィルタ処理を施して良い。具体的な動作例は先の図５に示されている。すなわち、図５の動作例では、ゼロクロッシングポイントの区切りを用いて音声信号の間引き（複数パターン生成）を行い（Ｓ１４１）、音声認識エンジンによる日本語テキストへの変換を行い（Ｓ１４２）、複数の間引きパターンの変換結果を合成する（Ｓ１４３）。
【００４５】
発音記号マッチング部６０は、カナ確率テーブル６０ａを参照して音声認識結果のカナ列に発音記号をマッチングさせるものである（図４、図５のステップＳ１５）。カナ確率テーブル６０ａは、個別の発音記号が表れたときにそれが個別のカナ（語）である確率を表す。先行する記号の条件付き確率であってもよい。カナ確率テーブル６０ａでは、図８に示すように、発音記号の各々、例えば、「ｗｇ」が語（カナ）各々、例えば、「を」、「わ」、・・・に対応する確率が求められている。発音記号マッチング部６０は、発音記号を音声認識結果のカナ列にマッチングさせ、この結果、発音記号と対をなすタイムスタンプをカナ列に対応付けて出力する。図９は、カナ列とタイムスタンプとの対応付け結果を示す。図９のＬＲＣ列は楽曲信号の開始時点を起点にしたときの発話記号が検出された時間（タイムスタンプ）を示している。なお、典型的には、出現頻度の大きな発音記号を中心に、カナにタイムスタンプがマッチングされるけれども、これに限定されない。
【００４６】
発音記号マッチング部６０は、マッチングによって、音声認識結果のテキストのカナにタイムスタンプを割り当てて出力する（図９）。発音記号マッチング部６０の時間情報付きのテキストは表示単位行分割部８０に送られ、さらに、テキストマッチング部９０に供給される。
【００４７】
ボーカル無音区間検出部７０は、音声信号が基本的に発生されていない区間、例えば、前奏、間奏、後奏、息継ぎの部分を検出するものである（図４、Ｓ１６）。音声無音区間は、図２４に示すようにボーカル音声信号の振幅等の移動平均が閾値を下回った時に検出される。区間の長さや発生タイミング等から前奏、間奏、後奏、息継ぎが検出される。図２５は、前奏ののちの、息継ぎの区間を検出する例を示す。図２５の例では歌詞テキストも対応付けられて示されている。ボーカル無音区間検出部７０は、無音区間およびその種類を出力する。
【００４８】
表示単位行分割部８０は、音響再生時に、一時に、表示またはハイライト表示される表示単位の行を決定するものである（図４、Ｓ１８）。表示単位行分割部８０は、息継ぎで区切られる区間を１つまたは複数結合して所望のルールに基づいて表示単位行を決定して良い。最大文字数が１８文字であるというのも１つのルールであって良い。既存の歌詞カードデータと表示単位区切りの例（この実施例で生成した結果を含む）を用いて、種々のパラメータから表示単位行を決定して良い。表示単位行は、改行コード等により記述されて良いけれども、これに限定されない。モデル学習部８０ａは改行位置モデルを学習するものであり、表示単位行分割部８０はこれを参照して良い。図１０は、表示単位行分割部８０によって分割した例を示す。この例では、２７文字のテキストを、息継ぎに準拠して、９文字、５文字、９文字、および６文字の表示単位行に分割している。
【００４９】
テキストマッチング部９０は、発音記号マッチング部６０から出力された時間情報付きの音声認識テキストデータを受け取り、さらに、歌詞テキストファイル入力部２０から入力された歌詞テキストデータを受け取り、両者をマッチングさせる（図４、Ｓ１９）。マッチングは一方のテキストを他方のテキストにマッチングさせるものであればどのようなものでもよい。この例では、編集距離（差分情報）が所定の閾値以下になるようにマッチングを行うけれども、これに限定されない。
【００５０】
この実施例では、音声認識テキストおよび歌詞テキストのマッチングを編集距離で評価して行うけれども、日本語で編集（一部変更）したのち、異なる言語（中間言語ともいう）、これ例では英語で翻訳を行い、翻訳文の間の編集距離を評価するようにしている。また、他の例では、日本語のままで編集距離を評価して良い。
【００５１】
まず、翻訳を介して間接的に編集距離を評価する例を説明する。この例では、マッチング対象となるテキスト間において
（１）漢字やカタカナなどの表記の違いを吸収する。
（２）日本語の単語の意味を考慮して編集距離を評価する。
（３）日本語以外のテキストのマッチングも行う。
という効果がある。
【００５２】
翻訳を介して間接的に編集距離を評価するために、日本語を同じ変換（翻訳）エンジンを用いて差分抽出に適した中間言語に置き換える。この実施例では、中間言語を英語とし、差分抽出エンジンとして、ＵＮＩＸ（商標）のｄｉｆｆコマンドを用いている。日本語を英語に翻訳後にｄｉｆｆコマンドを利用して差分抽出をおこなう。
【００５３】
ここでは、図１１の例に示すように、音声認識結果のテキスト（時間情報付き）と歌詞カードテキストがある場合を考える。
【００５４】
図１２は、英語の翻訳文で間接的に編集距離を求める動作例を示しており、図１２に示すように、まずは音声認識結果から部分切り出しを行い、歌詞カードテキストからセンテンスを切り出す（Ｓ１９１）。部分切り出し（マッチングを行う単位）を行う範囲は、１コーラス（前奏、間奏、後奏等で区切られるブロック）でもよいし、それより小さな単位でもよい。図１１の音声認結果テキストについてはコーラスのサイズで切り出しを行っているけれども（前奏、間奏、後奏の無音区間で区切られる）、これに限定されない。
【００５５】
切り出した音声認識結果のテキストおよび歌詞カードテキストは中間言語、この例では、英語に翻訳される（Ｓ１９１）。両テキストは同一の翻訳エンジンで翻訳される。つぎに、音声認識結果のテキストおよび歌詞カードテキストの翻訳結果について差分情報検出エンジンを用いて差分情報を形成し（Ｓ１９２）、編集距離を求める（Ｓ１９３）。この段階では、もともとの音声認識結果のテキストおよび歌詞カードテキスト（オリジナル、ワード置き換えなし）が対象となる。音声認識結果および歌詞カードテキストの翻訳結果は図１３（Ａ）に示すとおりであり、テキスト間の比較をワードごとに改行して示すと図１３（Ｂ）のようになり、差分情報は図１３（Ｃ）に示すとおりであり、編集距離は図１３（Ｄ）に示すように１２である。図１３（Ｄ）の例では、レーベンシュタイン距離を用いるけれども、これに限定されない。図１３（Ｃ）において、「差分情報」、例えば、「５，８ｃ５，６」は、左側のテキスト（ｆｉｌｅ１）の５〜８ワード目と、右側のテキスト（ｆｉｌｅ２）の５〜６ワードのテキストを変更（ｃ）することを示し、「ｆｉｌｅ１，ｆｉｌｅ２の変更数」の「４    ２」は、左側のテキスト（ｆｉｌｅ１）の変更数が４で、右側のテキスト（ｆｉｌｅ２）の変更数が２であることを示す。編集距離は、ｆｉｌｅ１の変更数およびｆｉｌｅ２の変更数の大きいほうをとる。
【００５６】
なお、図１３（Ｂ）において、「＜」は音声認識テキストの変更部分を示し、「＞」は歌詞カードテキストの変更部分を示す。また、図１３（Ｂ）、（Ｃ）、（Ｄ）において、差分情報は、Ｆｉｌｅ１とｆｉｌｅ２の差異がある位置を表す。記号のａは追加，ｄは削除，ｃは変更を意味する。記号の前にはｆｉｌｅ１の行番号が、記号の後にはｆｉｌｅ２の行番号が表示され、複数行に渡って差異がある場合は、差異開始行と差異終了行をコンマ（，）で区切って表示する。
【００５７】
つぎに編集距離が予め定められた閾値以下であるかどうかを判別する（Ｓ１９４）。閾値以下である場合には、音声認識結果のテキストと歌詞カードテキストとが成功裏に対応し、音声認識結果の表示単位行ごとに歌詞カードテキストを切り出し、切り出した部分を歌詞カードテキストの表示単位行としてＬＲＣファイル（図１参照）に書き出し、さらに、音声認識結果の表示単位行の最初のカナのタイムスタンプを、当該表示単位行のタイムスタンプとしてＬＲＣファイルに書き出す（Ｓ１９７）。こののち、つぎの区間のマッチングを行い、マッチング区間がない場合には処理を終了する（Ｓ１９９）。なお、タイムスタンプを予め定められた調整時間だけ早めたり、遅めたりして良い。
【００５８】
編集距離が予め定められた閾値より大きい場合にはステップＳ１９５に進み、マッチングが失敗かどうかを判別し、例えば、予め定められた回数だけ書き換えを行っても（ステップＳ１９６参照）編集距離が予め定められた閾値を上回っている場合には当該マッチング対象区間についてはマッチングが失敗であることを通知する（Ｓ１９８）。こののち、つぎの区間のマッチングを行い、マッチング区間がない場合には処理を終了する（Ｓ１９９）。
【００５９】
ステップＳ１９５において、マッチング失敗条件が満たされていない場合には、ステップ１７６に進み、一方のテキストの一部を他方のテキストの一部で変更する。この例では、音声認識結果のテキストの一部を歌詞カードテキストの一部で変更するけれども、その逆でも良い。音声認識結果のテキストを変更したのち、ステップＳ１９１に進み、音声認識結果のテキスト（変更済み）および歌詞カードテキスト（オリジナル）の翻訳結果について差分情報検出エンジンを用いて差分情報を形成し（Ｓ１９２）、編集距離を求める（Ｓ１９３）。この例では、図１４（Ａ）に示すように音声認識結果の「ねえや」を「姐や」に変更し、「おさと」を「お里」に変更した。変更後の音声認識結果のテキストは図１４（Ｂ）に示すとおりであり、その翻訳結果は図１４（Ｃ）のとおりである。歌詞カードテキストには変更がないのでその翻訳結果は図１３（Ａ）のままである。変更後の音声認識結果の翻訳と歌詞カードテキストの翻訳との差分情報は図１４（Ｄ）に示すとおりであり、編集距離は図１４（Ｅ）に示すように９となる。ステップＳ１９４において、この編集距離が予め定められた閾値を上回る場合は、ステップＳ１９５、Ｓ１９６に進み処理を繰り返す。ステップＳ１９４において、編集距離がステップＳ１９７の予め定められた閾値以下の場合は、ステップＳ１９７へ進み、マッチング結果を出力する。
【００６０】
ここでは、現在の編集距離の９が、ステップＳ１９４の閾値より大きく、再度、ステップＳ１９５を介してステップ１９６に進むものとする。
【００６１】
図１５は、音声認識結果のテキストをさらに変更する例を示す。この例では、さきほどの「ねえや」を「姐や」に変え、「おさと」を「お里」に変えたうえで、さらに、「ゆき」を「行き」に変え、「便り」を「たより」に変えている（図１５（Ａ））。どのような優先順位で、またどのような単位で変更していくかは適宜に選定して良い。テキスト中の順番でもよいし、文法情報（体言、用言等）であって良い。変更数は固定でも可変でも良い。
【００６２】
この場合、変更後の音声認識結果のテキストは図１５（Ｂ）に示すとおりであり、その翻訳結果は図１５（Ｃ）のとおりである。歌詞カードテキストには変更がないのでその翻訳結果は図１３（Ａ）のままである。変更後の音声認識結果の翻訳と歌詞カードテキストの翻訳との差分情報は図１５（Ｄ）に示すとおりであり、編集距離は図１５（Ｅ）に示すとおり５となる。この編集距離がステップＳ１９４の予め定められた閾値を上回る場合は、ステップＳ１９６に進み処理を繰り返す。編集距離がステップＳ１９４の予め定められた閾値以下の場合は、ステップＳ１９７へ進み、マッチング結果を出力する。
【００６３】
図１６は、音声認識結果のテキストをさらに他の態様で変更する例を示す。この例では、さきほどの「ねえや」を「姐や」に変え、「おさと」を「お里」に変えたうえで、さらに、「ゆき」を「行き」に変え、「耐え果て」を「絶えはて」に変えている（図１６（Ａ））。
【００６４】
この場合、変更後の音声認識結果のテキストは図１６（Ｂ）に示すとおりであり、その翻訳結果は図１６（Ｃ）のとおりである。歌詞カードテキストには変更がないのでその翻訳結果は図１３（Ａ）のままである。変更後の音声認識結果の翻訳と歌詞カードテキストの翻訳との差分情報は図１６（Ｄ）に示すとおりであり、編集距離は図１６（Ｅ）に示すように５となる。この編集距離がステップＳ１９４の予め定められた閾値を上回る場合は、ステップＳ１９６に進み処理を繰り返す。編集距離がステップＳ１９４の予め定められた閾値以下の場合は、ステップＳ１９７へ進み、マッチング結果を出力する。
【００６５】
図１７は、音声認識結果のテキストをさらに他の態様で変更する例を示す。この例では、「ねえや」を「姐や」に変え、「ゆき」を「行き」に変え、「おさと」を「お里」に変え、「便り」を「たより」に変え、「耐え果て」を「絶えはて」に変えている（図１７（Ａ））。変更後の音声認識結果のテキストは図１７（Ｂ）に示すとおりであり、歌詞カードテキストと同一となる。したがって、翻訳後の音声認識結果と歌詞カードテキストとの間の編集距離はゼロである。
【００６６】
以上のようにして、翻訳の間の編集距離が予め定められた値以下の場合に、マッチングが成功したと判断されて、マッチング区間において、歌詞カードの表示単位行およびそのタイムスタンプが出力される。マッチングが失敗した部分については失敗したことが通知される。マッチングが失敗した部分については歌詞ブロック分析部１１０（図２）を用いて補間して良い。
【００６７】
テキストマッチング部９０は、上述の例では、中間言語への翻訳を用いて差分情報を出力し、編集距離を出力しているけれども、中間言語への変換をおこなわずに、直接日本語のテキストから差分情報を出力し、編集距離を出力して良い。
【００６８】
図１８は、日本語テキストを用いて差分情報および編集距離を出力する例を示す。図１８の例では、図１８（Ａ）が音声認識結果のテキストを示し、図１８（Ｂ）が形態素解析によってワード区切りを行ったワード列を示す。図１８（Ｃ）は歌詞カードテキストを示し、図１８（Ｄ）が形態素解析によってワード区切りを行ったワード列を示す。それぞれワード区切りされた、音声認識結果のテキストおよび歌詞カードテキストの間のテキストの比較は図１８（Ｅ）に示すとおりであり、差分情報は図１８（Ｆ）に示すとおりであり、ワード置き換え候補は図１８（Ｆ）に示すとおりである。差分情報から編集距離を出力し（音声認識テキストの変更ワード数が７で、歌詞カードテキストの変更ワード数が４であるので、この例では編集距離が７である）、予め定められた閾値以下であれば、マッチングを成功とする。
【００６９】
なお、図１８のワード置き換え候補は図１２のステップＳ１７６の一部テキストの変更に利用できる。
【００７０】
図２の表示単位行同期情報決定部１００は、表示単位行分割部８０で決定された表示単位行およびテキストマッチング部９０で実行されたマッチング結果に基づいて表示単位行の同期情報（タイムスタンプ）を決定する（図４、Ｓ１９）。表示単位行のタイムスタンプは基本的には表示単位行に割り当てられた認識結果テキスト部分の先頭のカナに対応付けられたタイムスタンプであるけれども、これに限定されない。
【００７１】
図２の歌詞ブロック分析部１１０は、歌詞テキストファイル入力部２０から歌詞テキストを受け取って歌詞ブロックの分析を行う（図４、Ｓ２０）。図２０は歌詞カードデータからの情報抽出結果を示す。まず、図２０（Ａ）に示すように歌詞ブロック番号、コーラス番号、歌詞テキスト、ヘボン式ローマ字表記、前奏、間奏、後奏の別が抽出される。つぎに図２０（Ｂ）に示すように、歌詞ブロックの間の類似度を例えばレーベンシュタイン距離で評価し、距離の小さい歌詞ブロックの対を決定する。類似度は種々の手法で算出して良く、例えば、コサイン距離を用いても良い。この例では、各ブロックの間の距離は図２０（Ｂ）に示すとおりである。テキストマッチング部９０のマッチングが失敗した歌詞ブロックについては、レーベンシュタイン距離が予め定められた閾値以下であり類似すると判定できる場合には、他のマッチングに成功した歌詞ブロックから時間情報を流用する。
【００７２】
補間部１２０は、流用できる歌詞ブロックがある場合には、これに対応する表示単位行に対応するタイムスタンプを算出して付加する（図４、Ｓ２１）。この例では、第２コーラス（３行目および４行目）について時間情報が取得できなかった場合には、図２１に示すように、第１コーラス（１行目および２行目）または第４コーラス（第７行目および第８行目）から時間情報を補間して良い。
【００７３】
また、歌詞カードから省略されている繰り返しパートがある場合には、補間部１２０が、音声認識テキストを用いて、表示単位行のテキストおよび時間情報を補間して良い。図２２に示す例では、「ヘイヘイガール」、「ラララ  ラララ」の繰り返しが歌詞カードテキストでは省略されている（あるいはボーカルで追加されている）ので、この繰り返し部分のテキストおよび時間情報を補間してＬＲＣファイルに書き込む。この動作例を図２３に示す。
【００７４】
補間部１２０から出力されたデータはＬＲＣファイルとして同期情報ファイル出力部１３０から出力される。出力例は例えば図２６に示すようなものである。テキストを表示する装置の画面表示サイズに応じて異なるＬＲＣファイルを含み、装置に応じて異なる態様でテキストを表示して良い。表示開始時間の微調整（開始を遅らせたり早めたり）を装置ごとに設定して良い。
【００７５】
以上で実施例の説明を終了する。
【００７６】
なお、この発明は上述の実施例に限定されることなく、その趣旨を逸脱しない範囲で種々変更が可能である。例えば、この発明は、音声信号と表示対象テキストとを同期させる種々の用途に適用できる。例えば、ビデオコンテンツとセリフ（スクリプト）とを同期させてよい。記録した音声（音声付ビデオ）と音声認識結果とを同期させて再生する場合にも適用可能である。この発明は日本語に適用されるだけでなく、種々の言語に適用可能である。また、当業者は、特許請求の範囲の記載に従って種々の変更を行い、種々の実施例を実施でき、このような実施例も特許請求の範囲の記載に含まれることに留意されたい。
【符号の説明】
【００７７】
１０    音響データファイル入力部
２０    歌詞テキストファイル入力部
３０    ボーカル音声信号抽出部
４０    発音記号検出部
５０    音声認識部
６０    発音記号マッチング部
６０ａ    カナ確率テーブル
７０    ボーカル無音区間検出部
８０    表示単位行分割部
８０ａ    モデル学習部
９０    テキストマッチング部
１００    表示単位行同期情報決定部
１１０    歌詞ブロック分析部
１２０    補間部
１３０    同期情報ファイル出力部
１４０    同期情報ファイル記憶部
２００    同期情報生成装置
３００    コンピュータシステム
３０１    記録媒体
４００    外部装置
【図１】
2020012855.tif 000003
【図２】
2020012855.tif 000004
【図３】
2020012855.tif 000005
【図４】
2020012855.tif 000006
【図５】
2020012855.tif 000007
【図６】
2020012855.tif 000008
【図７】
2020012855.tif 000009
【図８】
2020012855.tif 000010
【図９】
2020012855.tif 000011
【図１０】
2020012855.tif 000012
【図１１】
2020012855.tif 000013
【図１２】
2020012855.tif 000014
【図１３】
2020012855.tif 000015
【図１４】
2020012855.tif 000016
【図１５】
2020012855.tif 000017
【図１６】
2020012855.tif 000018
【図１７】
2020012855.tif 000019
【図１８】
2020012855.tif 000020
【図１９】
2020012855.tif 000021
【図２０】
2020012855.tif 000022
【図２１】
2020012855.tif 000023
【図２２】
2020012855.tif 000024
【図２３】
2020012855.tif 000025
【図２４】
2020012855.tif 000026
【図２５】
2020012855.tif 000027
【図２６】
2020012855.tif 000028
【手続補正書】
【提出日】令和1年9月13日(2019.9.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段と、
上記音声信号を音声認識して音声認識テキストを出力する音声認識手段と、
上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付ける第１のマッチング手段と、
上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段と、
歌詞テキストと、上記音声認識手段から出力され上記テキスト分割手段で上記複数の行部分テキストに分割された上記音声認識テキストとを出現順序に沿ってマッチングして、上記音声認識テキストの上記複数の行部分テキストの各々に対応させて上記歌詞テキストから複数の行部分テキストを取り出す第２のマッチング手段と、
上記第１のマッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を、上記第２のマッチング手段によって上記音声認識テキストの上記複数の行部分テキストの各々に対応付けて取り出された、上記歌詞テキストの上記複数の行部分テキストの各々に関連付けて、上記歌詞テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有することを特徴とする歌詞用同期情報生成装置。
【請求項２】
楽曲信号から上記音声信号を抽出する音声信号抽出手段をさらに有する請求項１記載の歌詞用同期情報生成装置。
【請求項３】
上記音声特徴検出手段は、上記楽曲信号の開始時点からの時間を上記時間情報として出力する請求項２記載の歌詞用同期情報生成装置。
【請求項４】
上記音声特徴検出手段は、上記音声特徴記号として発音記号を出力する請求項１〜３のいずれかに記載の歌詞用同期情報生成装置。
【請求項５】
上記音声認識手段は、上記音声信号の出力が小さい部分で上記音声信号を分割して分割部分単位で音声認識を行う請求項１〜４のいずれかに記載の歌詞用同期情報生成装置。
【請求項６】
上記音声特徴検出手段は、上記音声信号に現れる典型的な音声特徴を決定して、当該典型的な音声特徴が検出されやすいように上記音声信号を補正する請求項１〜５のいずれかに記載の歌詞用同期情報生成装置。
【請求項７】
上記第１のマッチング手段は、上記典型的な音声特徴に対応して検出された、上記典型的な音声特徴に対応する音声特徴記号を上記音声認識手段から出力された上記音声認識テキストにマッチングし、上記表示タイミング決定手段は、上記典型的な音声特徴に対応して検出された、上記典型的な音声特徴に対応する音声特徴記号に割り当てられた時間情報を利用して、上記複数の行部分テキストの各々の表示タイミングを決定する請求項６記載の歌詞用同期情報生成装置。
【請求項８】
上記第２のマッチング手段は、上記歌詞テキストおよび上記音声認識手段から出力された上記音声認識テキストに対応する編集距離に基づいてマッチングを行う請求項１〜７のいずれかに記載の歌詞用同期情報生成装置。
【請求項９】
上記第２のマッチング手段は、上記歌詞テキストの異なる言語への翻訳および上記音声認識手段から出力された上記音声認識テキストの上記異なる言語への翻訳の間の編集距離に基づいてマッチングを行う請求項８に記載の歌詞用同期情報生成装置。
【請求項１０】
上記音声認識手段は日本語を音声認識して日本語の上記音声認識テキストを出力し、上記第２のマッチング手段は、日本語の上記歌詞テキストと上記音声認識手段から出力された日本語の上記音声認識テキストとをマッチングする請求項９のいずれかに記載の歌詞用同期情報生成装置。
【請求項１１】
上記異なる言語は英語である請求項１０のいずれかに記載の歌詞用同期情報生成装置。
【請求項１２】
上記テキスト分割手段は、上記音声信号が実質的にゼロになる間隔に基づいて上記テキストを複数の上記行部分テキストに分割する請求項１〜１１のいずれかに記載の歌詞用同期情報生成装置。
【請求項１３】
上記テキスト分割手段は、上記部分テキストの文字数の許容範囲に基づいて上記部分テキストを分割する請求項１２に記載の歌詞用同期情報生成装置。
【請求項１４】
歌詞テキストを複数のコーラス部分の間の比較を行い、比較結果に基づいて時刻情報を取得できなかった行部分テキストの表示タイミングを補間する表示タイミング補間手段をさらに有する請求項１〜１３のいずれかに記載の歌詞用同期情報生成装置。
【請求項１５】
上記音声認識手段の音声認識結果に含まれ、上記歌詞テキストに含まれない追加テキストがある場合にこれに基づいて行部分テキストを追加生成し、当該追加生成した行部分テキストの各々に表示タイミングを割り当てる請求項１〜１４のいずれかに記載の歌詞用同期情報生成装置。
【請求項１６】
音声特徴検出手段が、音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力するステップと、
音声認識手段が、上記音声信号を音声認識して音声認識テキストを出力するステップと、
第１のマッチング手段が、上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付けるステップと、
テキスト分割手段が、上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するステップと、
第２のマッチング手段が、歌詞テキストと、上記音声認識手段から出力され上記テキスト分割手段で上記複数の行部分テキストに分割された上記音声認識テキストとを出現順序に沿ってマッチングして、上記音声認識テキストの上記複数の行部分テキストの各々に対応させて上記歌詞テキストから複数の行部分テキストを取り出すステップと、
表示タイミング決定手段が、上記第１のマッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を、上記第２のマッチング手段によって上記音声認識テキストの上記複数の行部分テキストの各々に対応付けて取り出された、上記歌詞テキストの上記複数の行部分テキストの各々に関連付けて、上記歌詞テキストの上記複数の行部分テキストの各々の表示タイミングを決定するステップとを有することを特徴とする歌詞用同期情報生成方法。
【請求項１７】
コンピュータを、
音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段、
上記音声信号を音声認識して音声認識テキストを出力する音声認識手段、
上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付ける第１のマッチング手段、
上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段、
歌詞テキストと、上記音声認識手段から出力され上記テキスト分割手段で上記複数の行部分テキストに分割された上記音声認識テキストとを出現順序に沿ってマッチングして、上記音声認識テキストの上記複数の行部分テキストの各々に対応させて上記歌詞テキストから複数の行部分テキストを取り出す第２のマッチング手段、および、
上記第１のマッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を、上記第２のマッチング手段によって上記音声認識テキストの上記複数の行部分テキストの各々に対応付けて取り出された、上記歌詞テキストの上記複数の行部分テキストの各々に関連付けて、上記歌詞テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段
として実現させるために使用される歌詞用同期情報生成用コンピュータプログラム。
【請求項１８】
音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段と、
上記音声信号を音声認識して音声認識テキストを出力する音声認識手段と、
上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付ける第１のマッチング手段と、
上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段と、
表示対象テキストと、上記音声認識手段から出力され上記テキスト分割手段で上記複数の行部分テキストに分割された上記音声認識テキストとを出現順序に沿ってマッチングして、上記音声認識テキストの上記複数の行部分テキストの各々に対応させて上記表示対象テキストから複数の行部分テキストを取り出す第２のマッチング手段と、
上記第１のマッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を、上記第２のマッチング手段によって上記音声認識テキストの上記複数の行部分テキストの各々に対応付けて取り出された、上記表示対象テキストの上記複数の行部分テキストの各々に関連付けて、上記表示対象テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有することを特徴とするテキスト表示用同期情報生成装置。
【請求項１９】
上記表示対象テキストはビデオコンテンツのセリフのテキストである請求項１８記載のテキスト表示用同期情報生成装置。
【請求項２０】
音声特徴検出手段が、音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力するステップと、
音声認識手段が、上記音声信号を音声認識して音声認識テキストを出力するステップと、
第１のマッチング手段が、上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付けるステップと、
テキスト分割手段が、上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するステップと、
第２のマッチング手段が、表示対象テキストと、上記音声認識手段から出力され上記テキスト分割手段で上記複数の行部分テキストに分割された上記音声認識テキストとを出現順序に沿ってマッチングして、上記音声認識テキストの上記複数の行部分テキストの各々に対応させて上記表示対象テキストから複数の行部分テキストを取り出すステップと、
表示タイミング決定手段が、上記第１のマッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を、上記第２のマッチング手段によって上記音声認識テキストの上記複数の行部分テキストの各々に対応付けて取り出された、上記表示対象テキストの上記複数の行部分テキストの各々に関連付けて、上記表示対象テキストの上記複数の行部分テキストの各々の表示タイミングを決定するステップとを有することを特徴とするテキスト表示用同期情報生成方法。
【請求項２１】
コンピュータを、
音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段、
上記音声信号を音声認識して音声認識テキストを出力する音声認識手段、
上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付ける第１のマッチング手段、
上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段、
表示対象テキストと、上記音声認識手段から出力され上記テキスト分割手段で上記複数の行部分テキストに分割された上記音声認識テキストとを出現順序に沿ってマッチングして、上記音声認識テキストの上記複数の行部分テキストの各々に対応させて上記表示対象テキストから複数の行部分テキストを取り出す第２のマッチング手段、および、
上記第１のマッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を、上記第２のマッチング手段によって上記音声認識テキストの上記複数の行部分テキストの各々に対応付けて取り出された、上記表示対象テキストの上記複数の行部分テキストの各々に関連付けて、上記表示対象テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段
として実現させるために使用されるテキスト表示用同期情報生成用コンピュータプログラム。
【請求項２２】
音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段と、
上記音声信号を音声認識して音声認識テキストを出力する音声認識手段と、
上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付けるマッチング手段と、
上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段と、
上記マッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を用いて、上記音声認識テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有することを特徴とするテキスト表示用同期情報生成装置。
【請求項２３】
音声特徴検出手段が、音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力するステップと、
音声認識手段が、上記音声信号を音声認識して音声認識テキストを出力するステップと、
マッチング手段が、上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付けるステップと、
テキスト分割手段が、上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するステップと、
表示タイミング決定手段が、上記マッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を用いて、上記音声認識テキストの上記複数の行部分テキストの各々の表示タイミングを決定するステップとを有することを特徴とするテキスト表示用同期情報生成方法。
【請求項２４】
コンピュータを、
音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段、
上記音声信号を音声認識して音声認識テキストを出力する音声認識手段、
上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付けるマッチング手段、
上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段、および、
上記マッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を用いて、上記音声認識テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段
として実現させるために使用されるテキスト表示用同期情報生成用コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この発明の一側面によれば、上述の目的を達成するために、歌詞用同期情報生成装置を：音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段と；上記音声信号を音声認識して音声認識テキストを出力する音声認識手段と；上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付ける第１のマッチング手段と；上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段と；歌詞テキストと、上記音声認識手段から出力され上記テキスト分割手段で上記複数の行部分テキストに分割された上記音声認識テキストとを出現順序に沿ってマッチングして、上記音声認識テキストの上記複数の行部分テキストの各々に対応させて上記歌詞テキストから複数の行部分テキストを取り出す第２のマッチング手段と；上記第１のマッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を、上記第２のマッチング手段によって上記音声認識テキストの上記複数の行部分テキストの各々に対応付けて取り出された、上記歌詞テキストの上記複数の行部分テキストの各々に関連付けて、上記歌詞テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有するように構成している。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
この構成において、上記第２のマッチング手段は、上記歌詞テキストの異なる言語への翻訳および上記音声認識手段から出力されたテキストの上記異なる言語への翻訳の間の編集距離に基づいてマッチングを行って良い。適用言語は日本語であって良いけれども、これに限定されず、音声認識が可能で、テキスト表示でき、音声特徴を検出できるものであれば、どのような言語であっても良い。すなわち、上記音声認識手段は日本語を音声認識して日本語テキストを出力し、上記第２のマッチング手段は、日本語の上記歌詞テキストと上記音声認識手段から出力された日本語のテキストとをマッチングして良いけれども、これに限定されず種々の言語に適用して良い。適用言語が日本語の場合、上述の異なる言語は英語であって良いけれども、これに限定されない。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
この発明の他の側面によれば、テキスト表示用同期信号生成装置を：音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段と；上記音声信号を音声認識して音声認識テキストを出力する音声認識手段と；上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付ける第１のマッチング手段と；上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段と；表示対象テキストと、上記音声認識手段から出力され上記テキスト分割手段で上記複数の行部分テキストに分割された上記音声認識テキストとを出現順序に沿ってマッチングして、上記音声認識テキストの上記複数の行部分テキストの各々に対応させて上記表示対象テキストから複数の行部分テキストを取り出す第２のマッチング手段と；上記第１のマッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を、上記第２のマッチング手段によって上記音声認識テキストの上記複数の行部分テキストの各々に対応付けて取り出された、上記表示対象テキストの上記複数の行部分テキストの各々に関連付けて、上記表示対象テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有するように構成している。上記音声認識手段から出力されたテキストが適宜に分割されている場合には、テキスト分割手段を省略して良い。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、この発明の他の側面によれば、テキスト表示用同期情報生成装置を：音声信号から音声特徴を判別して、音声特徴記号と上記音声特徴の出現時刻の時間情報との対を順次に出力する音声特徴検出手段と；上記音声信号を音声認識して音声認識テキストを出力する音声認識手段と；上記音声特徴検出手段から出力された上記音声特徴記号と上記音声認識手段から出力された上記音声認識テキストとを出現順序に沿ってマッチングして上記音声認識テキストに上記時間情報を関連付けるマッチング手段と；上記音声認識手段から出力された上記音声認識テキストを複数の行部分テキストに分割するテキスト分割手段と；上記マッチング手段によって上記音声認識テキストに関連付けられた上記時間情報を用いて、上記音声認識テキストの上記複数の行部分テキストの各々の表示タイミングを決定する表示タイミング決定手段とを有するように構成している。上記音声認識手段から出力されたテキストが適宜に分割されている場合には、テキスト分割手段を省略して良い。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
発音記号検出部４０の動作例は、後述の音声認識の動作例とともに図５に示される。図５の動作例では、音声特徴抽出エンジンを用いて発音記号および出現時間情報を抽出し（Ｓ１３１）、検出された発音記号に対して類似発音記号単位でグルーピングを行い（クラスタ、Ｓ１３２）、出現頻度の高い発音記号のグループに対して典型的な発音記号の波形に近くなるように矯正を行い（Ｓ１３３）、矯正された音声信号に対して音声特徴抽出エンジンを用いて改めて出現時間情報を抽出する（Ｓ１３４）。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
図２の発音記号検出部４０は、発音記号および出現時間情報（タイムスタンプともいう）の対が順次に出力され、これは発音記号マッチング部６０に供給される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
テキストマッチング部９０は、発音記号マッチング部６０から出力された表示行単位に分割された時間情報付きの音声認識テキストデータを受け取り、さらに、歌詞テキストファイル入力部２０から入力された歌詞テキストデータを受け取り、両者をマッチングさせる（図４、Ｓ１９）。マッチングは一方のテキストを他方のテキストにマッチングさせるものであればどのようなものでもよい。この例では、編集距離（差分情報）が所定の閾値以下になるようにマッチングを行うけれども、これに限定されない。