(57)【要約】【課題】充実した音声コーパスを、短時間で低コストに構築可能にする。【解決手段】音声データ収集装置はテキストを表示装置上に表示する表示部（１１２）と、テキストが表示されているときに録音開始が指示されると、マイクからの音声信号のサンプリングを開始し、発話音声データをメモリに格納する録音部（１１４）と、録音終了指示信号を受けると録音された発話音声データに基づいて音声波形を表示する波形表示部（１２０）と、保存指示信号を受けると、メモリに格納された発話音声データをテキストと関連付けて記憶装置に格納する保存部（１２８）とを含む。【選択図】      図３
2006084965.tif 000002
【特許請求の範囲】
【請求項１】
表示装置、ユーザが操作可能な所定の入力装置、およびマイクロフォンに接続され、所定のテキストに対応する発話の音声データを収集する音声データ収集装置であって、
発話対象のテキストを前記表示装置上に表示するためのテキスト表示手段と、
前記表示装置上に発話対象のテキストが表示されているときに所定の録音開始指示信号を受けたことに応答して、前記マイクロフォンからの音声信号のサンプリングを開始し、サンプリングされた発話音声データを第１の記憶装置に格納するための音声録音手段と、
所定の録音終了指示信号に応答して、前記第１の記憶装置に格納されている発話音声データに基づいて音声波形を生成し前記表示装置上に表示するための波形表示手段と、
前記入力装置から所定の保存指示信号を受けたことに応答して、前記第１の記憶装置に格納された発話音声データを、前記所定のテキストと関連付けて第２の記憶装置に格納するための保存手段とを含む、音声データ収集装置。
【請求項２】
前記表示装置上に音声波形が表示されているときに録音開始指示信号を受けたことに応答して、前記マイクロフォンからの音声信号のサンプリングを開始し、サンプリングされた発話音声データで前記第１の記憶装置に格納されている発話音声データを置換するための音声再録音手段をさらに含む、請求項１に記載の音声データ収集装置。
【請求項３】
前記音声データ収集装置はさらにスピーカに接続され、
前記表示装置上に音声波形が表示されているときに所定の再生指示信号を受けたことに応答して、前記第１の記憶装置に格納されている発話音声データから発話音声を再生し、前記スピーカに与えるための再生手段をさらに含む、請求項１または請求項２に記載の音声データ収集装置。
【請求項４】
前記第１の記憶装置に格納される発話音声データが所定の信号レベル範囲内にあるか否かを判定するためのレベル判定手段をさらに含み、
前記波形表示手段は、前記録音終了指示信号に応答して、前記第１の記憶装置に格納されている発話音声データに基づいて音声波形を生成し、前記レベル判定手段による判定結果にしたがって、信号レベルが前記所定の信号レベル範囲内にあるか否かを視覚的に示すレベル判定情報とともに前記表示装置上に表示するための手段を含む、請求項１〜請求項３のいずれかに記載の音声データ収集装置。
【請求項５】
前記第１の記憶装置に格納される発話音声データのうち、発話部分を検出するための発話部分検出手段をさらに含み、
前記波形表示手段は、所定の録音終了指示信号に応答して、前記第１の記憶装置に格納されている発話音声データに基づいて音声波形を生成し、前記発話部分検出手段による検出結果にしたがって、前記音声波形のうちの発話部分を視覚的に示す発話部分マーカとともに前記表示装置上に表示するための手段を含む、請求項１〜請求項３のいずれかに記載の音声データ収集装置。
【請求項６】
前記入力装置から与えられる発話部分マーカの位置の変更指示に応答して、前記発話部分検出手段により検出された発話部分を当該変更指示にしたがって変更するための発話部分変更手段をさらに含む、請求項５に記載の音声データ収集装置。
【請求項７】
前記第１の記憶装置に格納される発話音声データと、前記表示装置上に表示されている発話対象テキストとの間の所定の音声単位でのアライメントを行ない、その結果を示すアライメントデータを生成するためのアライメント手段をさらに含み、
前記保存手段は、前記入力装置から保存指示信号を受けたことに応答して、前記第１の記憶装置に格納された発話音声データおよび前記アライメントデータを、前記所定のテキストと関連付けて第２の記憶装置に格納するための手段を含む、請求項１〜請求項６のいずれかに記載の音声データ収集装置。
【請求項８】
前記保存手段は、前記入力装置から保存指示信号を受けたことに応答して、前記第１の記憶装置に格納された発話音声データを、前記所定のテキストと関連付けて第２の記憶装置に格納し、さらに次の発話対象のテキストを前記表示装置に表示させるための手段を含む、請求項１〜請求項７のいずれかに記載の音声データ収集装置。
【請求項９】
コンピュータにより実行されると、請求項１〜請求項８のいずれかに記載の音声データ収集装置として当該コンピュータを動作させる、音声データ収集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、所定のテキストの読上音声を録音するための装置に関し、特に、音声コーパスのためのテキストを読上げた発話音声データを効率よく収集するための装置に関する。
【背景技術】
【０００２】
音声認識、音声合成などの音声関連技術においては、最近では統計的な手法が主流となっている。統計的な手法では、音声コーパスが重要である。統計的手法では、音声コーパスに含まれる音声データの量が多いほど、信頼性の高い処理が可能になる。そこで、できるだけ大きな音声コーパスを効率よく構築することが必要になる。
【０００３】
従来は以下のようにして音声コーパスが構築されている。まず専門家による監督のもと、一連のテキストを話者が連続して読上げ、その音声を録音する。さらにその音声データを専門家が手作業で一発話ごとに分離し、別ファイルとして保存する。そのように保存された各ファイルと、その発話に対応するテキストとの間でアライメントをとる処理が行なわれる。アライメントの結果にしたがい、音声データに音素ラベルなどの情報をコンピュータ読取可能な形式で付しておく。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
音声をデジタル化し、統計的手法の基礎データとして利用する場合、音声にノイズが入ることは避けなければならない。また、発話対象のテキストが大量にある場合、長期間にわたって録音が行なわれることもあり、録音機器の調子、および話者の体調などによっては録音時の音声レベルに変化が生じることがある。その結果、音声コーパスに蓄積される音声の質にばらつきが生じ、統計的手法の基礎データとして適切でなくなるおそれもある。また、発話すべきテキストを話者が間違えた場合には、統計的手法の前提となる音声コーパスそのものに誤りが混入することとなり問題である。
【０００５】
そのため従来は、専門家が話者による録音の状況を注意深く観察し、所定の測定機器の表示を見ながら、音声にノイズが混入したり、音声レベルが適正な範囲から逸脱したり、話者が間違ってテキストを読んだりしていないかをチェックする必要がある。そして、もしも適切な録音が行なわれていなければ、その発話の先頭から話者に録音を繰返させていた。
【０００６】
しかしこのような方法では、録音時に監督者にかかる負担が大きくなるという問題がある。そのため、一時には一人の話者の録音しかできず、複数の話者の音声データを収集しようとする場合には、監督者の数を増加させたり、収録に要する時間を長くとったりする必要がある。その結果、充実した音声コーパスを、短時間で低コストに構築することが困難であるという問題がある。
【０００７】
それゆえに本発明の一つの目的は、充実した音声コーパスを、短時間で低コストに構築可能とする音声データ収集装置およびそのためのプログラムを提供することである。
【０００８】
本発明の別の目的は、監督者の負担を軽減し、充実した音声コーパスを、短時間で低コストに構築可能とする音声データ収集装置およびそのためのプログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の局面に係る音声データ収集装置は、表示装置、ユーザが操作可能な所定の入力装置、およびマイクロフォンに接続され、所定のテキストに対応する発話の音声データを収集する音声データ収集装置であって、発話対象のテキストを表示装置上に表示するためのテキスト表示手段と、表示装置上に発話対象のテキストが表示されているときに所定の録音開始指示信号を受けたことに応答して、マイクロフォンからの音声信号のサンプリングを開始し、サンプリングされた発話音声データを第１の記憶装置に格納するための音声録音手段と、所定の録音終了指示信号に応答して、第１の記憶装置に格納されている発話音声データに基づいて音声波形を生成し表示装置上に表示するための波形表示手段と、入力装置から所定の保存指示信号を受けたことに応答して、第１の記憶装置に格納された発話音声データを、所定のテキストと関連付けて第２の記憶装置に格納するための保存手段とを含む。
【００１０】
表示装置上に発話対象のテキストが表示される。ユーザがそのテキストを見ながら発話すると、その音声がサンプリングされ録音される。さらに、録音された発話の音声波形が画面上に表示される。ユーザはこの波形を見て録音状態を確認できる。したがって、この装置を用いれば、テキストに対する発話音声をユーザの操作により良好な形で収集することができる。監督者による監督は最低限でよい。
【００１１】
好ましくは、音声データ収集装置は、表示装置上に音声波形が表示されているときに録音開始指示信号を受けたことに応答して、マイクロフォンからの音声信号のサンプリングを開始し、サンプリングされた発話音声データで第１の記憶装置に格納されている発話音声データを置換するための音声再録音手段をさらに含む。
【００１２】
音声波形が表示されているときに録音開始指示信号を発生させることで、既に一度録音されている発話音声データを新たな発話音声データで置換できる。好ましい録音が得られるまで繰返し同じテキストに対する発話の録音を行なうことができる。その結果、テキストに対し、良好に録音された発話音声データを容易に収集できる。
【００１３】
さらに好ましくは、音声データ収集装置はさらにスピーカに接続されており、音声データ収集装置は、表示装置上に音声波形が表示されているときに所定の再生指示信号を受けたことに応答して、第１の記憶装置に格納されている発話音声データから発話音声を再生し、スピーカに与えるための再生手段をさらに含む。
【００１４】
録音された音声波形が再生手段により再生される。ユーザはこの再生音声により、録音が良好に行なえたか否かを容易に判定できる。
【００１５】
より好ましくは、音声データ収集装置は、第１の記憶装置に格納される発話音声データが所定の信号レベル範囲内にあるか否かを判定するためのレベル判定手段をさらに含み、波形表示手段は、録音終了指示信号に応答して、第１の記憶装置に格納されている発話音声データに基づいて音声波形を生成し、レベル判定手段による判定結果にしたがって、信号レベルが所定の信号レベル範囲内にあるか否かを視覚的に示すレベル判定情報とともに表示装置上に表示するための手段を含む。
【００１６】
録音された波形が適正レベルにあるか否かが判定され、その結果が視覚的に表示される。ユーザは録音レベルが適正かどうかを判定でき、必要であれば録音をし直すことができる。その結果、収集される発話音声データは適正なレベルのものとなり、発話音声データの品質が向上する。
【００１７】
音声データ収集装置は、第１の記憶装置に格納される発話音声データのうち、発話部分を検出するための発話部分検出手段をさらに含んでもよく、波形表示手段は、所定の録音終了指示信号に応答して、第１の記憶装置に格納されている発話音声データに基づいて音声波形を生成し、発話部分検出手段による検出結果にしたがって、音声波形のうちの発話部分を視覚的に示す発話部分マーカとともに表示装置上に表示するための手段を含んでもよい。
【００１８】
発話部分とそうでない領域とが分けられて音声波形とともに表示される。例えばノイズが誤って発話として認識されたり、本来は発話であるはずの部分が発話部分として検出されなかったりした場合にも容易にそれらの誤りを確認できる。必要に応じて録音をし直すことも可能になり、収集される音声データの品質が向上する。
【００１９】
好ましくは、音声データ収集装置は、入力装置から与えられる発話部分マーカの位置の変更指示に応答して、発話部分検出手段により検出された発話部分を当該変更指示にしたがって変更するための発話部分変更手段をさらに含む。
【００２０】
発話部分が誤って検出された場合に、それを訂正できる。発話部分の切出、テキストとのアライメントなどにおける誤りを防止できる。
【００２１】
さらに好ましくは、音声データ収集装置は、第１の記憶装置に格納される発話音声データと、表示装置上に表示されている発話対象テキストとの間の所定の音声単位でのアライメントを行ない、その結果を示すアライメントデータを生成するためのアライメント手段をさらに含み、保存手段は、入力装置から保存指示信号を受けたことに応答して、第１の記憶装置に格納された発話音声データおよびアライメントデータを、所定のテキストと関連付けて第２の記憶装置に格納するための手段を含む。
【００２２】
テキストと発話音声データとの間で所定の音声単位でのアライメントを自動的に行ない、アライメントデータを保存できる。この装置だけでアライメント済みの発話音声データを作成できる。音響モデルの学習などにこの発話音声データとアライメントデータとを利用できる。
【００２３】
保存手段は、入力装置から保存指示信号を受けたことに応答して、第１の記憶装置に格納された発話音声データを、所定のテキストと関連付けて第２の記憶装置に格納し、さらに次の発話対象のテキストを表示装置に表示させるための手段を含んでもよい。
【００２４】
発話対象のテキストを一つずつ処理し、それらに対する発話音声データがそれぞれ第２の記憶装置に記憶される。従来のように全文を一度に録音し、それを後に手作業で分離していく必要はない。
【００２５】
本発明の第２の局面に係る音声データ収集プログラムは、コンピュータにより実行されると、上記したいずれかの音声データ収集装置として当該コンピュータを動作させるものである。
【発明を実施するための最良の形態】
【００２６】
［構成］
図１は、本発明の一実施の形態に係る音声データ収集装置４２を含む音声データ収集システム３０の構成をブロック図形式で示したものである。図１を参照して、音声データ収集システム３０は、話者が読上げる複数のテキストが記録された発話ファイルを記憶したテキスト記憶装置４０と、テキスト記憶装置４０からテキストファイルを読出し、一発話分ずつ話者に提示して発話させることにより、一文ずつ音声データファイルを作成するための、本実施の形態に係る音声データ収集装置４２と、音声データ収集装置４２の出力する音声データファイルを記憶するための音声データファイル記憶装置４４とを含む。
【００２７】
後述するように音声データ収集システム３０はコンピュータにより実現可能であるが、その場合にはテキスト記憶装置４０と音声データファイル記憶装置４４とはハードディスクなどの不揮発性記憶装置により実現される。両者が物理的に同一の記憶装置により実現されてもよい。
【００２８】
また、発話テキストファイルとしては、本実施の形態ではプレーンテキストファイルを用いる。一つのファイルは複数の発話テキストを含む。各発話テキストの間は改行コードで分離されている。テキストの読出時には、改行に遭遇するまでファイルからテキストを読出すことで、ファイル中のテキストを順に一つずつ取出すことができる。
【００２９】
音声データ収集システム３０はさらに、音声データ収集装置４２に接続され、音声データ収集装置４２が、次に発話すべきテキストを話者に提示したり、録音結果の音声波形を提示したりする際に使用するモニタ４６と、音声データ収集装置４２に接続され、話者が音声を録音する際に使用するマイクロフォン４８と、音声データ収集装置４２に接続され、音声データ収集装置４２が話者の録音を再生する際に使用するスピーカ５０と、話者が音声データ収集装置４２に指示を与えるために使用する、マウス、キーボードなどからなる入力装置５２とを含む。
【００３０】
図２に、音声データ収集装置４２のより詳細な構成を機能ブロック図として示す。図２を参照して、音声データ収集装置４２は、バス７２と、入力装置５２に接続され、入力装置５２を介してユーザにより与えられる指示にしたがい、以下に述べる各機能部の動作シーケンスを制御するためのシーケンス制御部７０と、いずれもバス７２に接続されたメモリ７６およびメモリ８６と、バス７２に接続され、ユーザにより指定されたテキストファイルをテキスト記憶装置４０から読出してバス７２を介してメモリ７６にロードするためのロードモジュール７４とを含む。
【００３１】
音声データ収集装置４２はさらに、シーケンス制御部７０からの指示にしたがい、音声データ収集装置４２の各機能部により生成された情報をモニタ４６に出力するための表示部７８と、シーケンス制御部７０を介して与えられるユーザの指示にしたがい、マイクロフォン４８からの音声を録音し、対応するテキストとともにメモリ８６に格納するための録音部８０とを含む。これらはいずれもバス７２に接続されている。
【００３２】
音声データ収集装置４２はさらに、録音部８０およびメモリ８６に接続され、録音部８０が録音しメモリ８６に格納する音声信号のうち、音声部分を検出する機能と音声のボリュームが所定の範囲を逸脱していないか否かを判定する機能とを行なうためのボリュームチェック部８２と、録音部８０、ボリュームチェック部８２およびバス７２に接続され、録音部８０が録音した音声と対応するテキストとの間でビタビアライメントを行ない、音声とメモリ７６内に格納されたテキストの音素との間の対応付けを行ないアライメントデータを作成するためのビタビアライメント部８４とを含む。
【００３３】
音声データ収集装置４２はさらに、入力装置５２およびシーケンス制御部７０を介してユーザから与えられる、後述する発話部分のマーカの訂正入力に応答して、メモリ８６に格納された音声情報のうち発話位置を示す情報を訂正するための調整部８８と、シーケンス制御部７０から音声再生の指示を受けたことに応答して、メモリ８６から音声データを読出し、アナログの音声信号に変換してスピーカ５０に与えるための再生部９０と、シーケンス制御部７０から音声データの格納を指示されたことに応答して、メモリ８６に保持されている音声データ、対応するテキストデータ、アライメントデータその他の関連データを音声データファイル記憶装置４４に書出すための格納処理部９２とを含む。
【００３４】
図３は、シーケンス制御部７０により実現される、音声データ収集装置４２の動作シーケンスを示すフローチャートである。シーケンス制御部７０は、この図に示されるフローチャートにしたがって音声データ収集装置４２の動作ステータスが変化するように音声データ収集装置４２の各部を制御する。この図により、音声データ収集装置４２の動作も説明できる。
【００３５】
図３および図２を参照して、このシーケンスによれば、まずステップ１１０でロードモジュール７４を制御して発話テキストファイルをテキスト記憶装置４０から読出し、メモリ７６にロードする。ステップ１１２で、次の発話テキスト（ロード直後には先頭の発話テキスト）をメモリ７６から読出し、表示部７８を制御してモニタ４６に表示させる。
【００３６】
続いてユーザからの録音指示に応答してステップ１１４に進み、録音部８０を制御して、マイクロフォン４８から電気信号の形で与えられる音声信号をサンプリングさせ、所定のデータ形式でメモリ８６に記録させる。このサンプリングは、３０ミリ秒のフレーム長で、かつ１０ミリ秒ごとにフレーム位置をずらしながら行なう。
【００３７】
録音が終了すると、ステップ１１６において、メモリ８６に格納された録音データを調べ、発話レベルが適正レベルを超えているか否かをボリュームチェック部８２により判定する。またボリュームチェック部８２により、録音データのうちで発話部分がどこかを音声波形の振幅の大きさによって判定する。ステップ１１８において、録音データと、対応する発話テキストとの対応付けをビタビアライメント部８４によって行ない、そのアライメント情報をラベルとして音声データの各フレームに付してメモリ８６に格納する。
【００３８】
次に、ステップ１２０で、表示部７８を制御し、メモリ８６に記憶されている音声データの波形を、対応するテキストとともにモニタ４６に表示させる。この表示時、ボリュームチェックで音声のレベルが過大な個所が検出されたときには、適正レベルで音声波形をクリップするとともに、適正レベルを示す枠を赤色でモニタ４６に表示させる。また、音声波形のうち、ボリュームチェック部８２が検出した発話領域については、それを示すマーカをモニタ４６に表示させる。この後、ユーザからの指示待ちになる。
【００３９】
なお、図２および図３には図示していないが、音声データ収集装置４２は再生モードと発話領域の訂正モードとの二つの動作モードの切替が可能である。再生モードではマーカが付された部分に関し、再生部９０による音声再生が行なえる。発話領域の訂正モードでは、マーカ位置を訂正することにより、発話領域を訂正することができる。
【００４０】
ステップ１２２において、ユーザからの入力がどのようなものであるかを判定する。もしも動作モードが再生モードで、マーカの入力が行なわれるとステップ１２４に進み、音声波形のうち、指定されたマーカ部分を再生部９０およびスピーカ５０を用いて再生する。この後ステップ１２０に戻り、波形表示をしてユーザの入力を待つ。
【００４１】
ステップ１２２において、もしも動作モードが発話領域の訂正モードでマーカの入力が行なわれると、ステップ１２６に進み、調整部８８を用いてメモリ８６に格納されている音声データを修正して、指定された発話領域に一致させる。この後、ステップ１２４に進む。以後の処理は前述したとおりである。
【００４２】
ステップ１２２において、もしも後述する保存（SAVE  &  NEXT）ボタンが押された場合には、メモリ８６に保持されている音声データ、対応するテキスト、アライメントデータ、ラベルなどをまとめて音声データファイル記憶装置４４に書出す。この後、ステップ１３０で、メモリ７６にロードされている発話テキストファイルの全ての発話テキストに対する処理が完了したか否かを判定する。もしも完了していれば処理を終了する。完了していなければステップ１１２に戻り、次の発話テキストをメモリ７６から読出して表示する。以下、上記した処理を発話テキストごとに繰返す。
【００４３】
ステップ１２２で「録音」ボタンが押されたと判定されると、ステップ１１４に戻り、再度同じ発話テキストを用いた録音を繰返す。
【００４４】
以上がシーケンス制御部７０により実現される音声データ収集装置４２の各部の動作シーケンスの内容である。上の記載からまた、音声データ収集装置４２の一般的動作も明らかとなったと思われる。
【００４５】
［動作］
本装置の動作は、図３を参照して説明したとおりである。したがって、ここではその詳細は繰返さない。
【００４６】
［コンピュータによる実現］
−コンピュータプログラムの制御構造−
上記した音声データ収集装置４２は、コンピュータハードウェアと、そのコンピュータ上で実行されるコンピュータプログラムとにより実現可能である。図４および図５に、そのためのプログラムの概略の制御構造をフローチャート形式で示す。なお、このプログラムは、ＧＵＩ（グラフィカル・ユーザ・インタフェース）を採用したものである。したがって、モニタ４６に表示されたＧＵＩ部品（ボタン、メニュー項目などのオブジェクト）をユーザが操作すると、そのＧＵＩ部品のその操作について予め定義されていたプログラム（メソッド）が実行される。ユーザ操作によって対応するメソッドを呼出し実行するメカニズムは、ＯＳ（オペレーティング・システム）と、ユーザプログラムと、ＯＳまたはユーザプログラムとは別にコンピュータにインストールされ、プログラムの実行時に動的に呼出されるモジュールなどと、場合によってはＯＳの上で動作する仮想コンピュータ環境などとの協働によって実現される。
【００４７】
図４を参照して、まずステップ１５０でファイルオープンのダイアログを表示する。ここでは、ＯＳが用意したファイルオープンのダイアログを呼出せばよい。テキスト属性のファイルのみをダイアログで表示するように、いわゆるフィルタ処理をしてもよい。フィルタ処理は多くのＯＳで提供されている機能である。
【００４８】
続いてステップ１５２では、ファイルオープンダイアログでユーザがファイルのオープンをキャンセルし、処理の終了を選択したか否かを判定する。終了が選択されていればプログラムを終了させる。それ以外の場合、すなわちファイルが選択された場合にはステップ１５４に進む。
【００４９】
ステップ１５４では、ダイアログで指定されたファイルをメモリ７６にロードする。ステップ１５６では、メモリ７６にロードしたファイルから、発話テキストの読出を試みる。ステップ１５８では、ステップ１５６の処理の結果、ファイルの末尾を示すＥＯＦ（Ｅｎｄ  Ｏｆ  Ｆｉｌｅ）マークを読出したか否かを判定する。ＥＯＦを読出した場合には処理対象の発話テキストがなくなったということであるから処理を終了する。発話テキストの読出に成功した場合、ステップ１６０に進む。
【００５０】
ステップ１６０では、保存ボタンを不能化し、操作できないようにする。また録音ボタンを可能化し、ユーザが録音の指示を行なうことができるようにする。さらに、音声データ収集装置４２の動作モードを再生モードに設定する。
【００５１】
この後、ステップ１６２で録音の初期画面を表示する。この画面では、読出した発話テキストを表示し、ユーザの操作を待つ。
【００５２】
続いて、図５を参照し、ステップ１６４で何らかのイベントが生じたか否かを判定する。ここでイベントとは、操作可能なＧＵＩ部品のいずれかをユーザが操作したり、何らかのモジュールがメッセージを発行したりしたことによって、ＯＳ等からこのプログラムに与えられる通知のことをいう。ここでは、録音（START）ボタンの操作、録音終了（STOP）ボタンの操作、モード切替の操作、マーカ入力の操作、および保存（SAVE  &  NEXT）ボタンの操作のいずれかがイベントとして発生するものとする。制御は、これらイベントに対応してそれぞれステップ１７０、１８０、２００、２０２、および２１０に分岐する。
【００５３】
ステップ１７０では、画面上で録音ボタンを録音終了ボタンにトグルさせる。すなわち、録音ボタンの表示を録音終了ボタンに変え、その機能を録音ボタンから録音終了ボタンに切替える。この処理により、録音ボタンが不能化され、録音終了ボタンが可能化される。
【００５４】
続いてステップ１７２で録音を開始し、ステップ１６４に戻る。録音は、具体的には録音を行なうためにＯＳなどにより準備されている機能をＡＰＩ（Application Programming Interface）を用いて呼出すことにより行なわれる。
【００５５】
録音終了ボタンが操作された場合、ステップ１８０で録音終了ボタンを録音ボタンにトグルさせる。ステップ１８２で録音を終了させる。すなわち、ステップ１７２で録音のためのＡＰＩにより呼出された機能を別のＡＰＩを用いて停止させる。
【００５６】
ステップ１８４で、録音された音声データのレベルを調べ、発話領域の検出と、発話領域を示すラベルの音声データへの付与とを行なう。続いてステップ１８６で、音声データのレベルを調べ、適正なレベル範囲を逸脱した個所がないかどうかを判定する。逸脱した個所があれば、その音声データのフレームにボリュームチェックのラベルを付す。
【００５７】
ステップ１８８では、この発話に対応するテキストと、音声データとの間でビタビアライメントを行ない、音声データのどの部分がテキストのどの音素に対応するかを判定する。判定結果に応じ、音声データの各フレームに、対応する音素を示すラベル付けを行なう。このアライメント処理では話者の音声を学習データとして学習済みの音響モデルなどが必要であるが、アライメント自体には公知のアルゴリズムを使用できる。さらに本実施の形態では、音声データに対応するテキストが分かっているのでアライメントはさらに容易に行なえる。
【００５８】
ステップ１９０では、録音された音声データを視覚化した音声波形をモニタ４６に表示する。このとき、画面の他の部分の表示もリフレッシュされる。また同時に、発話領域を示すマーカが表示される。もしもボリュームチェックの結果適正レベルを逸脱した個所があれば、波形全体はその適正レベルを上限または下限としてクリップされ、さらに適正レベルを示す矩形が波形を囲むように表示される。この後ステップ１６４に戻る。
【００５９】
ステップ１６４でイベントがモード切替のイベントであると判定されると、ステップ２００において動作モードが再生モードであれば訂正モードに、訂正モードであれば再生モードに、トグルされる。この後ステップ１６４に戻る。
【００６０】
ステップ１６４でイベントがマーカ入力であると判定されると、ステップ２０２で音声データ収集装置４２の動作モードが再生モードか否かが判定される。再生モードであればステップ２０６で音声データのうちマーカで示された部分を再生しステップ１６４に戻る。再生モードでなければステップ２０４で発話領域を示すマーカを訂正し、ステップ２０６に進む。ステップ２０６でマーカ部分、すなわち発話領域の再生を行ない、ステップ１６４に戻る。
【００６１】
ステップ１６４で保存ボタンが操作されたと判定された場合、ステップ２１０においてテキストおよびアラインメント済みでラベルが付された音声データが音声データファイル記憶装置４４に格納される。この後、図４のステップ１５６に戻り、次のテキストを読出してステップ１５８以下の処理を繰返す。
【００６２】
以上が、本実施の形態に係る音声データ収集装置４２をコンピュータにより実現させるためのコンピュータプログラムの概略制御構造である。
【００６３】
−コンピュータハードウェア−
図６はこの実施の形態に係る音声データ収集システム３０を実現するコンピュータシステム３３０の外観を示し、図７はコンピュータシステム３３０の内部構成を示す。
【００６４】
図６を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２と、マイクロフォン３７０と、スピーカ３７２とを含む。これらのうち、キーボード３４６およびマウス３４８は図１および図２に示す入力装置５２に相当する。モニタ３４２、マイクロフォン３７０およびスピーカ３７２はそれぞれ、図１および図２に示すモニタ４６、マイクロフォン４８およびスピーカ５０に相当する。
【００６５】
図７を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、図示しないプリンタを含んでいる。
【００６６】
ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００６７】
コンピュータシステム３３０に音声データ収集システム３０（および音声データ収集装置４２）としての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【００６８】
このプログラムは、コンピュータ３４０にこの実施の形態の音声データ収集装置４２としての動作を行なわせる複数の命令を含む。この方法を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するＯＳまたはサードパーティのプログラム、もしくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した音声データ収集装置４２を実現する命令のみを含んでいればよい。コンピュータシステム３３０の動作は周知であるので、ここでは繰返さない。
【００６９】
−ＧＵＩ画面−
図８に、本実施の形態において音声データ収集システム３０に表示されるＧＵＩ画面１８０を示す。図８を参照して、このＧＵＩ画面１８０は、メニュー領域に配置されたファイルメニュー１９０と、ファイルの保存時に操作される保存ボタン１９２と、録音時のレベルを示すレベルメータ１９４と、録音／録音終了ボタン１９６とを含む。録音／録音終了ボタン１９６は、録音可能なときには録音ボタンとなり、録音中には録音終了ボタンとなるようにプログラムによりトグルされる。またファイルメニュー１９０をクリックすることにより、再生モードと訂正モードとの双方の項目を含む動作モード切替のプルダウンメニューが表示される。どちらかを選択することで音声データ収集装置４２の動作モードが再生モードと訂正モードとの間でトグルする。
【００７０】
ＧＵＩ画面１８０はさらに、処理中の発話テキストのＩＤ（識別名）表示領域１９８と、処理中の発話テキストの表示領域２００と、処理中の発話テキストの保存先ファイル名の表示領域２０２と、録音した音声データの時間軸に対する波形２０６をレベルとともに表示する波形表示領域２０４と、音声データのうち、発話データとして保存される部分を示す保存領域マーカ２０８とを含む。保存領域マーカ２０８は、ボリュームチェック部８２により検出された発話領域２１０と、その前後の所定長さの無音領域２１２とを含む。本実施の形態では、二つの無音領域２１２の長さはいずれも、発話領域２１０の長さの半分に選ばれている。
【００７１】
なお、本実施の形態では、保存先ファイル名は、所定の文字列（これは操作者により指定可能である。図８の場合は「speechfile_demo」）に発話テキストのＩＤを付し、さらにサンプリングレートを拡張子の形で付したものを保存ファイル名としている。
【００７２】
以下、動作の各局面におけるＧＵＩ画面１８０の状態について説明する。図９は、図４のステップ１６２で表示される画面の例である。ファイルメニュー１９０が可能化され、録音／録音終了ボタン１９６は録音ボタンに設定される。ＩＤ表示領域１９８、表示領域２００、および保存先ファイル名の表示領域２０２にはそれぞれ、現在処理対象の発話テキストのＩＤ、発話テキスト、および処理対象の発話テキストが保存されるファイル名、がそれぞれ表示されている。
【００７３】
図１０は、録音中のＧＵＩ画面１８０の表示例である。録音中には録音／録音終了ボタン１９６は録音終了ボタンとなり、録音ボタンとしての機能は果たさない。また録音中にはレベルメータ１９４が録音レベルをリアルタイムで示している。
【００７４】
図９に示すように、録音可能なときには録音／録音終了ボタン１９６は録音ボタンとなっており、録音終了ボタンとしての機能は果たさない。また図１０に示すように、録音中には録音／録音終了ボタン１９６は録音終了ボタンとなり、録音ボタンとしての機能を果たさない。したがってプログラムはこれらボタンが操作されるのはそれぞれ適切な時期だけであることを前提に処理をすればよい。
【００７５】
図１１は、録音終了時のＧＵＩ画面１８０の表示例である。録音／録音終了ボタン１９６は再び録音ボタンとなっている。この画面で発話領域２１０のマーカを移動させると、動作モードに応じ、再生モードではマークされている領域の音声が再生され、訂正モードでは発話領域２１０のマーカ自体が入力された範囲に更新されるとともに、その領域の音声が再生される。
【００７６】
図１２は、音声レベルが過大な部分２２０があるときのＧＵＩ画面１８０の表示例である。図１２に示すように、音声レベルが過大となったときには、適正なレベルで音声波形がクリップされるとともに、適正レベルの範囲を示す矩形２２２が赤色で表示される。したがって操作者は録音レベルが適正でなかったことをすぐに理解でき、再度録音／録音終了ボタン１９６を押して録音をやり直すことができる。
【００７７】
図１３は、発話音声２３０と別にノイズ２３２が存在している場合のＧＵＩ画面１８０の表示例である。このように、ノイズが録音されてしまった場合、それが分かりやすく表示されるので、利用者は再度録音すべきか否かを容易に判定できる。また、ノイズが保存領域の外にあれば、録音を再度する必要がないことが容易に分かり、録音時の時間と手間とを節約できる。
【００７８】
以上のように本実施の形態に係る音声データ収集システム３０および音声データ収集装置４２によれば、音声の録音において、発話テキストを表示しながら、話者と対話的に処理を進めていくことができる。音声波形が、自動的に検出された発話領域の表示とともに表示されるので、自動検出が誤った場合に容易に訂正できる。また、音声をすぐに発話単位で、または発話中の指定した領域単位で再生できるので発話間違いなども容易に確認できる。ノイズもすぐ確認できるように波形が表示される。さらに、録音時の音声レベルが適正だったか否かもすぐに確認できる態様で表示される。したがって、録音が適正に行なわれたか否かがすぐに判断でき、良質な音声データを得ることができる。
【００７９】
上記した音声データ収集システム３０および音声データ収集装置４２によれば、適正な録音ができたか否かが話者に容易に判断できるので、監督者が常に録音に注意を払っている必要はない。監督者の負担は大幅に軽減される。そのため、例えば複数の装置で複数の話者による録音を一人の監督者で監督しながら進行させたりすることも可能になり、音声コーパス作成のためのコストと時間とが節約できる。
【００８０】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施の形態に係る音声データ収集システム３０の概略構成を示すブロック図である。
【図２】音声データ収集装置４２の概略構成をブロック図形式で示す図である。
【図３】シーケンス制御部７０により実現される処理シーケンスをフローチャート形式で示す図である。
【図４】音声データ収集装置４２を実現するプログラムのフローチャートである。
【図５】音声データ収集装置４２を実現するプログラムのフローチャートである。
【図６】音声データ収集システム３０を実現するコンピュータシステム３３０の外観図である。
【図７】図６に示すコンピュータシステム３３０のブロック図である。
【図８】ＧＵＩ画面１８０の構成を示す図である。
【図９】録音開始前の表示画面例を示す図である。
【図１０】録音中の表示画面例を示す図である。
【図１１】録音終了後の表示画面例を示す図である。
【図１２】録音レベルが不適切であった場合の表示画面例を示す図である。
【図１３】ノイズがあった場合の表示画面例を示す図である。
【符号の説明】
【００８２】
３０  音声データ収集システム、４０  テキスト記憶装置、４２  音声データ収集装置、４４  音声データファイル記憶装置、４６  モニタ、４８  マイクロフォン、５０  スピーカ、５２  入力装置、７０  シーケンス制御部、７２  バス、７４  ロードモジュール、７６  メモリ、７８  表示部、８０  録音部、８２  ボリュームチェック部、８４  ビタビアライメント部、８６  メモリ、８８  調整部、９０  再生部、９２  格納処理部
【図１】
2006084965.tif 000003
【図２】
2006084965.tif 000004
【図３】
2006084965.tif 000005
【図４】
2006084965.tif 000006
【図５】
2006084965.tif 000007
【図６】
2006084965.tif 000008
【図７】
2006084965.tif 000009
【図８】
2006084965.tif 000010
【図９】
2006084965.tif 000011
【図１０】
2006084965.tif 000012
【図１１】
2006084965.tif 000013
【図１２】
2006084965.tif 000014
【図１３】
2006084965.tif 000015