(57)【特許請求の範囲】
【請求項１】
複数単位の電子化原稿から単位ごとに各文の冒頭部分として予め定めた数の文節または単語を先頭から連続して取り出す冒頭部分取出手段と、
該冒頭部分取出手段により取り出された各文の冒頭部分全体に対応する音響モデルを作成する音響モデル作成手段と、
音声中のポーズ区間を検出するポーズ検出手段と、
該ポーズ検出手段により検出されたポーズ区間とポーズ区間の間の音声区間をそれぞれ音響パラメータ列に変換する変換手段と、
該変換手段により得られた各音声区間の音響パラメータ列と、前記音響モデル作成手段により作成された各文の冒頭部分全体の音響モデルとを照合し、照合結果を照合ラティスとして作成する照合手段と、
該照合手段により作成された照合ラティスから最適照合列を探索する探索手段と、
該探索手段により探索された最適照合列に従って、各文の先頭に対応する音声の開始時間を出力する出力手段と
を備えたことを特徴とする音声原稿最適照合装置。
【請求項２】
複数単位の電子化原稿から単位ごとに各文の冒頭部分として予め定めた数の文節または単語を先頭から連続して取り出すステップと、
取り出された各文の冒頭部分全体に対応する音響モデルを作成するステップと、
音声中のポーズ区間を検出するステップと、
検出されたポーズ区間とポーズ区間の間の音声区間をそれぞれ音響パラメータ列に変換するステップと、
得られた各音声区間の音響パラメータ列と、各文の冒頭部分全体の音響モデルとを照合し、照合結果を照合ラティスとして作成するステップと、
作成された照合ラティスから最適照合列を探索するステップと、
探索された最適照合列に従って、各文の先頭に対応する音声の開始時間を出力するステップと
を備えたことを特徴とする音声原稿最適照合方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声と電子化された原稿との時間的対応を自動的に求める音声原稿最適照合装置および方法に関する。
【０００２】
【従来の技術】
最近、テレビ放送中の音声を文字化し、字幕として付与して欲しいとの要求が、特に聴覚障害者などから高まっている。このような要求に応えるものとしては、放送局などに存在する電子化された原稿（以下、電子化原稿という）、例えば、ニュース番組のアナウンス用の電子化原稿を、字幕として付与する方法が提案されている。この方法を実際に実施するには、字幕スーパするタイミングを監視する要員などのような多くの人手が必要であり、作業の自動化が課題として残されていた。
【０００３】
原稿と音声との時間的対応を自動的に求める方式としては、電子化原稿と音声との照合を、電子化原稿全体と音声全体との時間的対応を求めることにより行う方式のみが提案されていた（例えば、中川  聖一著「碓率モデルによる音声認識」電子通信学会参照）。このような方式により電子化原稿と音声の時間的対応をとるには、読み手は、ポーズをおいたり（間をあけたり）、「えー」などの不要語を発声したりせずに、原稿を読む必要があった。
【０００４】
【発明が解決しようとする課題】
読み手がポーズを入れた場合でも、電子化原稿と音声との時間的対応を精度良くとることができるようにするには、読み手がポーズをおいた位置が、電子化原稿上で予め分かっていなければならず、照合作業が非常に煩わしかった。また、電子化原稿と音声との時間的対応を求めることは、原稿が放送直前に修正されたりした場合には、困難であった。
【０００５】
電子化原稿全体と音声全体とを照合するようにしたので、多大なメモリと計算量を必要とした。
【０００６】
本発明の目的は、上記のような問題点を解決し、音声中にポーズが存在しても、電子化原稿と音声との時間的対応をとることができ、しかも、少ないメモリと演算量で実行することができる音声原稿最適照合装置および方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、複数単位の電子化原稿から単位ごとに各文の冒頭部分として予め定めた数の文節または単語を先頭から連続して取り出す冒頭部分取出手段と、該冒頭部分取出手段により取り出された各文の冒頭部分全体に対応する音響モデルを作成する音響モデル作成手段と、音声中のポーズ区間を検出するポーズ検出手段と、該ポーズ検出手段により検出されたポーズ区間とポーズ区間の間の音声区間をそれぞれ音響パラメータ列に変換する変換手段と、該変換手段により得られた各音声区間の音響パラメータ列と、前記音響モデル作成手段により作成された各文の冒頭部分全体の音響モデルとを照合し、照合結果を照合ラティスとして作成する照合手段と、該照合手段により作成された照合ラティスから最適照合列を探索する探索手段と、該探索手段により探索された最適照合列に従って、各文の先頭に対応する音声の開始時間を出力する出力手段とを備えたことを特徴とする。
【０００８】
本発明は、複数単位の電子化原稿から単位ごとに各文の冒頭部分として予め定めた数の文節または単語を先頭から連続して取り出し、取り出された各文の冒頭部分全体に対応する音響モデルを作成し、音声中のポーズ区間を検出し、検出されたポーズ区間とポーズ区間の間の音声区間をそれぞれ音響パラメータ列に変換し、得られた各音声区間の音響パラメータ列と、各文の冒頭部分全体の音響モデルとを照合し、照合結果を照合ラティスとして作成し、作成された照合ラティスから最適照合列を探索し、探索された最適照合列に従って、各文の先頭に対応する音声の開始時間を出力する。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１０】
図１は本発明の一実施の形態を示す。これは、ニュース番組において、ニュース原稿をアナウンス音声に同期させて文単位に字幕としてスーパーする例である。図１において、２は音響分析部であり、アナウンス音声を音響パラメータに変換するとともに、線形予測分析を用いて、アナウンス音声信号から、ＬＰＣケプストラム係数と、デルタケプストラム係数と、デルタ対数パワーを算出し、これらのパワー情報を用いて、アナウンス音声中のポーズ区間を検出するものである。出力シンボルとしては、１８次ＬＰＣケプストラムパラメータ、１８次デルタケプストラムパラメータ、デルタパワーを、それぞれ、符号帳サイズ２５６、２５６、６４で量子化したものを用いた。６は音素モデル格納部であり、各音素ごとの音響的特徴を表す音素モデルを格納するためのものである。音素モデルとしては、音素単位の離散型ＨＭＭ（Hidden Markov Model ）を用いた。ＨＭＭの状態数は、子音３状態、母音１状態とし、left-to-right 型のものを用いた。ＨＭＭについては、例えば、中川聖一著「確率モデルによる音声認識」電子通信学会を参照されたい。４はキーワード抽出部であり、ニュース項目（ニュースの話題）中の各文（文とは読点で区切られる単位）のキーワードとして、例えば、各文の先頭から連続して２文節または２単語を切り出し、各キーワードごとに音素列に変換し、各音素に音素モデル格納部からの音素モデルを結合するものである。８は音声キーワード照合部であり、キーワード抽出部４により抽出された各キーワードの各音素に対して、音素モデルを音素モデル格納部６から取り出し結合して音響モデルを生成し、生成された音響モデルと、音響分析部２から送られてきた音響パラメータ列のポーズとポーズの間の区間（以下、音声区間という）とを照合し、照合スコアを算出し、照合ラティスを生成するものである。１０は最適照合列探索部であり、音声キーワード照合部８により生成された照合ラティスから最適照合結果列を動的計画法を用いて探索するものである。動的計画法については、例えば、西川他著「最適化」（岩波講座情報科学１９：岩波書店）を参照されたい。
【００１１】
図２はニュース番組での音声原稿照合手順の一例を示すフローチャートである。ニュース番組におけるニュース項目の順番は予め定められているものとする。
【００１２】
ステップＳ２にて、音素モデルのパラメータを読み込み、ステップＳ４にて、当該ニュース項目に対応するニュース電子化原稿（以下、単に、電子化原稿という）を読み込む。そして、ステップＳ６にて、読み込まれたニュース項目の各文から、キーワード抽出部４によりキーワードを切り出し、切り出した各キーワードを音素記号列に変換する。ニュース項目は、一般的に、複数の文により構成されているので、１つのニュース項目から複数のキーワードが切り出されることになる。ついで、ステップＳ８にて、音声キーワード照合部８により、切り出されたキーワードの各音素に、各音素に対応する音素モデルを連結してキーワードモデルを構成する。
【００１３】
ステップＳ１０にて、ニュース項目に対応したアナウンス音声を読み込み、ステップＳ１２にて、音響分析部２により、アナウンス音声から、線形予測分析を用いて、ＬＰＣケプストラム係数と、デルタケプストラム係数と、デルタ対数パワーとを算出し、パワーが予め定めた閾値より小さい部分が所定の長さ以上続く区間をポーズ区間と決定する。ついで、ポーズ区間とポーズ区間の間の音声区間をそれぞれ音響パラメータに変換する。
【００１４】
ついで、ステップＳ１４にて、ステップＳ８で構成されたキーワードモデルを用いて、アナウンス音声中からキーワード部分の候補を求める。一般的に、アナウンス音声には、電子化原稿の読点「。」直後にポーズが存在する。言い換えると、ニュース項目の最初の文を除き、各文の先頭にポーズが存在することになる。また、一般的に、破裂性子音（／ｐ／、／ｋ／等）の直前にも、ポーズが存在する。そこで、ポーズの後の音声区間に対してキーワード照合を行い、その結果を、対数尤度として算出する。得られたキーワード照合結果を、ステップＳ１６にて、照合ラティスとして作成する。照合ラティスと実際のアナウンス音声との対応例を図３に示す。
【００１５】
図３を説明する。ポーズは、２番目の文の中に１つ、３番目の文の中に２つ検出されているので、ポーズの後の音声区間に対して、キーワード照合を行うことになる。ｗ1 、ｗ2 、・・、ｗn を、電子化原稿の各文から切り出されたキーワードとすると、文の先頭部分以外にも、ｓ31、ｓ32、ｓ33、ｓ51、ｓ52、ｓ53などのスコアが算出されることになる。ただし、ｗj はｊ番目の文のキーワードを表し、ｓijはｊ番目の音声区間をｊ番目のキーワードで照合した際の照合スコアである。
【００１６】
そして、ステップＳ１８にて、ステップＳ１６で作成された照合ラティスの中から、最適照合列探索部１０により、動的計画法を用いて、最適な照合列を探索し、探索された最適照合列に従って、ステップＳ２０にて、各文の先頭に対応する音声の開始時間を出力し、この時間情報を用いて、音声と原稿の時間対応を求める。ステップＳ２２にて、音声および原稿が終了したかどうかを判定し、音声／原稿がまだ続く場合には、次のニュース項目の音声／原稿時間対応の探索に移るため、ステップＳ４に移行し、否定判定された場合には、その後、処理を終了する。
【００１７】
本実施の形態では、音響モデルとしてＨＭＭを用いた例を説明したが、ＨＭＭ以外の音響モデル、例えば、ニューラルネットワーク等を用いることができることは勿論である。
【００１８】
また、本実施の形態では、ニュース番組におけるアナウンス音声と電子化原稿との時間対応を求める例を説明したが、本発明は、この例に限定されるものではなく、原稿と当該原稿に対応する音声が用意されている場合に適用することができる。例えば、音声が記録されているオーディオ・テープの頭出しを行う場合にも適用可能である。
【００１９】
【実施例】
本実施例は、ＮＨＫのニュース番組を対象とし、ニュース原稿をアナウンス音声に同期させて字幕としてスーパするシミュレーション実験を行った例である。評価用音声データは、１９９６年６月４日〜７日に放送された「ＮＮＨＫニュース７」中の４ニュース項目、計５４文である（各ニュース項目当たり、平均１３．５文）。キーワードは、最初の文節が３音節以下からなる場合には、最初の２文節をキーワードとして切り出し、それ以外の場合には、最初の文節をキーワードとして切り出した。音響モデルとしては、音素ＨＭＭを用いた。評価用音声が全て女性の発声したものであったことから、ＨＭＭとして、女性用のものを作成した。作成に当たっては、ＡＴＲデータベースのうち女性２４名が発声した５０文ずつのデータを用いた。実験の結果、実際にキーワードを発話した部分の開始時間に対して、本発明を用いて算出した時間の遅れが１秒以内であった文数は５２文であり、これは全体の文のうちの９６％に達した。実際の番組制作で人手で字幕スーパする場合でも、１秒程度の字幕スーパの遅れはしばしば起こることであり、したがって、字幕スーパーに対する応用例でも、本発明が有効であることが確認された。
【００２０】
【発明の効果】
以上説明したように、本発明によれば、上記のように構成したので、原稿をポーズを入れて読んだ音声であっても、音声と原稿との最適な時間対応を与えることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示すブロック図である。
【図２】ニュース番組での音声原稿照合手順の一例を示すフローチャートである。
【図３】音声キーワード照合ラティスの一例を示す図である。
【符号の説明】
２  音響分析部
４  キーワード抽出部
６  音素モデル格納部
８  音声キーワード照合部
１０  最適照合列探索部
【図１】
0003727436.tif 000002
【図２】
0003727436.tif 000003
【図３】
0003727436.tif 000004