(57)【要約】【課題】  ポーズ部分、スピーチ区間を簡単かつ精度良く検出することのできるスピーチ／ポーズ区間検出装置を提供すること。【解決手段】  入力された音声信号の低域成分を抽出して信号レベルを一定化するレベル補正手段９と、レベル補正後の音声信号に対して遅延信号と元の信号とを加算する遅延加算を行って短スピーチ部分を広げる短スピーチ補償手段１１と、短スピーチ補償がされた後の音声信号から通常の速度におけるスピーチの変動特性を示す特定周波数成分を抽出する特定周波数成分抽出手段１３と、抽出された特定周波数成分のエンベロープ信号または平均レベル信号を求め、求められたエンベロープ信号または平均レベル信号に対して所定のスライスレベルを設定してスピーチ区間とポーズ区間とを検出するスピーチ／ポーズ区間検出手段１５とを備える。【選択図】図１
2006350246.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声信号の低域成分を抽出して信号レベルを一定化するレベル補正手段と、
レベル補正後の音声信号に対して遅延信号と元の信号とを加算する遅延加算を行って短スピーチ部分を広げる短スピーチ補償手段と、
短スピーチ補償がされた後の音声信号から通常の速度におけるスピーチの変動特性を示す特定周波数成分を抽出する特定周波数成分抽出手段と、
抽出された特定周波数成分のエンベロープ信号または平均レベル信号を求め、求められたエンベロープ信号または平均レベル信号に対して所定のスライスレベルを設定してスピーチ区間とポーズ区間とを検出するスピーチ／ポーズ区間検出手段と、
を備えたことを特徴とするスピーチ／ポーズ区間検出装置。
【請求項２】
請求項１に記載のスピーチ／ポーズ区間検出装置において、
前記特定周波数成分抽出手段は、４〜７Ｈｚの変動特性を示す特定周波数成分を抽出すること、
を特徴とするスピーチ／ポーズ区間検出装置。
【請求項３】
請求項１または２に記載のスピーチ／ポーズ区間検出装置において、
入力された音声信号を二値化して得られる信号の零交差数を検出する零交差数検出手段と、
検出された零交差数に基づいて、前記特定周波数成分抽出手段で抽出された特定周波数成分中に含まれる非スピーチ部分が検出されないように補正する零交差分補正手段と、
を備えたことを特徴とするスピーチ／ポーズ区間検出装置。
【請求項４】
請求項１乃至３のいずれか１項に記載のスピーチ／ポーズ区間検出装置において、
前記スピーチ／ポーズ区間検出手段で検出されたスピーチ区間の検出信号に対して前後に所定時間のタイミング補完を行ってスピーチ区間を補償するタイミング補完手段、
を備えたことを特徴とするスピーチ／ポーズ区間検出装置。
【請求項５】
請求項１乃至４のいずれか１項に記載のスピーチ／ポーズ区間検出装置において、
前記零交差数検出手段で検出された零交差数から零交差数の分散情報を求める分散情報演算手段と、
求められた零交差数の分散情報に基づいて、スピーチ／ポーズ区間検出手段で検出されたスピーチ区間を補完する補完手段と、
を備えたことを特徴とするスピーチ／ポーズ区間検出装置。
【請求項６】
請求項１乃至５のいずれか１項に記載のスピーチ／ポーズ区間検出装置において、
前記スピーチ／ポーズ区間検出手段で検出されたポーズ区間の内、所定時間以下の微小ポーズ分を最小化してスピーチの区切り情報とする微小ポーズ分処理手段、
を備えたことを特徴とするスピーチ／ポーズ区間検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送番組音声などを対象とするスピーチ区間とポーズ区間とを効果的に検出するスピーチ／ポーズ区間検出装置に関する。
【０００２】
［発明の概要］
この発明は、放送番組音声などを対象とするポーズ/スピーチ部分の検出法に関するものであり、特に音声信号におけるスピーチとその他の音声の特徴差を活用し、音声パワー値の適当な周波数範囲の抽出とレベル補償など各種の補正処理を行うことによって、ポーズ部分（非スピーチ部分）またはスピーチ部分を簡単かつ精度良く検出するようにしたものである。
【０００３】
音声などのポーズ/スピーチ部分検出は、字幕用テキストとしてのスピーチ部分の書起し、スピーチのポーズを利用した番組音声の分割、字幕のタイミング付与など主として字幕番組制作関連で研究開発を進めてきたが、他に裁判記録文書の作成処理、あるいは一般的な音声信号処理でも効果的な手法の一つである。
【背景技術】
【０００４】
字幕付きテレビ放送番組を受信者が利用する際、字幕が読み易く、理解し易いものであることが重要である。したがって、字幕番組制作における字幕原稿作成では、熟練した人手を使い、多大な労力と時間を掛けて、読み易くて理解し易い字幕の制作を試みている。
【０００５】
しかしながら、今後適用番組の分野や番組数などの拡大を進めている字幕放送において、この熟練した人手、多大な労力と時間を要するこのような形態の字幕番組制作システムは、字幕番組制作上の大きなネックとなっており、その改善が急がれている。
【０００６】
現在最も多く行われている字幕番組制作形態では、タイムコードを映像にスーパーした番組テープまたはタイムコードを音声チャンネルに記録した番組テープおよび番組台本を素材とし、これを放送関係経験者など専門知識のある人によって、
処理（１）：番組スピーチの要約書起し、
処理（２）：字幕表示イメージ化 （別途定めのある字幕原稿作成要領による）、
処理（３）：その開始・終了タイムコードを調べて記入、
という各処理作業を行って字幕用の原稿を作成している。この字幕原稿をもとに、オペレータが電子化字幕データを作成し、担当の字幕制作責任者、原稿作成者、電子化したオペレータ立ち会いのもとで、試写・校正を行って完成字幕としている。
【０００７】
上述した処理（１）〜（３）の作業の中でより多くの時間を必要とするのは、処理（１）の番組スピーチの書起し作業である。この作業では、番組スピーチを聴取して字幕原稿を作成するという点において最も人間の知能に負うところが多い。
【０００８】
すなわち、番組スピーチの書起し作業は、番組テープを再生操作して音声を聴取し、音声中のスピーチ開始点からテープを再生聴取しつつ、ワープロや筆記で書起しを行う。実際には、書起し作業者の書起し速度や内容確認などのため、一区切りのスピーチ区間を対象として録音テープの頭出し・再生操作を繰り返し、書起し作業が行われる。したがって、書起し作業は、テープの頭出し・再生といった煩雑なテープ操作と、スピーチの聴取、書起しといった人間の知能に負う負担の多い業務である。
【０００９】
音声などのスピーチ区間をポーズ部分検出を活用して適切に検出できると、書起し作業における前記「一区切りのスピーチ区間についてテープの頭出し・再生操作の繰り返し」を自動化することが可能であり、またこの区間のスピーチについて、書起しし易いような適当な低速化再生や繰り返し、ポーズの挿入を行うことも可能である。また、逆に非スピーチ区間については高速送りなどして時間節約することも可能である。その結果、書起し作業者は、書起し作業に専念することができ、字幕用テキストの正確・迅速な作成に大いに貢献することができる。
【００１０】
処理（２）の字幕表示イメージ化は、字幕テキスト文を字幕表示に適した行数、文字数の各表示単位字幕文に分割するものであるが、音声の長いポーズにまたがる字幕分割は好ましくない。その理由は、表示単位字幕文が長いポーズの前後の字幕つまり時間的・空間的に無関係な字幕で構成されることとなるからである。長いポーズつまり非スピーチ区間の検出は、表示単位字幕文への分割にも活用することができる。
【００１１】
処理（３）の開始・終了タイムコード付与における開始・終了のタイミングの多くは、スピーチ区間の開始・終了であり、ポーズ部分の検出結果を活用することで可能である。
【００１２】
例えば文単位でのアナウンス音声の開始、終了のタイミングをポーズ部分検出を活用して求め、そのタイミングを表示単位字幕文の開始、終了のタイミングの少なくとも一部として適用することによって、自動的なタイミングの付与を高速化することができる。
【００１３】
このようにポーズ部分の検出手法は、字幕番組制作作業の処理（１）〜（３）の各段階で広く活用できるものであり、しかもこれらの処理は、番組音声時間の数十分の一以下の時間で高速処理可能なので、きわめて有効な手法と考えている。
【特許文献１】特開２００４−４３４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
字幕番組制作などを行う際、スピーチ／ポーズ検出に使用できる可能性のある情報として、音声データを処理した音声のPower値、Power値のcflx解析値、音声の零交差数の分散値、Power値の４〜７Hz成分抽出値などが考えられる。
【００１５】
これらの各値を適切に処理することで、それぞれの精度のスピーチ／ポーズ検出が可能であることが確かめられている。問題はその精度であり、前記の字幕番組制作や、議事録作成においては、スピーチ部分の不検出率が出来るだけ小さいことが精度評価の最も重要な要素である。
【００１６】
本発明者らは、これまでに確かめた種々の方法をこのような評価尺度で比較した結果、スピーチ部分の不検出率をより低く出来る可能性が大きいと判断し、Power値の４〜７Hz成分抽出値を適切に処理する手法でスピーチ／ポーズ検出の開発を進めた。
【００１７】
今まで本発明者らが研究を進めてきた字幕番組制作システムでは、スピーチ区間検出サブシステムを研究開発して適用しスピーチ部分の手作業による書起し作業を支援するようにして、作業効率を改善した。
【００１８】
そのスピーチ区間検出サブシステムは、基本的には音声波形のエンベロープの特定周波数成分のレベルによって、スピーチと思われる区間を検出するようにしている。
【００１９】
しかし、音声に含まれる音楽等であってもこの特定周波数成分を多く含む場合があり、検出エラーが生じる。
【００２０】
一方スピーチに関しても実際には、いろいろな話者のさまざまな話し方があり、この検出条件を満たさない場合もある。
【００２１】
本発明は、上記事情に鑑みてなされたものであり、ポーズ部分、スピーチ区間を簡単かつ精度良く検出することのできるスピーチ／ポーズ区間検出装置を提供することを目的としている。
【課題を解決するための手段】
【００２２】
上記の目的を達成するために本発明は、入力された音声信号の低域成分を抽出して信号レベルを一定化するレベル補正手段と、レベル補正後の音声信号に対して遅延信号と元の信号とを加算する遅延加算を行って短スピーチ部分を広げる短スピーチ補償手段と、短スピーチ補償がされた後の音声信号から通常の速度におけるスピーチの変動特性を示す特定周波数成分を抽出する特定周波数成分抽出手段と、抽出された特定周波数成分のエンベロープ信号または平均レベル信号を求め、求められたエンベロープ信号または平均レベル信号に対して所定のスライスレベルを設定してスピーチ区間とポーズ区間とを検出するスピーチ／ポーズ区間検出手段とを備えたことを特徴としている。
【００２３】
請求項２では、請求項１に記載のスピーチ／ポーズ区間検出装置において、前記特定周波数成分抽出手段は、４〜７Ｈｚの変動特性を示す特定周波数成分を抽出することを特徴としている。
【００２４】
請求項３では、請求項１または２に記載のスピーチ／ポーズ区間検出装置において、入力された音声信号を二値化して得られる信号の零交差数を検出する零交差数検出手段と、検出された零交差数に基づいて、前記特定周波数成分抽出手段で抽出された特定周波数成分中に含まれる非スピーチ部分が検出されないように補正する零交差分補正手段とを備えたことを特徴としている。
【００２５】
請求項４では、請求項１乃至３のいずれか１項に記載のスピーチ／ポーズ区間検出装置において、前記スピーチ／ポーズ区間検出手段で検出されたスピーチ区間の検出信号に対して前後に所定時間のタイミング補完を行ってスピーチ区間を補償するタイミング補完手段を備えたことを特徴としている。
【００２６】
請求項５では、請求項１乃至４のいずれか１項に記載のスピーチ／ポーズ区間検出装置において、前記零交差数検出手段で検出された零交差数から零交差数の分散情報を求める分散情報演算手段と、求められた零交差数の分散情報に基づいて、スピーチ／ポーズ区間検出手段で検出されたスピーチ区間を補完する補完手段とを備えたことを特徴としている。
【００２７】
請求項６では、請求項１乃至５のいずれか１項に記載のスピーチ／ポーズ区間検出装置において、前記スピーチ／ポーズ区間検出手段で検出されたポーズ区間の内、所定時間以下の微小ポーズ分を最小化してスピーチの区切り情報とする微小ポーズ分処理手段を備えたことを特徴としている。
【発明の効果】
【００２８】
本発明によれば、ポーズ部分、スピーチ区間を簡単かつ精度良く検出することが可能となる。
【発明を実施するための最良の形態】
【００２９】
＜本願発明の開発の経緯と発明の原理説明＞
実施の形態の説明に先立ち、本願発明の開発の経緯と発明の原理説明をする。
【００３０】
本発明者の研究の結果、番組音声のパワー値を種々分析した結果、適当な周波数範囲の抽出とレベル補償などを行うことによって、かなり高い確度でポーズ部分を検出できることが分かった。以下に、今までの研究成果の一例を示す。
【００３１】
＜従来手法のスピーチ/ポーズ部分検出処理フロー＞
かなり背景音の大きい番組音声も含む数種の番組音声を対象とし、従来は図１６に示す処理手順によりスピーチ／ポーズ部分検出を行った。
【００３２】
入力は番組音声のPOWER値であり、番組音声振幅値の基準化、ディジタルろ波処理、レベル補正、スライス、微小時間差分除去、検出したポーズ長に応じたスピーチ区間の設定などの種々の処理を行ってスピーチ／ポーズ部分を自動検出するものである。
【００３３】
＜処理手順＞
次に、図１６のフローチャート、および図１７〜図１９の波形図を参照して従来手法を説明する。
【００３４】
初めに、図１７〜図１９の波形図について説明すると、図１７は、番組音声波形とその波形に対応するパワー値の一例を示している。同図（Ａ）は、ある番組音声を示す２ｃｈのステレオ信号の入力波形であり、同図（Ｂ）はその波形に対応するパワー値を示したものである。また、実線はステレオ信号の右チャンネルＲchを、破線は左チャンネルＬchをそれぞれ示している。この番組音声パワー値の時間軸方向の分布を分析すると、ほぼ無音の区間、スピーチ区間、その他の区間に分けることができる。図１７（Ｂ）の矢印の範囲はスピーチ区間であり、この部分の音声パワー値を時間方向に約１０倍に拡大したのが図１８の（Ａ）で示す波形である。
【００３５】
図１８は時間軸を拡大した音声パワー値と特定周波数範囲の抽出成分値を示している。ポーズ部分検出手法は、この波形の時間軸方向の変動特性に注目し、大まかな周期性に気付いたことによる。なお、スピーチに関する時間軸方向の変動特性をスピーチの発音記号列と比較すると、母音の発音記号に対応する音声パワーが他より大きくなる傾向がある。そして通常速度のスピーチにおける変動特性は、４〜７Ｈｚ程度の周波数になっている。図１８の（Ｂ）で示す信号波形は、４〜７Ｈｚの周波数成分を抽出したものであり、母音の発音記号に対応すると考えられる大まかな周期性を示している。
【００３６】
図１７（Ａ）に示す番組音声のパワー値の波形から、その４〜７Ｈｚの周波数成分を抽出し、さらにそのエンベロープを求めたのが図１９の波形である。
【００３７】
この波形の所定の閾値（例えば図の細い点線のレベル）以下の範囲をポーズ部分として検出するものであり、太線で示す実測スピーチ区間と比較すると、この例の場合はかなり一致しており、良い精度で検出できたことを示している。
【００３８】
図１６において、最初の処理では、図１７（Ａ）に示すような振幅波形を持つ番組音声信号を取り込んで、音声振幅値の基準化処理を実行する（ステップＳＴ１０１，ＳＴ１０３）。この処理では、取り込まれた番組音声信号中からそのエンベロープの低域成分のみを取り出して（ステップＳＴ１０５）、この低域成分の振幅値を基として信号成分を所定レベルの大きさにする処理である。一般に、低域成分のレベルが大きい場合には高域成分のレベルも大きいと考えられる。レベルに違いがあると検出精度に影響を与えるので、ある程度のレベル基準化を図る必要があるからである。すなわち、例えば入力されてくる音声には、様々なレベルの信号が存在する。マイクロホンが近い、遠い、声量のある人、ない人、あるいは、マイクロホンに対して正面を向いているか、斜めを向いているかによっても異なる。このように入力音声のレベルは様々である。一方、低域成分は実際のレベルの平均を意味している。そこで、全体のレベルの一定化、安定化の処理では、１．５Ｈｚ以下の低域信号を抽出し、レベルの大きいところは下げ、低い所は上げることにより、スピーチしていない区間とスピーチのレベルの低い区間とが混在しないようにしている。
【００３９】
こうして音声振幅値のレベル一体化がされた音声信号は、次に、絶対値化処理がされて、図１７（Ｂ）に示すような＋側に折り返された振幅値波形信号（Ｌｃｈ，Ｒｃｈのステレオ音声信号）と成る（ステップＳＴ１０７）。図１８（Ａ）の波形は、図１７（Ｂ）に矢印で示した範囲の時間軸を１０倍に拡大して示したものである。
【００４０】
次いで、絶対値化された振幅値波形信号からディジタル高域ろ波処理（ステップＳＴ１０９）、ディジタル帯域ろ波処理（ステップＳＴ１１１）が実行される。ディジタル高域ろ波処理では、２Ｈｚ以上の周波数の信号が取り出され、ディジタル帯域ろ波処理では、４〜７Ｈｚの周波数の信号が取り出される。図１８（Ｂ）の波形は、４〜７Ｈｚ成分の信号波形である。
【００４１】
スピーチに関する時間軸方向の変動特性をスピーチの発音記号列と比較すると、母音の発音記号に対応する音声パワーが他の部分よりも大きくなる傾向があることが知られている。そして、通常速度のスピーチにおける信号波形の時間軸方向への変動は、４〜７Ｈｚ程度の周波数となっていることが分かっている。この波形の時間軸方向の変動に着目し、大まかな周期性を捉えることでポーズ部分の検出をするものである。
【００４２】
ディジタル帯域ろ波処理で４〜７Ｈｚの周波数の信号が取り出され、さらに絶対値化処理（ステップＳＴ１１２）をすると、スピーチに類似した波形の信号となる。一方、演算処理（ステップＳＴ１１３）が実行されると、これら取り出された信号の差分が抽出され、さらに絶対値化処理（ステップＳＴ１１５）、ディジタル低域ろ波処理（ステップＳＴ１１７）が実行される。レベル補正処理（ステップＳＴ１１９）では、低域ろ波処理で生成された０．５Ｈｚ以下の低域成分の波形はスピーチ成分以外の成分が多いので、このレベルを参照して、ステップＳＴ１１２の出力であるスピーチ類似波形信号のレベルを逆方向に補正する処理がされる。この処理後のスピーチ近似波形を図１９に示す。
【００４３】
こうして、レベル補正がされたエンベロープ波形信号は、ディスプレイ上に波形表示される（ステップＳＴ１２１）。そして、図１９に示すように、所定のスライスレベル（閾値）でスライスされる（ステップＳＴ１２３）。
【００４４】
次に、微小ポーズ区間除去処理が実行される（ステップＳＴ１２５）。この処理では、スライス処理された音声振幅値信号中から、例えば、ちょっとした息継ぎ程度の区間は検出対象から除外するために、検出時間範囲として、例えば、“１．５〜２秒”程度を設定し、その以下の時間を検出対象外として除去する処理である。これにより、意味を持たない無駄なポーズ検出が効果的に防止できる。
【００４５】
こうして検出されたポーズ区間は画面表示される（ステップＳＴ１２７）。ポーズの検出精度やスライス（ステップＳＴ１２３）レベル設定の最適化などの目的でスピーチ区間を実測し、図１９に示すように、実測スピーチ区間と比較される（ステップＳＴ１２９）。これにより、実測されたスピーチ区間から導かれるポーズ区間と、検出されたポーズ区間とが比較され、比較によって、ポーズ検出精度をチェックしたり、スライスレベルが最適となるように変更することができる。
【００４６】
＜従来の検出性能＞
この検出法では、その性質上、出来るだけスピーチに対する不検出を避けるように設定してはいるが、非常に早いまたは遅い話し方の部分、レベルが背景音に対して非常に低いスピーチの部分などについては、背景音との関係で適切な設定がかなり難しい。  
そのため、このような条件の厳しい番組の場合は、音楽部分の誤検出のみならず、スピーチ部分の不検出も部分的に生じるのが実態である。
【００４７】
そのため、「裁判記録文書作成や議事録の作成システムの一要素技術になると考えられるスピーチ／ポーズ検出手法の改良検討も進め、その不具合低減のために、零交差数情報の活用、短スピーチ補償処理などを新たに適用した新スピーチ／ポーズ検出手法を開発した。
【００４８】
＜第１の実施形態＞
図１は本発明に係るスピーチ/ポーズ検出装置の実施の形態を示す機能ブロック図である。
【００４９】
同図に示すように、このスピーチ／ポーズ区間検出装置１は、パソコン等で構成され、音声信号を入力する音声信号入力部３と、入力された音声信号のスピーチ／ポーズ区間を検出する制御・演算部５と、演算されたスピーチ／ポーズ区間をモニタ等に出力する演算結果出力部７とを備えている。
【００５０】
制御演算部５は、入力された音声信号の低域成分を抽出して信号レベルを一定化するレベル補正手段９と、レベル補正後の音声信号に対して遅延信号と元の信号とを加算する遅延加算を行って短スピーチ部分を広げる短スピーチ補償手段１１と、短スピーチ補償がされた後の音声信号から通常の速度におけるスピーチの変動特性を示す特定周波数成分を抽出する特定周波数成分抽出手段１３と、抽出された特定周波数成分のエンベロープ信号または平均レベル信号を求め、求められたエンベロープ信号または平均レベル信号に対して所定のスライスレベルを設定してスピーチ区間とポーズ区間とを検出するスピーチ／ポーズ区間検出手段１５とを備えている。また、入力された音声信号を二値化して得られる信号の零交差数を検出する零交差数検出手段１７と、検出された零交差数に基づいて、前記特定周波数成分抽出手段１３で抽出された特定周波数成分中に含まれる非スピーチ部分が検出されないように補正する零交差分補正手段１９とを備えている。
【００５１】
さらに、この制御演算部５は、スピーチ／ポーズ区間検出手段１５で検出されたスピーチ区間の検出信号に対して前後に所定時間のタイミング補完を行ってスピーチ区間を補償するタイミング補完手段２１を備えている。
【００５２】
さらに、この制御演算部５は、零交差数検出手段１７で検出された零交差数から零交差数の分散情報を求める分散情報演算手段２３と、求められた零交差数の分散情報に基づいて、スピーチ／ポーズ区間検出手段で検出されたスピーチ区間を補完する補完手段２５とを備えている。
【００５３】
さらに、この制御演算部５は、スピーチ／ポーズ区間検出手段１５で検出されたポーズ区間の内、所定時間以下の微小ポーズ分を最小化してスピーチの区切り情報とする微小ポーズ分処理手段２７を備えて構成されている。
【００５４】
図２は、本実施形態におけるスピーチ部分検出処理を示すフローチャートである。本実施形態の特徴は、ステップＳＴ７における短スピーチ補償処理と、ステップＳＴ３９における零交差分補正処理と、ステップＳＴ６１におけるＡＮＤ演算処理とを付加したものである。ステップＳＴ３９の「零交差分補正処理」では、零交差数検出処理（ステップＳＴ３５）で求められた零交差数を適用して特定周波数成分中に含まれる非スピーチ部分が検出されないように補正するようにしている。また、ステップＳＴ６１の「ＡＮＤ演算処理」では、ステップＳＴ４９，ＳＴ５１，ＳＴ５３，ＳＴ５５，ＳＴ５７，ＳＴ５９で求められた零交差数分散情報を適用して、音楽部分で誤検出が生じた場合、ここである程度救済できるようにした。したがって、「ＡＮＤ演算」直前にある「スライス」のスライスレベル設定では、主にスピーチ部分に注目し、極力欠落しないように設定ができる自由度が生じ、スピーチ部分検出をより的確に行うことができる。
【００５５】
＜スピーチ部分検出の具体的処理＞
図２のフローチャートを用いてスピーチ部分検出の処理手順を説明する。システムの入力はＷＡＶ形式の番組音声である。その入力波形の一例を図３（Ａ）に示す。同図（Ａ）で横軸は分、縦軸はレベルを表す。このＷＡＶ復調処理によって音声信号が復調され、この音声信号中から帯域通過ろ波器によりその０．１〜０．８５ｋＨｚ成分が抽出される（ステップＳＴ１，ＳＴ３，ＳＴ５）。これはスピーチにおける第三フォルマントまでの成分にあたり、このスピーチ部分検出手法におけるＤ/Ｕ比を向上させるものである。
【００５６】
次のサンプル数低減処理では、このスピーチ部分検出手法において必要とするサンプル数となるよう２０Ｈｚでリサンプルを行っている（ステップＳＴ７）。この処理は、以降の処理の処理量・時間を低減することに役立つ。
【００５７】
次の番組音声のレベル補正１では、入力音声信号の平均レベル（ＡＰＬ）に応じて音声レベルの制御を行い、音声レベルの一定化を図っている（ステップＳＴ９，ＳＴ１１）。実際の番組音声では時として基準レベルの１／３から３倍程度もの変動幅を持っている場合があるので、音声レベルを一定化する処理が必要となるためである。
【００５８】
次の短スピーチ補償処理（ステップＳＴ１３）では、１〜１．５秒程度の短いスピーチ部分について、検出しやすいように信号処理を行っている。この短スピーチ補償処理については、後述する。
【００５９】
次の帯域ろ波処理（ステップＳＴ１７）では、帯域通過ろ波器の帯域特性が、５．５±１．５Ｈｚに設定されており、高域ろ波処理（ステップＳＴ１５）におけるろ波器出力の絶対値の信号から、５．５±１．５Ｈｚの帯域成分を抽出する。この抽出成分がこのスピーチ部分検出手法におけるメインの成分である。
【００６０】
しかし、実際にはこのメイン成分中にスピーチ以外の近似スピーチ成分が含まれ、検出に誤りが生じる可能性がある。そのため、ステップＳＴ２５の減算処理では、高域通過ろ波処理（ステップＳＴ１５）の出力と帯域通過ろ波処理（ステップＳＴ１７）の出力との帯域差成分を取り出してこれをスピーチ以外の近似スピーチ成分とみなして、パワー補正処理（ステップＳＴ３１）において帯域通過処理（ステップＳＴ１７）の出力に対し補正を行う。なお、ステップＳＴ１９，ＳＴ２１，ＳＴ２３，ＳＴ２７，ＳＴ２９の処理は、スピーチ成分のレベルの一定化のために必要な処理であり、前述したステップＳＴ９，ＳＴ１１と同様の処理である。
【００６１】
また、一般に広帯域な音楽の場合は、ステップＳＴ１７の帯域通過処理において、ろ波器の帯域内にも成分が有り、この成分はメイン成分中にスピーチ以外の近似スピーチ成分として含まれる。そこで、音楽成分の検出に効果があると言われている「零交差数」情報を入力番組音声から検出する（ステップＳＴ３３，ＳＴ３５，ＳＴ３７）。スピーチ成分に比べて音楽信号の方が零交差数が多いので、ステップＳＴ３９の零交差分補正処理では、検出された零交差数情報によって、検出されたスピーチ情報から零交差数情報（音楽成分が多く含まれている）を差し引くことにより、スピーチ部分が正確に検出できるように補正している。「零交差分補正処理」後の出力波形を図３（Ｆ）に示す。
【００６２】
このようないろいろな補正を行ったメイン成分を、所定の閾値を持ったスライス処理により二値化し、一応のスピーチ部分検出信号を得ている（ステップＳＴ４１）。図３（Ｆ）に示す出力波形をレベル３をスライスレベルとするスライス処理によって二値化した信号を図３（Ｄ）に示す。なお、図３（Ｅ）の信号は実測されたスピーチ区間における二値化波形である。
【００６３】
＜スピーチ部分検出信号の補完処理＞
ステップＳＴ４１のスライス処理で得られた一応のスピーチ部分検出信号（図３（Ｄ）参照）をテストすると、スピーチ部分についてはほぼ満足な検出結果が得られている。しかし、細かく見るとスピーチの先頭や末尾、スピーチの息継ぎ部分などで部分的な欠落や不明瞭な部分が存在する。あるいはスピーチ以外の部分がスピーチ部分として検出されているなどの問題がある。そこで、本実施の形態では、一応のスピーチ部分検出信号に対し、さらに以下に述べる補完処理を行っている。
【００６４】
〈処理Ａ；スピーチの先頭や末尾の部分欠落対策〉
スピーチの先頭や末尾は、聞き取りにくく部分的に欠落しやすいが、その部分は時間的にみると、ほぼ０．５秒程度と共通した傾向がある。そのため、一応のスピーチ部分検出信号に対し、前後０．５秒のタイミング補完を行って補正している（ステップＳＴ４３，ＳＴ４５）。
【００６５】
〈処理Ｂ；スピーチ以外の部分の誤り検出対策〉
スピーチ以外の部分が一部スピーチ部分として検出されている場合があるが、このような誤検出は、背景に流れる音楽や歌の部分であることが多い。そこで、ステップＳＴ４９〜ＳＴ５３の処理において「零交差数」の分散に関わる情報を求め、これによって一応のスピーチ部分検出信号に対し、その非スピーチ部分（ステップＳＴ４７の合成出力）について補完を行っている（ステップＳＴ５５〜ＳＴ６１）。ステップＳＴ６１の「ＡＮＤ演算」の出力信号を図３（Ｃ）に示す。
【００６６】
ステップＳＴ６３〜ステップＳＴ６９の処理は、確実なポーズ部分のみをポーズとして、その他はスピーチの区切りとする処理である。例えば、検出されたスピーチ部分とスピーチ部分の間に存在する１．５秒程度以下の微小なポーズ部分は、多くがスピーチの息継ぎ部分などに対応しており、一応のスピーチ部分検出信号のままでは、スピーチに部分的な欠落や不明瞭な部分が生じやすい。したがって、１秒程度以下の微小なポーズ部分は、処理Ａのタイミング補完処理によりスピーチ部分として取り扱うとともに、これを除去してポーズを最小化する（ステップＳＴ６７）。これは、ポーズの存在した箇所の中心部分を示すことによりポーズ部分中央のタイミングをスピーチの区切り情報として活用するようにするためである。
【００６７】
また、３秒以下の微小ポーズも除去された後、最小化された微小ポーズとＯＲ合成され、これが、最終的なスピーチ／ポーズ信号として出力される（ステップＳＴ６９，ＳＴ７１）。この最終的なスピーチ／ポーズ信号を図３（Ｂ）に示す。同図からも理解できるように、ポーズ最小化された部分ＳＳ１，ＳＳ２，ＳＳ３，ＳＳ４，ＳＳ５には、ポーズの存在した箇所の中心部分が示されている。
【００６８】
〈ステップＳＴ１３における短スピーチ補償処理〉
図３（Ｆ）にＦ１，Ｆ２で指し示す部分のように、０．５〜１．５秒程度の短いスピーチ部分は、そのままでは検出が困難である。そのため、短スピーチ部分は遅延加算の手法で近似的にスピーチ部分を長くして、検出し易いように補償処理を行っている。例えば、法廷などにおける会話を例にすると、相手側の問い合わせに対し、その返答は、「はい」や「いいえ」のように、重要であるが短い場合が多い。一般にこのような短スピーチ部分を安定・確実に検出するのは困難が多い。特に背景音が大きい場合は一層困難になる。
【００６９】
そこで、本実施形態では、短スピーチ部分を検出し易くするために、当該スピーチ部分を一定時間遅延し、元のスピーチ部分と合成して、等価的にスピーチ部分を遅延時間分だけ長くしようとするものである。
【００７０】
実際には信号の対象性を確保するために、遅延時間Ｔ＝０、Ｔ＝τ、Ｔ＝２τの信号を準備し、それぞれ１／３．５、１、１／３．５の割合で合成した。τは０．５秒に設定した。
【００７１】
この設定では、図３（Ｆ）にＦ１，Ｆ２で指し示す０．５〜１．５秒程度の短いスピーチ部分が、図３（Ｂ）にＢ１，Ｂ２で指し示すように、実測スピーチ区間（図３（Ｅ）参照）よりも長くなっており、短いスピーチ部分の検出も可能となった。
【００７２】
＜検出性能の総合検証＞
図２に示した本実施形態におけるスピーチ／ポーズ検出手法を図１６に示した従来のスピーチ／ポーズ検出手法とを以下のように比較検証した。
【００７３】
検証用対象番組音声は、検出誤りの多い「普段着の温泉」というタイトルの番組音声と「信楽」というタイトルの番組音声とから、検出上困難性が高い部分（大きい背景音、短いスピーチなど）を抽出して組合わせ作成した「普段温泉・信楽・普段温泉」という合成音声を検証対象として使用した。
【００７４】
図４は、そのときの検出開始時間、終了時間、開始フレーム、終了フレームを示している。図５は本実施形態の検出手法、図６は従来検出手法による各々、検出区間の音声を実際に聴取して、その状況を対象番組音声のテキスト上に表示したものである。
【００７５】
縦の短線はスピーチの検出区間であり、その間が空白であるものはスピーチでない部分の誤検出、□で囲んだ部分はスピーチ部分の不検出の不具合を示している。
【００７６】
新検出手法では、旧検出手法に比較し、これらの不具合を大幅に改善できるようになった。
【００７７】
結果として、検証の範囲内では性能はかなり改善され、裁判記録や字幕番組制作のテキスト作成支援などの要素技術として、十分寄与し得るレベルである。
【００７８】
＜実施形態の効果＞
音声などのスピーチ区間をポーズ部分検出を活用して適切に検出できると、書起し作業における前記「一区切りのスピーチ区間についてテープの頭出し・再生操作の繰り返し」を自動化することが可能であり、またこの区間のスピーチについて、書起しし易いような適当な低速化再生や繰り返し、ポーズの挿入を行うことも可能である。また、逆に非スピーチ区間については高速送りなどして時間節約することも可能である。その結果、書起し作業者は書起し作業に専念することができ、字幕用テキストの正確・迅速な作成に大いに貢献することができる。
【００７９】
また、字幕表示イメージ化は、字幕テキスト文を字幕表示に適した行数、文字数の各表示単位字幕文に分割するものであるが、音声の長いポーズにまたがる字幕分割は好ましくない。その理由は、表示単位字幕文が長いポーズの前後の字幕つまり時間的・空間的に無関係な字幕で構成されることとなるからである。長いポーズつまり非スピーチ区間の検出は、表示単位字幕文への分割にも活用することができる。
【００８０】
さらに、開始・終了タイムコード付与における開始・終了のタイミングの多くは、スピーチ区間の開始・終了であり、ポーズ部分の検出結果を活用することで可能である。例えば文単位でのアナウンス音声の開始、終了のタイミングをポーズ部分検出を活用して求め、そのタイミングを表示単位字幕文の開始、終了のタイミングの少なくとも一部として適用することによって、自動的なタイミングの付与を高速化することができる。
【００８１】
このようにポーズ部分の検出手法は、字幕番組制作作業のａ）〜ｃ）の各段階で広く活用できるものであり、しかもこれらの処理は、番組音声時間の数十分の一以下の時間で高速処理可能なので、きわめて有効な手法と考えている。
【００８２】
さらに、本実施形態の装置を裁判記録文書作成に関わるポーズ部分検出に適用した場合、下記のように裁判資料作成の種々の段階において、大いに貢献出来る可能性がある。
【００８３】
(a)書起し範囲を特定できるので、範囲の探索・選択をほぼ自動により的確に行うことができる。そのため、手作業の労力と時間を低減することが出来る。
【００８４】
(b)確認・修正作業においても、検出区間内において作業を集中して行うことが可能となり、区間外は高速チェック、念のためのチェックなどとして、作業を効率化することができる。
【００８５】
(c)必要な音声認識区間を特定できるので、不要範囲での誤認識、雑音を除去できる。
【００８６】
(d)話者認識手法との連携で、作成文書における話者とその区間を明らかにできる。
【００８７】
・音声認識における音響モデルの選択においても、話者とその区間に関する情報を活用することができる。
【００８８】
(e)集音マイクを話者ごとに設置する場合は、話者認識手法を活用して適切に集音マイクを選択することができる。
【００８９】
＜第２の実施形態＞
次に本発明に係るスピーチ／ポーズ区間検出装置の第２の実施形態を説明する。なお、基本的な装置構成は図１と同様であるため、図示は省略する。
【００９０】
本実施形態では、前述したステップＳＴ１３における“短スピーチ補償処理”の他の例を示している。
【００９１】
例えば「はい」、「いいえ」など、短いが重要な発言に対し、その検出をより確実に行えることが望ましい。このような短い発言が検出困難な理由は、他の背景音と区別するためにこの検出法で行っている信号の積分・帯域ろ波の処理過程において、区別出来るレベルに達しないためであり、短い発言はパワーが足りないためといえる。
【００９２】
そのため、信号の遅延合成手法を適用して、短い発言部分が他に比較して相対的にパワーアップを図るようにし、さらに検出後に遅延合成の補正を行うようにした。
【００９３】
ただし、対象とする短い発言としてその下限を定めることとし、例えば「はい」、「いいえ」などに対応する０．３秒程度以上とする。
【００９４】
（１）基本的な処理
基本的な処理は、０．３秒の短い発言に対応する信号を等価的に２秒程度の信号に変換するために、０．３＊Ｎ秒（Ｎ＝１，２，３，４，５，６）の遅延を与えた６個の信号と、原信号とを合成する方法である。
【００９５】
０．３秒の信号に関しては、この方法により重なりなく等価的に２秒程度の信号に変換できたことになるが、例えば数秒以上の発言に対応する信号に対して、このような単純な遅延合成を行ったのでは、信号の加算による大幅なレベル変化が生じ、検出性能に大きな影響を与えることになる。
【００９６】
そのため、さらに非加算合成手法などを適用して、この問題を回避する必要がある。
【００９７】
また、本件に適用を意図しているスピーチ検出法において、４〜７Ｈｚの帯域ろ波器の出力に得られるスピーチ成分としての波形は、種々のスピーチに関して５．５Ｈｚ程度の周期をもった信号となっている。したがって、遅延合成を行う際には、この周期にも配慮すべきであり、遅延時間はその２サイクルに相当する０．３６４秒が適当である。
【００９８】
図７は、この基本的処理を説明するために使用する入力信号例である。５Ｈｚ程度の周波数で時間は０．４秒程度（２サイクル分）の信号である。（０．０５秒／一目盛）
この入力信号を０．４秒程度（２サイクル分）遅延した信号を図８に示す。
【００９９】
この入力信号と、遅延した信号とから合成信号を形成するのであるが、単純な加算ではなく非加算合成とする。具体的には、入力信号の絶対値と遅延信号の絶対値とを比較し、遅延信号の絶対値が大きい場合は遅延信号、小さい場合は入力信号を選択する合成法であり、このような処理を一回行った結果の合成信号を図９に示す。
【０１００】
この結果、０．４秒程度（２サイクル分）の入力信号を、０．８秒程度（４サイクル分）の出力信号に変換することができる。
【０１０１】
上記では処理を一回行う場合であるが、短時間の信号をより確実に検出できるようにするために、この処理を五回縦続して行った場合の合成信号を図１０に示す。
【０１０２】
その結果、０．４秒程度（２サイクル分）の入力信号を、２．４秒程度（１２サイクル分）の出力信号に変換することができる。
【０１０３】
（２）具体的な遅延合成処理の例
具体的な遅延合成処理の例として、前記０．３６４秒の遅延時間の回路を使用し、帰還率０．９４でリカーシブ回路を構成すると、６巡目のレベルが約７０％となる信号が得られる。したがって、閾値を７０％に設定すると、０．３秒の短い発言が２秒程度の信号に変換できることになる。
【０１０４】
（３）非加算合成の具体的処理
非加算遅延合成の単位回路構成例を図１１に示す。図１１に示すように、この遅延合成単位回路３１は、入力信号をτ時間遅延させる遅延部３３と、＋側ダイオードスイッチ部３５と、−側ダイオードスイッチ部３７と、２つの抵抗３９，４１と、加算部４３とを備えている。
【０１０５】
この遅延合成単位回路３１の具体的処理では、０〜τ時間までの入力はそのまま出力される。τ〜２τ時間では、τ〜２τ時間の入力信号とτ時間遅延した０〜τ時間入力の信号とが二組のダイオードスイッチ部３５，３７で処理される。検出されたスピーチ成分の正の半サイクル波形期間は＋側ダイオードスイッチ部３５により二入力の大きい方の信号が出力され、検出されたスピーチ成分の負の半サイクル波形期間は−側のダイオードスイッチ部３７により二入力の小さい方の信号が出力され、その両出力が加算部４３で加算し、その加算信号が出力される。
【０１０６】
入力信号の継続時間がτより十分大きい場合、０〜τ時間は入力信号がそのまま出力されるが、その後のτ〜２τ時間では、この時間の入力信号と遅延部３３からのτ時間遅延した０〜τ時間入力の信号とが、ダイオードスイッチ部３５，３７などにより処理されて、二入力の絶対値の大きい方の信号が選択出力され、結果として出力は０〜２τ時間に延長される。
【０１０７】
一方、短い発言に対応して入力信号がτ時間で終了する場合でも、その後のτ〜２τ時間は、遅延部３３からのτ時間遅延した０〜τ時間入力の信号が出力されることとなり、０〜２τ時間に延長される。
【０１０８】
実際にはこの遅延合成単位回路３１を図１２のように５段縦続して使用するので、０〜τ時間の入力信号は、０〜６τ時間の信号として出力されることとなり、スピーチ区間検出が容易になる。
【０１０９】
（４）遅延合成処理の補正
短い発言の検出のため、前記のように遅延信号を順次合成する処理を行っている結果、検出したスピーチ区間は実際の発言期間に対しずれが含まれる。このずれは、使用する遅延回路の遅延時間および単位回路の接続段数によって定まる一定の値であるため、スピーチ区間検出後にこのずれに対応する遅延合成の補正を行うようにした。
【０１１０】
上記の例では、実際の発言期間は０〜τ時間であるのに対し、この遅延合成処理でτ〜６τ時間分を付加した結果、検出したスピーチ区間は０〜６τ時間になるので、常にスピーチ区間の終り５τ時間分の短縮補正を行って、実際の発言期間となるように補正する。
【０１１１】
第２の実施形態におけるスピーチ部分検出処理の各処理の波形を示す。
【０１１２】
図１３は、短いスピーチを含む発言信号から、所定の帯域成分を抽出したものであり、短ＳＰ検出補償処理前の波形を示している。
【０１１３】
図１４は、短ＳＰ検出補償処理後の波形であり、短ＳＰ検出補償を行って信号成分範囲を拡大したものである。
【０１１４】
図１５は、短ＳＰ検出補償を行って信号成分範囲を拡大した図１４の信号を低域ろ波処理した波形である。適当なレベルでスライスすると、短ＳＰの部分も十分検出できる。
【図面の簡単な説明】
【０１１５】
【図１】本発明によるスピーチ／ポーズ区間検出装置の実施形態を示すブロック図である。
【図２】本発明によるスピーチ／ポーズ区間検出装置の実施形態の処理手順を示すフローチャートである。
【図３】実施の形態における各部の信号波形を示す説明図である。
【図４】実施の形態におけるスピーチ検出手法を用いた場合の検出開始時間、終了時間等の処理を示す説明図である。
【図５】実施の形態におけるスピーチ検出手法を用いた場合の処理結果を示す説明図である。
【図６】従来例におけるスピーチ検出手法を用いた場合の処理結果を示す説明図である。
【図７】入力信号波形の一例を示す説明図である。
【図８】遅延信号波形の一例を示す説明図である。
【図９】１段の場合の非加算合成信号を示す説明図である。
【図１０】５段の場合の非加算合成信号を示す説明図である。
【図１１】遅延合成単位回路の一例を示す説明図である。
【図１２】遅延合成単位回路を５段直列で構成した非加算遅延合成回路の一例を示す説明図である。
【図１３】短スピーチ検出補償処理前の波形を示す説明図である。
【図１４】短スピーチ検出補償処理後の波形を示す説明図である。
【図１５】低域ろ波処理された波形を示す説明図である。
【図１６】スピーチ／ポーズ区間検出装置の従来手法の処理手順を示すフローチャートである。
【図１７】従来手法のおける番組音声信号波形と、この波形に対応する振幅レベル信号またはパワーレベル信号を示す説明図である。
【図１８】図１７に示した振幅レベル信号またはパワーレベル信号を時間軸を拡大して示すと共に特性周波数範囲の抽出成分値を示す説明図である。
【図１９】図１８に示した特定周波数範囲の振幅レベル信号またはパワーレベル信号のエンベロープ波形と実測ポーズ（スピーチ）部分を示す説明図である。
【符号の説明】
【０１１６】
１  スピーチ／ポーズ区間検出装置
３  音声信号入力部
５  制御演算部
７  演算結果出力部
９  レベル補正手段
１１  短スピーチ補償手段
１３  特定周波数成分抽出手段
１５  スピーチ／ポーズ区間検出手段
１７  零交差数検出手段
１９  零交差分補正手段
２１  タイミング補完手段
２３  分散情報演算手段
２５  補完手段
２７  微小ポーズ分処理手段
３１  遅延合成単位回路
３３  遅延部
３５  ＋側ダイオードスイッチ部
３７  −側ダイオードスイッチ部
３９，４１  抵抗
４３  加算部
【図１】
2006350246.tif 000003
【図２】
2006350246.tif 000004
【図３】
2006350246.tif 000005
【図４】
2006350246.tif 000006
【図５】
2006350246.tif 000007
【図６】
2006350246.tif 000008
【図７】
2006350246.tif 000009
【図８】
2006350246.tif 000010
【図９】
2006350246.tif 000011
【図１０】
2006350246.tif 000012
【図１１】
2006350246.tif 000013
【図１２】
2006350246.tif 000014
【図１３】
2006350246.tif 000015
【図１４】
2006350246.tif 000016
【図１５】
2006350246.tif 000017
【図１６】
2006350246.tif 000018
【図１７】
2006350246.tif 000019
【図１８】
2006350246.tif 000020
【図１９】
2006350246.tif 000021