(57)【要約】【課題】音声信号の分類精度を向上させる。【解決手段】音声信号の特定の周波数帯域を通過させるフィルタ部２６と、特定の周波数帯域における音声信号のパワー値を求めるパワー値検出部２７と、音声信号のパワー値が所定の閾値を超える時間帯を求めるピーク時間帯検出部２８と、音声信号を周波数領域の信号へ変換する周波数変換部２９と、閾値を超える時間帯における周波数領域の信号から音響モデルを作成する音響モデル作成部３０と、音響モデルを用いて音声信号を分類する音声分類部２２とを備える。【選択図】図２
2008111866.tif 000002
【特許請求の範囲】
【請求項１】
音声信号から当該音声信号に含まれる特定の音声の音響モデルを作成する音響モデル手段と、
前記音響モデルを用いて前記音声信号を分類する音声分類手段と
を備えることを特徴とする音声分類装置。
【請求項２】
前記音響モデル手段は、
前記音声信号の特定の周波数帯域を通過させるフィルタ手段と、
前記特定の周波数帯域における音声信号のパワー値を求めるパワー値検出手段と、
前記音声信号のパワー値が所定の閾値を超える時間帯を求めるピーク時間帯検出手段と、
前記音声信号を周波数領域の信号へ変換する周波数変換手段と、
前記閾値を超える時間帯における前記周波数領域の信号から前記音響モデルを作成する音響モデル作成手段と
を備えることを特徴とする請求項１記載の音声分類装置。
【請求項３】
前記フィルタ手段は、各々異なる周波数帯域を通過させる２以上のフィルタを備え、
前記音響モデル作成手段は、前記２以上のフィルタを用いて２以上の音響モデルを作成し、
前記音声分類手段は、前記２以上の音響モデルを用いて前記音声信号を分類する
ことを特徴とする請求項２記載の音声分類装置。
【請求項４】
前記２以上のフィルタには、
前記特定の周波数帯域を通過させる帯域通過フィルタと、
前記特定の周波数帯域以外を通過させる帯域除去フィルタとが含まれ、
前記音響モデル作成手段は、前記帯域通過フィルタ及び前記帯域除去フィルタを用いて音響モデルを作成する
ことを特徴とする請求項３記載の音声分類装置。
【請求項５】
予め作成された音響モデルを保持する音響モデル記憶手段を更に備えることを特徴とする請求項１乃至４いずれか一項に記載の音声分類装置。
【請求項６】
前記音声信号を含むコンテンツから当該コンテンツのジャンルを決定するコンテンツジャンル抽出手段と、
前記コンテンツのジャンルに基づいて前記フィルタ手段が用いるフィルタを決定するフィルタ決定手段と
を更に備えることを特徴とする請求項１乃至５いずれか一項に記載の音声分類装置。
【請求項７】
コンピュータを、
音声信号から当該音声信号に含まれる特定の音声の音響モデルを作成する音響モデル手段、及び
前記音響モデルを用いて前記音声信号を分類する音声分類手段
として機能させるためのコンピュータプログラム。
【請求項８】
前記音響モデル手段は、
前記音声信号の特定の周波数帯域を通過させるフィルタ手段と、
前記特定の周波数帯域における音声信号のパワー値を求めるパワー値検出手段と、
前記音声信号のパワー値が所定の閾値を超える時間帯を求めるピーク時間帯検出手段と、
前記音声信号を周波数領域の信号へ変換する周波数変換手段と、
前記閾値を超える時間帯における前記周波数領域の信号から前記音響モデルを作成する音響モデル作成手段と
を備える請求項７記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号を解析し、分類する音声分類装置及びコンピュータシステムを用いて音声分類装置の機能を実現するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来から、サウンド認識を用いて音声信号を含むマルチメディアコンテンツからスポーツハイライトなどの番組要約を抽出する方法が知られている（例えば、特許文献１参照）。例えば、スポーツイベントのビデオにおいては、観客の拍手、喝采、バットによるボールの打撃、興奮した音声、背景雑音または音楽を識別して、オーディオコンテンツを分類する。これにより、スポーツイベントから面白いハイライトを見つけることができる。
【０００３】
オーディオコンテンツを分類する従来の方法では、入力されたオーディオ信号から、特徴のセットを抽出し、特徴のセットを、拍手、喝采、打球、音声、音楽、音楽付き音声などのオーディオクラスに従って分類する。そして、拍手または喝采として分類された特徴部分のグループをスポーツハイライトなどの番組要約として選択する。
【０００４】
【特許文献１】特開２００４−２５８６５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、オーディオコンテンツを分類する従来の方法では、事前に学習データから作成した、拍手、喝采、打球、音声、音楽、音楽付き音声などのオーディオクラス（音響モデル）を継続的に記憶する記憶部を必要としている。オーディオ（音声）には様々な種類のものがあるが、この様々な種類の音声に対応した音響モデルのパラメータを記憶するためには多くの記憶容量を必要とする。
【０００６】
また、記憶容量を削減するために複数の音響モデルを一つにまとめた場合、個々の音響モデルに比べて音声の分類精度が低下してしまう。
【０００７】
本発明は、上記問題点を解決するために成されたものであり、その目的は、個々の音響モデルを作成することにより音声の分類精度が向上する音声分類装置及びコンピュータプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の特徴は、音声信号から当該音声信号に含まれる特定の音声の音響モデルを作成する音響モデル手段と、音響モデルを用いて音声信号を分類する音声分類手段とを備える音声分類装置であることを要旨とする。
【０００９】
第１の特徴によれば、音声信号から音響モデルを逐次作成し、作成された音響モデルを用いて音声信号を分類する。これにより、予め音響モデルを作成して継続的に保持する必要がなくなり、音響モデルのパラメータ分のデータ容量を削減することができる。また、音声信号の環境に適応した音響モデルを作成できるため、音声信号の分類精度が向上する。
【００１０】
第１の特徴において、音響モデル手段は、音声信号の特定の周波数帯域を通過させるフィルタ手段と、特定の周波数帯域における音声信号のパワー値を求めるパワー値検出手段と、音声信号のパワー値が所定の閾値を超える時間帯を求めるピーク時間帯検出手段と、音声信号を周波数領域の信号へ変換する周波数変換手段と、閾値を超える時間帯における周波数領域の信号から音響モデルを作成する音響モデル作成手段とを備えていてもかまわない。
【００１１】
音響モデルのパラメータはデータ容量が大きいため、多くの音響モデルを継続的に保持することができない。そこで、音響モデルを予め用意するのではなく、音響モデルに対応する特定の周波数帯域を通過させるフィルタ手段を用意し、フィルタ手段を用いて音声信号から音響モデルを作成する。フィルタ手段のデータ容量は音響モデルのパラメータに比べて非常に小さいため、記憶容量の削減の効果が得られる。また、音声信号のパワー値のピークのうち閾値を超える時間帯を検出し、その時間帯における周波数領域の信号を用いて音響モデルを作成する。これにより、不必要なデータを減らして必要なデータからのみ音響モデルを作成でき、品質の高い音響モデルを作成することができる。
【００１２】
第１の特徴において、フィルタ手段は、各々異なる周波数帯域を通過させる２以上のフィルタを備え、音響モデル作成手段は、２以上のフィルタを用いて２以上の音響モデルを作成し、音声分類手段は、２以上の音響モデルを用いて音声信号を分類してもかまわない。
【００１３】
フィルタ手段が２以上のフィルタを備えることにより、２以上の音響モデルが作成される。よって、この２以上の音響モデルを用いて音声信号の分類が可能となるため、従来のように音響モデルを継続的に保持する必要がなくなり、データ容量を削減することができる。
【００１４】
第１の特徴において、２以上のフィルタには、特定の周波数帯域を通過させる帯域通過フィルタと、特定の周波数帯域以外を通過させる帯域除去フィルタとが含まれ、音響モデル作成手段は、帯域通過フィルタ及び帯域除去フィルタを用いて音響モデルを作成してもかまわない。
【００１５】
２以上のフィルタとして、特定の周波数帯域を通過させるフィルタと、特定の周波数帯域以外を通過させるフィルタとを備えることにより、特定の周波数帯域に対応する音響モデル及び特定の周波数帯域以外に対応する音響モデルを作成することができる。よって、この２つの音響モデルを用いて音声信号を分類することで、音声信号の分類精度が更に向上する。
【００１６】
第１の特徴において、音声分類装置は、予め作成された音響モデルを保持する音響モデル記憶手段を更に備えていてもかまわない。
【００１７】
音響モデル記憶手段を備えることにより、予め作成された一般的な音響モデルを持つことができ、音響モデル手段における計算量を減らすことができる。
【００１８】
第１の特徴において、音声分類装置は、音声信号を含むコンテンツから当該コンテンツのジャンルを決定するコンテンツジャンル抽出手段と、コンテンツのジャンルに基づいてフィルタ手段が用いるフィルタを決定するフィルタ決定手段とを更に備えていてもかまわない。
【００１９】
コンテンツのジャンルに基づいてフィルタを決定することにより、ジャンルに応じてフィルタを使い分けることができ、音響モデル手段における計算量を軽減し、音声信号の分類精度が更に向上する。
【００２０】
ここで、コンテンツの「ジャンル」とは、コンテンツの様式・内容に関して類似するものをまとめたコンテンツの種類を示すものであり、例えば、ニュース、ドラマ、音楽、サッカー、野球などが挙げられる。
【００２１】
本発明の第２の特徴は、コンピュータを、音声信号から当該音声信号に含まれる特定の音声の音響モデルを作成する音響モデル手段、及び音響モデルを用いて音声信号を分類する音声分類手段として機能させるためのコンピュータプログラムであることを要旨とする。
【００２２】
第２の特徴において、音響モデル手段は、音声信号の特定の周波数帯域を通過させるフィルタ手段と、特定の周波数帯域における音声信号のパワー値を求めるパワー値検出手段と、音声信号のパワー値が所定の閾値を超える時間帯を求めるピーク時間帯検出手段と、音声信号を周波数領域の信号へ変換する周波数変換手段と、閾値を超える時間帯における周波数領域の信号から音響モデルを作成する音響モデル作成手段とを備えていてもかまわない。
【発明の効果】
【００２３】
本発明によれば、個々の音響モデルを作成することにより音声の分類精度が向上する音声分類装置及びコンピュータプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一部分には同一符号を付している。
【００２５】
（第１の実施の形態）
図１を参照して、本発明の第１の実施の形態に係わる音声分類装置（ＤＳＰ音解析部４）を含む映像記録再生装置２０の全体構成を説明する。映像記録再生装置２０は、デジタルチューナ１が受信したマルチメディアコンテンツに対応するストリームに含まれる映像データと音声データを各々分離する音声分離部２と、音声データを復号する音声デコーダ３と、複合された音声信号に含まれる音声の種類を識別して分類するＤＳＰ音解析部４と、ＤＳＰ音解析部４が作成した音響モデルを一時的に記憶するＲＡＭ１２と、予め学習された音響モデルを分類番号を付して継続的に記憶するＲＯＭ１３と、ＤＳＰ音解析部４で得られた結果をＨＤＤ−ＩＦ（ハードディスクドライブ−インターフェース）７を通して読み出してプレイリストを作成するＣＰＵ（中央演算処理装置）５と、符号化された映像データと音声データを復号し、映像信号はモニタ９、音声信号はスピーカ１０に出力するＡ／Ｖデコーダ６と、ＨＤＤ−ＩＦ７を通して受信したマルチメディアコンテンツに対応するストリームを記憶するＨＤＤ（ハードディスクドライブ）８と、ＨＤＤ−ＩＦ７とを備える。デジタルチューナ１は放送波を受信する。モニタ９は入力された映像信号を表示し、スピーカ１０は入力された音声信号を再生する。
【００２６】
音声分離部２と、音声デコーダ３と、ＤＳＰ音解析部４と、ＲＡＭ１２と、ＲＯＭ１３と、ＣＰＵ５と、Ａ／Ｖデコーダ６と、ＨＤＤ−ＩＦ７は、バス１１を介して接続されている。
【００２７】
なお、本発明の第１の実施の形態に係わる音声分類装置は、ＤＳＰ音解析部４に相当する。
【００２８】
デジタルチューナ１は、放送波を受信しチャンネル毎の符号化されたストリームを出力する。出力されたストリームは音声分離部２へと転送される。また同時にＨＤＤ−ＩＦ７を通してＨＤＤ８に記録される。音声分離部２は、入力されたストリームを映像データと音声データに分離する。分離された音声データは音声デコーダ３へ転送される。音声デコーダ３は入力された音声データを復号し、復号された音声信号をＤＳＰ音解析部４に転送する。
【００２９】
図２を参照して、図１のＤＳＰ音解析部４（音声分類装置）の詳細な構成を説明する。ＤＳＰ音解析部４は、音声信号から前記の音声信号に含まれる特定の音声の音響モデルを作成する音響モデル部（音響モデル手段）２１と、作成された音響モデルを用いて上記の音声信号を分類する音声分類部（音声分類手段）２２とを備える。
【００３０】
音響モデル部２１は、音声信号の特定の周波数帯域を通過させるフィルタ部（フィルタ手段）２６と、特定の周波数帯域における音声信号のパワー値を求めるパワー値検出部（パワー値検出手段）２７と、音声信号のパワー値が所定の閾値を超える時間帯を求めるピーク時間帯検出部（ピーク時間帯検出手段）２８と、音声信号を周波数領域の信号へ変換する周波数変換部（周波数変換手段）２９と、閾値を超える時間帯における周波数領域の信号から音響モデルを作成する音響モデル作成部（音響モデル作成手段）３０とを備える。
【００３１】
図４を参照して、音声信号からピーク時間帯を求めるまでの音声信号の変化の様子を説明する。フィルタ部２６により処理された音声信号Ｐ１の時刻に対する音声信号の振幅値が、図４に示すようなプロファイルを取った場合を考える。パワー値検出部２７が、（１）式に従って、音声信号Ｐ１のパワー値ｐを求める処理を実施することにより、図４に示す音声信号Ｐ２が得られる。
【００３２】
（１）式に示すように、パワー値ｐは、ある期間における音声信号の振幅値の二乗平均値である。x[k]は音声信号の振幅値であり、ｋはサンプリング周波数を示す変数である。パワー値ｐは、ｋ＝０〜Ｎ−１の総ての整数について、音声信号の振幅値x[k]をそれぞれ二乗し、Ｎ個の二乗した音声信号の振幅値x[k]を総て足し合わせ、足し合わせた結果である合計値をＮで除算することにより算出される。なお、Ｎは任意の自然数である。
【００３３】
【数１】
2008111866.tif 000003
【００３４】
ピーク時間帯検出部２８は、音声信号Ｐ２に対して所定の閾値を設定し、音声信号のパワー値が所定の閾値を超える時間帯を求める。時刻t1〜t2、t3〜t4、・・・までの時間帯は、ピーク時間帯３５となる。
【００３５】
図３、図５〜図７及び図１４を参照して、音響モデルを作成する時、音声信号を分類する時、及びコンテンツを再生する時の図１の映像記録再生装置２０の動作を説明する。
【００３６】
[音響モデル作成時の動作：図３、図５及び図１４（ａ）]
デジタルチューナ１が受信した放送波から得られるコンテンツに対応するストリームは、音声分離部２により音声データと映像データに分類される（Ｓ１０１ａ）。音声デコーダ３が、音声データを復号して音声信号を生成する（Ｓ１０１ｂ）。フィルタ部２６は、特定の周波数帯域を通過させるバンドパスフィルタを用いて、特定の周波数帯域の音声信号だけを取り出し（Ｓ１０２）、パワー値検出部２７が特定の周波数帯域の音声信号のパワー値を求める、つまり音声をパワー信号へ変換する（Ｓ１０３）。ピーク時間帯検出部２８は音声のパワー信号の極大値のうち、ある閾値以上になる時間帯（開始時刻及び終了時刻）を検出する（Ｓ１０５）。一方、周波数変換部２９が生の音声信号を周波数領域の信号へ変換し、特徴量抽出部３１が、検出された時間帯における周波数領域の信号を抽出する（Ｓ１０６）。抽出された周波数領域の信号（特徴量）は、特徴量記憶部（ＲＡＭ１２）に一時的に記憶される（Ｓ１０７）。なお、特徴量としては、例えば音声認識でよく用いられるメル周波数スペクトラム係数（ＭＦＣＣ）を用いることができる。上記のＳ１０５〜Ｓ１０７を、コンテンツが終わるまで実施する。そして、コンテンツ終端検出部３２がコンテンツの終わりを検出した場合（Ｓ１０４にてＹＥＳ）、Ｓ１０８へ進み、特徴量読み出し部４５が特徴量記憶部（ＲＡＭ１２）から特徴量を読み出し、音響モデル作成部３０は、特徴量を学習データとして音響モデルを作成する（Ｓ１０８）。作成された音響モデルは音響モデル記憶部（ＲＡＭ１２）に記憶される（Ｓ１０９）。
【００３７】
図１４（ａ）は、Ｓ１０２において、フィルタ部２６が特定の周波数帯域の音声信号だけを取り出す際に使用するフィルタを例示するテーブルである。例えば、笛のフィルタは、笛の音に対応する特定の周波数帯域の音声信号だけを取り出す機能を有する。よって、笛の音に対応する特定の周波数帯域の音声信号だけを取り出すことにより、音響モデル作成部３０は、取り出された音声信号に基づいて、笛の音響モデルを作成することができる。同様に、音楽、行司、・・・のフィルタを用いることにより、音楽、行司、・・・の音響モデルを作成することができる。第１の実施の形態において、音響モデル作成時に使用するフィルタは、予め設定されている。
【００３８】
[音声信号分類時の動作：図３、図６及び図１４（ｂ）]
コンテンツ読み出し部４６がＨＤＤ（コンテンツ記憶部）８からコンテンツに対応するストリームを読み出し（Ｓ２０１）、音声分離部２が音声データを抽出する（Ｓ２０２ａ）。そして、音声デコーダ３が音声データを復号して音声信号を生成した（Ｓ２０２ｂ）後、周波数変換部２９が、音声信号を周波数領域の信号へ変換する（Ｓ２０３）。そして、音響モデル読み出し部４７がＲＯＭ１３及びＲＡＭ１２からそれぞれ音響モデルを読み出し、音声分類部２２は、読み出された音響モデルと入力された周波数領域の信号（特徴量）との尤度を尤度関数から計算し、尤度が最大となるモデルのラベルと時刻を分類結果記憶部（ＨＤＤ８）に記録する（Ｓ２０４）。なお、「ラベル」とは分類番号である。また、「時刻」は、入力された周波数領域の信号と音響モデルとの比較において、入力信号の開始位置を示す時刻とする。第２及び第３の実施の形態においても同様とする。
【００３９】
図１４（ｂ）は、Ｓ２０４において、音響モデル読み出し部４７がＲＯＭ１３及びＲＡＭ１２からそれぞれ読み出した音響モデルを例示するテーブルである。図１４（ｂ）中の「動的に作成される音響モデル」とは、本発明の実施の形態において、作成される音響モデルを指し、「静的な音響モデル」とは、予め作成された音響モデルを指す。音声分類部２２は、例えば、ＲＡＭ１２から読み出された笛の音響モデルと、ＲＯＭ１３から読み出された歓声の音響モデルを用いて、音声信号を笛の部分と歓声の部分に分類する。第１の実施の形態において、音声信号分類時に使用する音響モデルは、予め設定されている。
【００４０】
[コンテンツ再生時の動作：図３及び図７]
ユーザ入力部４８が、ユーザのコンテンツの再生を指示する入力を受けると、分類結果・時刻検出部３３がＨＤＤ８から、再生指示を受けたコンテンツに対応するラベルと時刻を読み出し（Ｓ３０１）、プレイリスト作成部３４が読み出されたラベルと時刻を用いて、所定のルールに基づいてダイジェスト再生用のプレイリストを作成する（Ｓ３０２）。そして、コンテンツ読み出し部４６がコンテンツに対応するストリームを読み出し、再生制御部４９が、作成されたプレイリストに基づいて、該当するデータ（ストリーム）を再生する（Ｓ３０３）。なお、上記の所定のルールとは、ダイジェスト再生にあたり、どの特徴を用いて再生するか、即ち、予めどのラベルを採用してダイジェスト再生の箇所とするか、など、決められたものをいう。
【００４１】
以上説明したように、本発明の第１の実施の形態によれば以下の作用効果が得られる。
【００４２】
図２の音響モデル部２１が音声信号から当該音声信号に含まれる特定の音声の音響モデルを作成し、音声分類部２２がこの音響モデルを用いて音声信号を分類する。つまり、音声信号から音響モデルを逐次作成し、作成された音響モデルを用いて音声信号を分類する。これにより、予め音響モデルを作成して継続的に保持する必要がなくなり、音響モデルのパラメータ分のデータ容量を削減することができる。すなわち、事前に用意する音響モデルを減らすことにより、これを保持するために必要な記憶容量を軽減することができる。また、音声信号の環境に適応した音響モデルを作成できるため、音声信号の分類精度が向上する。
【００４３】
フィルタ部２６が音声信号の特定の周波数帯域を通過させ、パワー値検出部２７がフィルタ部２６を通過した音声信号のパワー値を求め、ピーク時間帯検出部２８が音声信号のパワー値が所定の閾値を超える時間帯を求め、周波数変換部２９が音声信号を周波数領域の信号へ変換し、音響モデル作成部３０が閾値を超える時間帯における周波数領域の信号（特徴量）から音響モデルを作成する。音響モデルのパラメータは記憶容量が大きいため、多くの音響モデルを継続的に保持することができない。そこで、音響モデルを予め用意するのではなく、音響モデルに対応する特定の周波数帯域を通過させるフィルタ部２６を用意し、フィルタ部２６を用いて音声信号から音響モデルを作成する。フィルタ部２６の記憶容量は音響モデルのパラメータに比べて非常に小さいため、記憶容量の削減の効果が得られる。また、音声信号のパワー値のピークのうち閾値を超える時間帯を検出し、その時間帯における周波数領域の信号を用いて音響モデルを作成する。これにより、不必要なデータを減らして必要なデータからのみ音響モデルを作成でき、品質の高い音響モデルを作成することができる。
【００４４】
通常、音声分類部２２は、少なくとも２つの音響モデルを用いて音声信号を相対的に識別して分類する。よって、２以上の音響モデルを用意する必要がある。そこで、フィルタ部２６が各々異なる周波数帯域を通過させる２以上のフィルタを備え、音響モデル作成部３０が、この２以上のフィルタを用いて２以上の音響モデルを作成することにより、音声分類部２２は、この２以上の音響モデルを用いて音声信号を分類することができる。よって、フィルタ部２６が２以上のフィルタを備えることにより、２以上の音響モデルが作成され、この２以上の音響モデルを用いて音声信号の分類が可能となるため、従来のように音響モデルを継続的に保持する必要がなくなり、データ容量を削減することができる。
【００４５】
周波数変換部２９により変換された周波数領域の信号で音声の分類を行っているため、音声パワーに依存しないダイジェスト再生を作成することができ、より高品質なダイジェストが生成される。
【００４６】
このように、従来の技術では、予め音響モデルを保持しておくが、音声信号が入力された際に人間が同じ種類の音だと認識していても、学習データとして似た音声信号が入っていなければ音声信号の認識率が悪くなっていた。また、音響モデルを増やすにつれパラメータを記録するための記録容量が必要となっていた。本発明の第１の実施の形態によれば、ＨＤＤ８に蓄積されたコンテンツに対応するストリームにおいて、一つのコンテンツの音声信号から特定の音声を学習データとして利用して音響モデルを作成し、再度音響モデルを用いて音声信号を分類し主なシーンだけをとりだした（ダイジェストを作成した）動画や音声を作成する装置を実現できる。一つのコンテンツから特定の音の音響モデルを作成することで、従来より音声の分類の精度が向上し、音響モデルを使用する領域を減らすことが可能となる。
【００４７】
（第２の実施の形態）
図８に示すように、音声分類装置（ＤＳＰ音解析部４）は、コンテンツから当該コンテンツのジャンルを決定するコンテンツジャンル抽出部３６（コンテンツジャンル抽出手段）と、コンテンツのジャンルに基づいてフィルタ部２６が用いるフィルタを決定するフィルタ決定部３８と、予め作成された音響モデルを保持する音響モデル記憶部（音響モデル記憶手段）とを更に備える。コンテンツジャンル抽出部３６は、ＥＰＧやユーザの手入力によって、コンテンツのジャンルを取得する。そして、コンテンツとジャンルは、対応づけられて記憶される。フィルタ決定部３８は、その内部にジャンルとこれに対応するバンドパスフィルタとの関係を示す情報を有し、フィルタ部２６が使用するフィルタ（バンドパスフィルタ）を決定する。
【００４８】
図８〜図１０及び図１５を参照して、音響モデルを作成する時、及び音声信号を分類する時の図１の映像記録再生装置２０の動作を説明する。なお、コンテンツを再生する時の動作は、図７と同じため、図示及び説明を省略する。
【００４９】
[音響モデル作成時の動作：図８、図９及び図１５]
コンテンツジャンル抽出部３６がＥＰＧなどからコンテンツのジャンル情報を取得し、フィルタ決定部３８がジャンル情報に基づいてフィルタ部２６が使用するバンドパスフィルタを決定する（Ｓ４０１）。例えば、コンテンツがサッカーの試合であれば、即ち、コンテンツのジャンルがサッカーの場合、笛のバンドパスフィルタが選ばれる。デジタルチューナ１が受信した放送波から得られるコンテンツに対応するストリームは、音声分離部２により音声データと映像データに分類される（Ｓ４０２ａ）。音声デコーダ３が音声データを復号して音声信号を生成した（Ｓ４０２ｂ）後、フィルタ部２６は、フィルタ決定部３８により決定されたバンドパスフィルタを用いて、特定の周波数帯域の音声信号だけを取り出す（Ｓ４０３）。なお、使用されたバンドパスフィルタの情報はＲＡＭ１２に記録される（Ｓ４０４）。また、コンテンツに対応するストリームがＨＤＤ８に記録される際にジャンル情報が、このストリームと対応づけられてＨＤＤ８に記録される。そして、パワー値検出部２７が特定の周波数帯域の音声信号のパワー値を求める、つまり音声信号をパワー信号へ変換する（Ｓ４０５）。ピーク時間帯検出部２８は音声のパワー信号の極大値のうち、ある閾値以上になる時間帯（開始時刻及び終了時刻）を検出する（Ｓ４０７）。一方、周波数変換部２９が生の音声信号を周波数領域の信号へ変換し、特徴量抽出部３１が、検出された時間帯における周波数領域の信号を抽出する（Ｓ４０８）。抽出された周波数領域の信号（特徴量）は、特徴量記憶部（ＲＡＭ１２）に一時的に記憶される（Ｓ４０９）。上記のＳ４０７〜Ｓ４０９を、コンテンツに対応するストリームが終わるまで実施する。そして、コンテンツ終端検出部３２がコンテンツに対応するストリームの終わりを検出した場合（Ｓ４０６にてＹＥＳ）、Ｓ４１０へ進み、特徴量読み出し部４５は、特徴量記憶部（ＲＡＭ１２）から特徴量を読み出し、音響モデル作成部３０は、特徴量から学習データとして音響モデルを作成する（Ｓ４１０）。作成された音響モデルは音響モデル記憶部（ＲＡＭ１２）に記憶される（Ｓ４１１）。
【００５０】
図１５（ａ）のテーブルは、Ｓ４０１においてフィルタ決定部３８が使用する、ジャンルと音響モデル作成時に使用するフィルタとの関係の一例を示すテーブルである。フィルタ決定部３８は、コンテンツジャンル抽出部３６が抽出したジャンル情報に基づいてフィルタ部２６が使用するバンドパスフィルタを決定する。例えば、ジャンルがサッカーである場合、笛のフィルタを用いて笛の音響モデルを作成し、音楽、行司のフィルタは使用しない。同様に、ジャンルが相撲、音楽、・・・であれば、行司、音楽のフィルタを用いて行司、音楽の音響モデルをそれぞれ作成する。このように、第２の実施の形態において、音響モデル作成時に使用するフィルタは、ジャンルによって決定される。
【００５１】
[音声信号分類時の動作：図８、図１０及び図１５]
コンテンツ読み出し部４６が、ＨＤＤ（コンテンツ記憶部）８からコンテンツに対応するストリームを読み出し（Ｓ５０１）、音声分離部２が音声データを抽出する（Ｓ５０２ａ）、そして、音声デコーダ３が音声データを復号して音声信号を生成した（Ｓ５０２ｂ）後、周波数変換部２９が、音声信号を周波数領域の信号へ変換する（Ｓ５０３）。そして、コンテンツ読み出し部４６がＨＤＤ８に記録されたジャンル情報を読み出す（Ｓ５０４）。ジャンル情報は、コンテンツ記録時に、コンテンツと対応付けられて記録される。そして、音響モデル読み出し部４７は、ジャンルに応じた音響モデルを音響モデル記憶部（ＲＯＭ１３）及び音響モデル記憶部（ＲＡＭ１２）から選択する（Ｓ５０５）。例えば、ジャンルがサッカーの場合、サッカーの試合で必要となる音響モデル（歓声やアナウンサーなど）が選択される。音声分類部２２は、読み出された音響モデルと入力された周波数領域の信号（特徴量）との尤度を尤度関数から計算し、尤度が最大となるモデルのラベルと時刻を分類結果記憶部（ＨＤＤ８）に記録する（Ｓ５０６）。
【００５２】
図１５（ｂ）は、Ｓ５０５において音響モデル読み出し部４７が使用する、ジャンルと音声信号分類時に使用する音響モデルとの関係の一例を示すテーブルである。図１５（ｂ）中の「動的に作成される音響モデル」とは、本発明の実施の形態において、作成される音響モデルを指し、「静的な音響モデル」とは、予め作成された音響モデルを指す。音声分類部２２は、コンテンツジャンル抽出部３６が抽出したジャンル情報に基づいて、使用する音響モデルを決定する。例えば、ジャンルがサッカーである場合、笛の音響モデル及び歓声の音響モデルを用いて音声信号を分類し、音楽、行司の音響モデルは使用しない。同様に、ジャンルが相撲であれば、行司の音響モデル及び歓声の音響モデルを用いて音声信号を分類し、ジャンルが音楽であれば、音楽の音響モデルを用いて音声信号を分類する。このように、第２の実施の形態において、音声信号分類時に使用する音響モデルは、ジャンルによって決定される。
【００５３】
以上説明したように、本発明の第２の実施の形態によれば以下の作用効果が得られる。
【００５４】
コンテンツジャンル抽出部３６がコンテンツのジャンルを決定し、フィルタ決定部３８がコンテンツのジャンルに基づいてフィルタ部２６が用いるフィルタを決定する。コンテンツのジャンルに基づいてフィルタを決定することにより、ジャンルに応じてフィルタを使い分けることができ、音響モデル部２１における計算量を軽減し、音声信号の分類精度が更に向上する。
【００５５】
予め作成された音響モデルを保持する音響モデル記憶部（ＲＯＭ１３）を備えることにより、予め作成された一般的な音響モデルを持つことができ、音響モデル部２１における計算量を減らすことができる。
【００５６】
（第３の実施の形態）
図１１に示すように、フィルタ部２６が備える２以上のフィルタに、特定の周波数帯域を通過させる帯域通過フィルタ（バンドパスフィルタ）４２と、特定の周波数帯域以外を通過させる帯域除去フィルタ（バンドエリミネーションフィルタ）４１とが含まれる場合について説明する。
【００５７】
図１１〜図１３、図１６を参照して、音響モデルを作成する時、及び音声信号を分類する時の図１の映像記録再生装置２０の動作を説明する。なお、コンテンツを再生する時の動作は、図７と同じため、図示及び説明を省略する。
【００５８】
[音響モデル作成時の動作：図１１、図１２及び図１６]
デジタルチューナ１が受信した放送波から得られるコンテンツに対応するストリームは、音声分離部２により音声データと映像データに分類される（Ｓ６０１ａ）。音声デコーダ３が、音声データを復号して音声信号を生成する（Ｓ６０１ｂ）。フィルタ部２６は、バンドパスフィルタ４２及びバンドエリミネーションフィルタ４１を用いて、特定の周波数帯域の音声信号及び特定の周波数帯域以外の音声信号をそれぞれ取り出し（Ｓ６０２）、パワー値検出部２７が特定の周波数帯域の音声信号及び特定の周波数帯域以外の音声信号のパワー値をそれぞれ求める、つまり音声信号をパワー信号へ変換する（Ｓ６０３）。ピーク時間帯検出部２８は音声のパワー信号の極大値のうち、ある閾値以上になる時間帯（開始時刻及び終了時刻）を検出する（Ｓ６０５）。一方、周波数変換部２９が生の音声信号を周波数領域の信号へ変換し、特徴量抽出部３１が、検出された時間帯における周波数領域の信号を抽出する（Ｓ６０６）。抽出された周波数領域の信号（特徴量）は、特徴量記憶部（ＲＡＭ１２）に一時的に記憶される（Ｓ６０７）。上記のＳ６０５〜Ｓ６０７を、コンテンツに対応するストリームが終わるまで実施する。そして、コンテンツ終端検出部３２がコンテンツに対応するストリームの終わりを検出した場合（Ｓ６０４にてＹＥＳ）、Ｓ６０８へ進み、特徴量読み出し部４５が、コンテンツ読み出し部４６から特徴量を読み出し、音響モデル作成部３０が、特徴量を学習データとして音響モデルを作成する（Ｓ６０８）。音響モデルは、バンドパスフィルタ４２及びバンドエリミネーションフィルタ４１にそれぞれ対応している。作成された音響モデルは共に音響モデル記憶部（ＲＡＭ１２）に記憶される（Ｓ６０９）。
【００５９】
このように、図５のフローチャートにおける動作に加えて、バンドエリミネーションフィルタ４１を用いて音響モデルを作成する。このバンドエリミネーションフィルタ４１を通してバンドパスフィルタ４２の場合と同様の動作を行う。例えば、バンドパスフィルタ４２としてサッカーの笛を用いた場合、笛のバンドパスフィルタ４２に対してバンドエリミネーションフィルタ４１は笛の周波数帯域だけを除去するフィルタを用いる。これを用いて、サッカーの笛とそれ以外の音響モデルをそれぞれ作成することができる。
【００６０】
[音声信号分類時の動作：図１１、図１３及び図１６]
コンテンツ読み出し部４６がＨＤＤ（コンテンツ記憶部）８からコンテンツに対応するストリームを読み出し（Ｓ７０１）、音声分離部２が音声データを抽出する（Ｓ７０２ａ）。そして、音声デコーダ３が音声データを復号して音声信号を生成した（Ｓ７０２ｂ）後、周波数変換部２９が音声信号を周波数領域の信号へ変換する（Ｓ７０３）。そして、音響モデル読み出し部４７が音響モデル記憶部（ＲＡＭ１２）からバンドパスフィルタ４２及びバンドエリミネーションフィルタ４１に対応する音響モデルを読み出し、音声分類部２２は、読み出された音響モデルと入力された周波数領域の信号（特徴量）との尤度を尤度関数から計算し、尤度が最大となるモデルのラベルと時刻を分類結果記憶部（ＨＤＤ８）に記録する（Ｓ７０４）。なお、「ラベル」とは分類番号である。
【００６１】
このように、音響モデル読み出し部４７が音響モデルを読み出す場所が音響モデル記憶部（ＲＡＭ１２）のみとなる点が図６のフローチャートと異なり、その他の点は同一である。
【００６２】
以上説明したように、本発明の第３の実施の形態によれば以下の作用効果が得られる。
【００６３】
フィルタ部２６が有する２以上のフィルタには、特定の周波数帯域を通過させるバンドパスフィルタ４２と、特定の周波数帯域以外を通過させるバンドエリミネーションフィルタ４１とが含まれ、音響モデル作成部３０は、バンドパスフィルタ４２及びバンドエリミネーションフィルタ４１を用いて音響モデルをそれぞれ作成する。２以上のフィルタとして、特定の周波数帯域を通過させるフィルタと、特定の周波数帯域以外を通過させるフィルタとを備えることにより、特定の周波数帯域に対応する音響モデル及び特定の周波数帯域以外に対応する音響モデルを作成することができる。よって、この２つの音響モデルを用いて音声信号を分類することで、音声信号の分類精度が更に向上する。
【００６４】
（その他の実施の形態）
上記のように、本発明は、第１乃至第３の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【００６５】
第３の実施の形態では、第１の実施の形態と同様に、音響モデル作成時に使用する帯域通過フィルタ及び帯域除去フィルタ、及び音声信号分離時に使用する音響モデルは、予め設定される。しかし、本発明はこれに限定されることなく、第３の実施の形態でも、第２の実施の形態と同様にして、フィルタ及び音響モデルをジャンルによって決定しても構わない。以下に、図１６（ａ）〜図１６（ｃ）を参照して、フィルタ及び音響モデルをジャンルによって決定する際に使用するテーブルについて説明する。
【００６６】
図１６（ｂ）に、ジャンルと音響モデル作成時に使用するフィルタとの関係の一例を示す。なお、図１６（ａ）は、帯域通過フィルタ及び帯域除去フィルタの特性を示す図である。また、図１６（ａ）は、帯域通過フィルタは、特定の周波数帯域の信号を通過させ、帯域除去フィルタは、特定の周波数帯域以外の信号を通過させることを示している。
【００６７】
フィルタ決定部３８は、コンテンツジャンル抽出部３６が抽出したジャンル情報に基づいてフィルタ部２６が使用する帯域通過フィルタ及び帯域除去フィルタを決定する。例えば、ジャンルがサッカーである場合、笛の帯域通過フィルタ及び笛の帯域除去フィルタを用いて音響モデルをそれぞれ作成し、音楽、行司の帯域通過フィルタ及び帯域除去フィルタは使用しない。同様に、ジャンルが相撲、音楽、・・・であれば、行司、音楽の帯域通過フィルタ及び帯域除去フィルタをそれぞれ用いて音響モデルを作成する。このように、第３の実施の形態において、音響モデル作成時に使用する帯域通過フィルタ及び帯域除去フィルタは、ジャンルによって決定しても構わない。この場合、帯域通過フィルタ及び帯域除去フィルタの２つのフィルタを用いて２つの音響モデルを作成するため、フィルタ決定時に必要となるテーブルも２つとなる。図１６（ｂ）において、「笛の帯域除去フィルタ」は、笛’と標記することで、「笛の帯域通過フィルタ」と区別している。
【００６８】
図１６（ｃ）は、ジャンルと音声信号分類時に使用する音響モデルとの関係の一例を示す。図１６（ｃ）中の「動的に作成される音響モデル」とは、本発明の実施の形態において、作成される音響モデルを指す。音声分類部２２は、コンテンツジャンル抽出部３６が抽出したジャンル情報に基づいて、使用する音響モデルを決定する。例えば、ジャンルがサッカーである場合、笛の音響モデルと笛’の音響モデルを用いて音声信号を分類し、音楽、行司の音響モデルは使用しない。ここで、「笛’の音響モデル」は笛の帯域除去フィルタによって作成された音響モデルを示す。同様に、ジャンルが相撲であれば、行司の音響モデル及び行司’の音響モデルを用いて音声信号を分類し、ジャンルが音楽であれば、音楽の音響モデル及び音楽’の音響モデルを用いて音声信号を分類する。このように、第３の実施の形態において、音声信号分類時に使用する音響モデルは、ジャンルによって決定される。また、帯域通過フィルタと帯域除去フィルタを用いて音響モデルをそれぞれ作成しているので、音声信号分類時にも、帯域通過フィルタによって作成された音響モデルと、帯域除去フィルタによって作成された音響モデルの、２つのテーブルが必要となる。
【００６９】
実施の形態では、ＤＳＰ音解析部４が作成した音響モデルを記憶する記憶媒体は、ＲＡＭとあるが、音響モデルの記憶媒体は、電源をオフすると、記憶された情報がクリアされるものだけでなく、電源がオフされても記憶された情報が保持され続ける記憶媒体とすることができる。
【００７０】
第１乃至第３の実施の形態で説明した音声分類装置の動作は、時系列的につながった一連の処理又は操作、即ち音声分類方法としても表現することができる。従って、この音声分類方法を、コンピュータシステムを用いて実行するために、コンピュータシステム内のプロセッサーなどが果たす複数の機能を特定するコンピュータプログラムとして構成することができる。また、このコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に保存することができる。この記録媒体をコンピュータシステムによって読み込ませ、前記プログラムを実行してコンピュータを制御しながら上述した音声分類方法を実現することができる。ここで、前記記録媒体としては、メモリ装置、磁気ディスク装置、光ディスク装置、その他のプログラムを記録することができるような装置が含まれる。
【００７１】
このように、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲に係る発明特定事項によってのみ限定されるものである。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施の形態に係わる音声分類装置を含む映像記録再生装置の全体構成を示すブロック図である。
【図２】図１のＤＳＰ音解析部４（音声分類装置）の詳細な構成を示すブロック図である。
【図３】図１の映像記録再生装置２０の詳細な機能ブロックを示すブロック図である。
【図４】音声信号からピーク時間帯を求めるまでの音声信号の変化の様子を示す模式図である。
【図５】音響モデルを作成する時における図１の映像記録再生装置２０の動作の流れを示すフローチャートである。
【図６】音声信号を分類する時における図１の映像記録再生装置２０の動作の流れを示すフローチャートである。
【図７】コンテンツを再生する時における図１の映像記録再生装置２０の動作の流れを示すフローチャートである。
【図８】第２の実施の形態に係わる、図１の映像記録再生装置２０の詳細な機能ブロックを示すブロック図である。
【図９】音響モデルを作成する時における図８の映像記録再生装置２０の動作の流れを示すフローチャートである。
【図１０】音声信号を分類する時における図８の映像記録再生装置２０の動作の流れを示すフローチャートである。
【図１１】第３の実施の形態に係わる、図１の映像記録再生装置２０の詳細な機能ブロックを示すブロック図である。
【図１２】音響モデルを作成する時における図１１の映像記録再生装置２０の動作の流れを示すフローチャートである。
【図１３】音声信号を分類する時における図１１の映像記録再生装置２０の動作の流れを示すフローチャートである。
【図１４】図１４（ａ）は、Ｓ１０２において、フィルタ部２６が特定の周波数帯域の音声信号だけを取り出す際に使用するフィルタを例示するテーブルであり、図１４（ｂ）は、Ｓ２０４において、音響モデル読み出し部４７がＲＯＭ１３及びＲＡＭ１２からそれぞれ読み出した音響モデルを例示するテーブルである。
【図１５】図１５（ａ）は、Ｓ４０１においてフィルタ決定部３８が使用する、ジャンルとフィルタとの関係の一例を示すテーブルであり、図１５（ｂ）は、Ｓ５０５において音声分離部２２が使用する、ジャンルと音響モデルとの関係の一例を示すテーブルである。
【図１６】図１６（ａ）は、帯域通過フィルタと帯域除去フィルタの周波数特性を示す図であり、図１６（ｂ）は、ジャンルと音響モデル作成時に使用する帯域通過フィルタ及び帯域除去フィルタとの関係の一例を示すテーブルであり、図１６（ｃ）は、ジャンルと音声信号分離時に使用する音響モデルとの関係の一例を示すテーブルである。
【符号の説明】
【００７３】
１  デジタルチューナ
２  音声分離部
３  音声デコーダ
４  ＤＳＰ音解析部
５  ＣＰＵ
６  Ａ／Ｖデコーダ
７  ハードディスクドライブ−インターフェース
８  ハードディスクドライブ
９  モニタ
１０  スピーカ
１１  バス
１２  ＲＡＭ
１３  ＲＯＭ
２１  音響モデル部（音響モデル手段）
２２  音声分類部（音声分類手段）
２６  フィルタ部（フィルタ手段）
２７  パワー値検出部（パワー値検出手段）
２８  ピーク時間帯検出部（ピーク時間帯手段）
２９  周波数変換部（周波数変換手段）
３０  音響モデル作成部（音響モデル作成手段）
３１  特徴量抽出部
３２  コンテンツ終端検出部
３３  分類結果・時刻検出部
３４  プレイリスト作成部
３５  ピーク時間帯
３６  コンテンツジャンル抽出部（コンテンツジャンル抽出手段）
３７  使用モデル決定部
３８  フィルタ決定部
４１  バンドエリミネーションフィルタ（帯域除去フィルタ）
４２  バンドパスフィルタ（帯域通過フィルタ）
４５  特徴量読み出し部
４６  コンテンツ読み出し部
４７  音響モデル読み出し部
４８  ユーザ入力部
４９  再生制御部
【図１】
2008111866.tif 000004
【図２】
2008111866.tif 000005
【図３】
2008111866.tif 000006
【図４】
2008111866.tif 000007
【図５】
2008111866.tif 000008
【図６】
2008111866.tif 000009
【図７】
2008111866.tif 000010
【図８】
2008111866.tif 000011
【図９】
2008111866.tif 000012
【図１０】
2008111866.tif 000013
【図１１】
2008111866.tif 000014
【図１２】
2008111866.tif 000015
【図１３】
2008111866.tif 000016
【図１４】
2008111866.tif 000017
【図１５】
2008111866.tif 000018
【図１６】
2008111866.tif 000019