(57)【特許請求の範囲】
【請求項１】
オーディオ情報から音声区間と音楽区間を分類するオーディオ情報分類装置において、
入力されたオーディオ情報から単位時間ごとの周波数データを抽出するオーディオ周波数データ抽出手段と、
前記抽出した単位時間ごとの周波数データを用いて、その区間が無音区間か有音区間かを判定し有音区間のみを抽出する無音／有音判定手段と、
前記抽出した有音区間に対して単位時間ごとに隣り合うフレームのエネルギの総和の比からエネルギ変化率を求め、該エネルギ変化率の大きさが所定値より大きいとき、前記抽出された有音区間が音声区間であると判定する音声区間抽出手段と、
前記抽出された有音区間が音楽であるか否かを判定する音楽区間抽出手段とを具備したことを特徴とするオーディオ情報分類装置。
【請求項２】
請求項１のオーディオ情報分類装置において、
前記オーディオ周波数データ抽出手段によって抽出される単位時間ごとの周波数データは、入力されたオーディオ情報がＭＰＥＧ符号化データである場合、単位時間分のＭＰＥＧ符号化データの各フレームの先頭にあるサブバンドデータであることを特徴とするオーディオ情報分類装置。
【請求項３】
請求項１のオーディオ情報分類装置において、
前記無音／有音判定手段は、前記オーディオ周波数データ抽出手段により抽出された単位時間分の周波数データを用いて単位時間の平均エネルギを求め、該平均エネルギの大きさにより無音／有音区間を判定することを特徴とするオーディオ情報分類装置。
【請求項４】
請求項３のオーディオ情報分類装置において、
前記無音／有音判定手段は、入力されたオーディオ情報がＭＰＥＧ符号化データである場合、単位時間の平均エネルギは、ＭＰＥＧ符号化データの各フレームのサブバンドデータから求めたエネルギの単位時間における総和であることを特徴とするオーディオ情報分類装置。
【請求項５】
請求項１のオーディオ情報分類装置において、
前記音声区間抽出手段は、入力されたオーディオ情報がＭＰＥＧ符号化データである場合、エネルギ変化率は、ＭＰＥＧ符号化データのサブバンドデータから求めた隣り合うフレームの２つのエネルギの比の単位時間における総和であることを特徴とするオーディオ情報分類装置。
【請求項６】
請求項１のオーディオ情報分類装置において、
前記音楽区間抽出手段は、前記オーディオ周波数データ抽出手段により抽出した単位時間ごとの周波数データから平均バンドエネルギ比を求め、該平均バンドエネルギ比から音楽区間を抽出することを特徴とするオーディオ情報分類装置。
【請求項７】
請求項６のオーディオ情報分類装置において、
前記音楽区間抽出手段は、入力されたオーディオ情報がＭＰＥＧ符号化データである場合、平均バンドエネルギ比は、ＭＰＥＧ符号化データのサブバンドデータの全データに対する低周波帯域のサブバンドデータの割合であることを特徴とするオーディオ情報分類装置。
【請求項８】
オーディオ情報から音声区間と音楽区間を分類するオーディオ情報分類装置において、
入力されたオーディオ情報が無圧縮オーディオデータの場合、単位時間のオーディオ情報を一部が重なる複数の区間に分割する手段と、
各区間のオーディオ情報に対する周波数データを生成する手段と、
該生成した周波数データを用いて、その区間が無音区間か有音区間かを判定し有音区間のみを抽出する無音／有音判定手段と、
前記抽出した有音区間に対して単位時間ごとに隣り合うフレームのエネルギの総和の比からエネルギ変化率を求め、該エネルギ変化率の大きさが所定値より大きいとき、前記抽出された有音区間が音声区間であると判定する音声区間抽出手段と、
前記抽出された有音区間が音楽であるか否かを判定する音楽区間抽出手段とを具備したことを特徴とするオーディオ情報分類装置。
【請求項９】
請求項８のオーディオ情報分類装置において、
前記無音／有音判定手段は、前記周波数データを用いて単位時間の平均エネルギを求め、該平均エネルギの大きさにより無音／有音区間を判定することを特徴とするオーディオ情報分類装置。
【請求項１０】
請求項８のオーディオ情報分類装置において、
前記音声区間抽出手段は、前記オーディオ周波数データ抽出手段により抽出した単位時間ごとの複数の周波数データからエネルギ変化率を求め、該エネルギ変化率の大きさにより、音声区間を抽出することを特徴とするオーディオ情報分類装置。
【請求項１１】
請求項８のオーディオ情報分類装置において、
前記音楽区間抽出手段は、前記オーディオ周波数データ抽出手段により抽出した単位時間ごとの周波数データから平均バンドエネルギ比を求め、該平均バンドエネルギ比から音楽区間を抽出することを特徴とするオーディオ情報分類装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はオーディオ情報の分類装置に関し、特に、符号化されていない元のままのオーディオ情報あるいは符号化されたオーディオ情報から音声区間と音楽区間を分類できるオーディオ情報の分類装置に関する。
【０００２】
【従来の技術】
オーディオに関する研究は、今までは、周波数解析等を用いて計算機上に取り込まれた音声が何であるかを認識する音声認識や、調音パラメータ等によって機械的に音声を合成する音声合成の分野に関する研究が主流であり、オーディオをタイトルや内容によって分類するインデクシングに関する研究はまだ少ない。インデクシングに関する研究報告としては、例えば、南、阿久津らの“大量映像に対する効率的アクセスインターフェース”、ＩＴＥ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  Ｖｏｌ．１９，Ｎｏ．７，ｐｐ．１  ー６のように音楽区間を検出し、その情報を用いて音楽が流れている動画像をインデクシングするものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、この研究報告は、音声区間の検出に関しては何ら触れておらず、音声区間を検出することができないという問題がある。また、該研究報告は、音楽区間の検出に関しても、周波数スペクトルのピークをＬＰＣケプストラムによって検出し、その平均持続時間を用いて音楽区間を検出しているため、圧縮符号化されたオーディオ情報からの検出は不可能であるという問題がある。
【０００４】
本発明の目的は、前記した従来技術の問題点に鑑み、音楽区間のみならず音声区間の検出もできるオーディオ情報分類装置を提供することにある。他の目的は、符号化されていないオーディオ情報および圧縮符号化されたオーディオ符号化データの両方でオーディオ情報を音楽区間と音声区間に分類することを可能にするオーディオ情報分類装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
前記目的を達成するために、本発明は、オーディオ情報から音声区間と音楽区間を分類するオーディオ情報分類装置において、入力されたオーディオ情報から単位時間ごとの周波数データを抽出するオーディオ周波数データ抽出手段と、前記抽出した単位時間ごとの周波数データを用いて、その区間が無音区間か有音区間かを判定し有音区間のみを抽出する無音／有音判定手段と、前記抽出した有音区間に対して単位時間ごとに隣り合うフレームのエネルギの総和の比からエネルギ変化率を求め、該エネルギ変化率の大きさが所定値より大きいとき、前記抽出された有音区間が音声区間であると判定する音声区間抽出手段と、前記抽出された有音区間が音楽であるか否かを判定する音楽区間抽出手段とを具備した点に特徴がある。
【０００６】
本発明によれば、符号化されていない元のままのオーディオ情報、あるいは符号化されたオーディオ情報のいずれからも、簡単かつ高速で、音声区間と音楽区間を分類することができるようになる。
【０００７】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の一実施形態の構成を示すブロック図、図２、図３は、図１のシステムの動作、特に制御部２０の動作の概要を表わすフローチャートである。この実施形態は、動画像および音声符号化の国際標準方式であるＭＰＥＧ１（ＩＳＯ／ＩＥＣ  １１１７２）により圧縮された音声符号化データを用いて音声、音楽を分類するものであるが、本発明はこれに限定されるものではない。
【０００８】
以下に、図１および図２、図３を参照して、本実施形態の構成と動作を説明する。図１に示されているように、圧縮符号化されたオーディオの符号化データａは、可変長復号部１に入力される。ここで、該圧縮符号化されたオーディオの符号化データの構造について、ＭＰＥＧ１を例にして図４を参照して説明する。ＭＰＥＧ１では、図示されているように、元のオーディオ信号ｐからサンプリングした５１２個のＰＣＭサンプルＰをサブバンド符号化して３２個のサブバンドデータＰｉ（ｎ）（ｎ＝０，１，…，３１）を作り、それを時間的にサンプルをずらしながら３６回繰り返して、合計１１５２個のサブバンドデータを１フレームの符号化データＱとしている。
【０００９】
前記した構造の符号化データＱが前記可変長復号部１に連続して入力してくると、該可変長復号部１はこれを各フレームのサブバンドデータに復号し、サブバンドデータサブサンプリング部２に出力する。いま、ある単位時間を１秒とすると、該１秒は図５のａのように３８フレームから構成されているので、可変長復号部１は１秒分の符号化データに対し、同図のｂのように、３８個の３２×３６サンプルを出力する。
【００１０】
サブバンドデータサブサンプリング部２では、図５のｃに示されているように、単位時間（例えば、１秒）分のサブバンドデータのうち各フレームｉの先頭にあるサブバンドデータＳｉ  （ｎ）  （  ｉ＝０，１，…，ｊ−１）を抽出し、図１の各フレームのエネルギ演算部３および第１のメモリ４に入力する。
【００１１】
以上の動作は、図２では、ステップＳ１〜Ｓ９で行われる。ステップＳ１では、フレーム番号を表すｉが０と置かれ、ステップＳ２ではサブバンド番号を表すｎが０と置かれる。ステップＳ３では、可変長復号部１にて符号化データが可変長復号され、ステップＳ４ではｉフレーム目の先頭のサブバンドデータＳｉ  （ｎ）  が抽出される。次に、ステップＳ５にて、ｎ＝３２が成立するか否かの判断がなされ、この判断が否定の時にはステップＳ６に進んでｎに１が加算される。そして、ステップＳ３に戻って前記と同様の処理が行われる。以上のステップＳ３〜Ｓ６の処理が繰り返し行われて、ステップＳ５の判断が肯定になると、ｉフレーム目の先頭のサブバンドデータＳｉ  （ｎ）  が抽出されたことになる。
【００１２】
ステップＳ５の判断が肯定になると、ステップＳ７に進み、ｉに１が加算される。次にステップＳ８に進み、ｉ＝ｊが成立するか否かの判断がなされる。この判断が否定の時にはステップＳ２に戻り、再びｎ＝０とされて、再度前記した処理が続行される。以上の処理が繰り返し行われ、ステップＳ８の判断が肯定になると、ｉ＝０〜（ｊ−１）フレームの先頭のサブバンドデータＳｉ  （ｎ）  が抽出されたことになり、ステップＳ９にて、これらのサブバンドデータＳｉ  （ｎ）  は図１の各フレームのエネルギ演算部３および第１のメモリ４に転送されることになる。
【００１３】
各フレームのエネルギ演算部３では、下記の（１）  式に従って各フレームのエネルギＥｉ  を計算し、平均エネルギ演算部５および第２のメモリ６に入力する。
【００１４】
【数１】
0003607450.tif 000002
各フレームのエネルギＥｉ  が計算されると、該エネルギＥｉ  はステップＳ１０にて平均エネルギ演算部５および第２のメモリ６に転送される。平均エネルギ演算部５では、下記の（２）  式に従って入力された各フレームのエネルギから単位時間間の平均エネルギＡＥを計算し第１の判定部７に入力する（ステップＳ１１）。
【００１５】
【数２】
0003607450.tif 000003
第１の判定部７では、入力された単位時間間の音声情報が無音であるのか有音であるのかを、下記の（３）  式に従って判定し条件に合う場合には有音であると判定する（ステップＳ１２）。有音である場合には無音である場合に比べて単位時間間の平均エネルギＡＥは大きいから、下記の（３）  式が成立することになる。
【００１６】
ＡＥ＞α  …（３）
ここに、αは予め定められた第１の閾値である。
【００１７】
該第１の判定部７において、入力された単位時間間の音声情報が有音であると判断された場合には、第２のメモリ６より各フレームのエネルギ単位時間分を読み出してエネルギ変化率演算部８に入力し（図３のステップＳ１３）、下記の（４）  式に従ってエネルギ変化率Ｃを計算し、第２の判定部９に入力する。一方、無音であると判定された時には、以降の音声、音楽判定処理を終了し、ステップＳ１に戻る。下式のＣは、ＭＰＥＧ符号化データのサブバンドデータから求めた隣り合うフレームの２つのエネルギの比の単位時間における総和を表している。
【００１８】
【数３】
0003607450.tif 000004
音声の時間波形を見ると、単語や音節ごとに波形も変化し、その間は数１０ｍ秒にわたって無音またはほぼ無音となることも多いため、そのスペクトル変化率は、連続波形となる音楽に比べて非常に大きくなる。そこで、第２の判定部９では入力された単位時間の音声情報が音声区間であるか否かを下記の(5) 式に従って判定し、条件に合う場合には音声区間と判定し、その区間のタイムコードｄを音声区間保持部１０に出力する（ステップＳ１４の判断が肯定、ステップＳ１５）。
【００１９】
Ｃ＞β  …（５）
ここに、βは第２の閾値である。
【００２０】
一方、音声区間でないと判断された場合には（ステップＳ１４の判断が否定）、第１のメモリ４より各フレームの先頭のサブバンドデータを読み出して平均エネルギ比演算部１１に入力する（ステップＳ１６）。
【００２１】
平均バンドエネルギ比演算部１１では、下記の（６）  式に従って平均バンドエネルギ比Ｂｍｉを計算して第３の判定部１２に入力する。
【００２２】
【数４】
0003607450.tif 000005
音声の周波数は、図７（ａ）  に示されているように、一般的に低周波帯域に集中し、一方音楽の周波数は、同図（ｂ）  に示されているように、全帯域に分散する傾向がある。換言すれば、音声のサブバンドデータが低周波帯域に集中するのに対して、音楽のサブバンドデータは全帯域にわたって分散する傾向がある。そこで、第３の判定部１２では、入力された単位時間間の音声情報が音楽区間であるか否かを下記の（７）  式に従って判定し（ステップＳ１７）、条件に合う場合には音楽区間と判定し、その区間のタイムコードｅを音楽区間保持部１３に出力する（ステップＳ１８）。
Ｂｍｉ＜γ  …（７）
ここに、γは第３の閾値である。
【００２３】
以上のように、本実施形態によれば、圧縮符号化されたオーディオの符号化データから、音声区間と音楽区間を区別し、それぞれの区間のタイムコードを音声区間保持部１０および音楽区間保持部１３のそれぞれに記憶させることができるようになる。
【００２４】
本発明は、さらに圧縮符号化されていないオーディオ情報の分類に関しても適応できる。その場合の実施形態を以下に示す。
【００２５】
圧縮符号化されていないオーディオ情報を扱う場合は、図１の可変長復号部１およびサブバンドデータサブサンプリング部２は高速フーリェ変換部（以下、ＦＦＴ変換部と呼ぶ）に置き換えられる。元のオーディオ情報からこのＦＦＴ変換部において、図６にあるようにＦＦＴ変換を行い、単位時間分の周波数データを抽出する。今、該単位時間を１秒とすると、元のオーディオ信号ｐからサンプリングした２０４８個のサンプルをＦＦＴ変換し、それを時間的にサンプルをずらしながら３８回繰り返して、合計２０４８×３８個のＦＦＴデータを単位時間分の周波数データとしている。
【００２６】
その後、各フレームのエネルギ演算部、平均エネルギ演算部、エネルギ変化率演算部、および平均バンドエネルギ比演算部で、それぞれ下記の（８）  式、前記（２）  式、（４）  式、および下記の（９）  式に従ってそれぞれ各フレームのエネルギＥｉ  、平均エネルギＡＥ、エネルギ変化率Ｃ、平均バンドエネルギ比Ｂｍｉを計算し、第１の判定部７、第２の判定部９、第３の判定部１２にてそれぞれ無音／有音の判定、音声の判定、音楽の判定を行う。
【００２７】
【数５】
0003607450.tif 000006
【００２８】
【発明の効果】
以上説明したように、本発明によれば、圧縮符号化された音声データから符号化データ上でオーディオ情報を音声区間と音楽区間に分類することが可能になるという効果がある。
【００２９】
なお、本発明を実際に動作させたところ、次のような結果が得られた。すなわち、ＭＰＥＧ１レイヤ２で符号化された合計９０分のニュース番組と音楽番組のオーディオビットストリームを用いて、１秒毎の音声区間と音楽区間の分類を行った。音声区間は背景に音楽などがなく音声のみが含まれる区間を対象とし、音楽区間は音声の有無にかかわらず楽器演奏がある区間を対象とした。音声区間の検出に関しては、８９．４％、音楽区間に関しては７９．３％の検出率を得ることができ、音声区間の検出に関しては実用レベルの検出率を得ることができた。また、本発明によれば、圧縮符号化されていないオーディオ情報の分類に関しても、簡単に、音声区間と音楽区間に分類することが可能になるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態のオーディオ情報分類装置の構成を示すブロック図である。
【図２】図１の制御装置の動作を説明するためのフローチャートである。
【図３】図２の続きの動作を説明するためのフローチャートである。
【図４】ＭＰＥＧオーディオ符号化データの構造を説明するための図である。
【図５】図１のサブバンドデータサブサンプリング部の動作を説明するための図である。
【図６】符号化されていないオーディオ情報の周波数データの抽出方法を説明するための図である。
【図７】音声と音楽の周波数分布の傾向を示す図である。
【符号の説明】
１…可変長復号部、２…サブバンドデータサブサンプリング部、３…各フレームのエネルギ演算部、４…第１のメモリ、５…平均エネルギ演算部、６…第２のメモリ、７…第１の判定部、８…エネルギ変化率演算部、９…第２の判定部、１０…音声区間保持部、１１…平均バンドエネルギ比演算部、１２…第３の判定部、１３…音楽区間保持部。
【図１】
0003607450.tif 000007
【図２】
0003607450.tif 000008
【図３】
0003607450.tif 000009
【図４】
0003607450.tif 000010
【図５】
0003607450.tif 000011
【図６】
0003607450.tif 000012
【図７】
0003607450.tif 000013