(57)【要約】【課題】イベント等における音響信号から盛り上がり部分を高精度に検出し、その盛り上がり部分にインデックスを付加する。【解決手段】音響信号処理装置１０において、候補区間抽出部１３は、振幅計算部１１で計算された短時間振幅が振幅閾値以上である区間長が時間閾値以上である区間を候補区間とする。また、特徴抽出部１４は、音響信号から音質に関する音質特徴量を抽出し、盛り上がり時に特有の音質を定量化する。候補区間評価部１５は、各候補区間について振幅や音質に関する特徴量を用いて盛り上がりの程度を表すスコア値を計算し、このスコア値に基づいて真の盛り上がり区間を検出する。そして、索引生成部１６は、盛り上がり区間の開始位置及び終了位置、スコア値を含むインデックスを生成して出力する。【選択図】  図２
2004191780.tif 000002
【特許請求の範囲】
【請求項１】
音響信号における特徴部分を検出する音響信号処理装置において、
上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算手段と、
上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出手段と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出手段と、
上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価手段と
を備えることを特徴とする音響信号処理装置。
【請求項２】
上記音響信号は、イベント中に発生する音響信号であることを特徴とする請求項１記載の音響信号処理装置。
【請求項３】
上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成する索引生成手段をさらに備えることを特徴とする請求項１記載の音響信号処理装置。
【請求項４】
上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数、上記音響信号の短時間ケプストラム係数、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数であることを特徴とする請求項１記載の音響信号処理装置。
【請求項５】
上記候補区間抽出手段は、上記短時間振幅が第１の閾値を超える区間が第２の閾値を超えて継続する場合に、該区間を候補区間として抽出することを特徴とする請求項１記載の音響信号処理装置。
【請求項６】
上記候補区間評価手段は、上記候補区間の区間長、上記候補区間における上記短時間振幅の最大値若しくは平均値、上記候補区間における上記音質特徴量が所定の閾値を超える長さ若しくはその候補区間長に対する割合、又は上記候補区間における上記音質特徴量の最大値若しくは平均値の少なくとも１つを用いて、上記候補区間が上記特徴部分か否かを評価することを特徴とする請求項１記載の音響信号処理装置。
【請求項７】
上記音響信号における挿入信号を検出する挿入検出手段をさらに備え、
上記候補区間評価手段は、上記挿入検出手段によって検出された挿入区間に基づいて、上記候補区間が上記特徴部分か否かを評価する
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項８】
上記挿入検出手段は、上記短時間振幅が所定の閾値未満となる小音量区間が所定時間内に複数回発生した場合に、この小音量区間によって挟まれた区間を上記挿入区間として検出することを特徴とする請求項７記載の音響信号処理装置。
【請求項９】
上記音響信号は、コマーシャルメッセージを含むものであり、上記挿入検出手段は、上記コマーシャルメッセージを上記挿入信号として検出することを特徴とする請求項７記載の音響信号処理装置。
【請求項１０】
音響信号における特徴部分を検出する音響信号処理方法において、
上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出工程と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価工程と
を有することを特徴とする音響信号処理方法。
【請求項１１】
上記音響信号は、イベント中に発生する音響信号であることを特徴とする請求項１０記載の音響信号処理方法。
【請求項１２】
上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成する索引生成工程をさらに有することを特徴とする請求項１０記載の音響信号処理方法。
【請求項１３】
音響信号における特徴部分を検出する処理をコンピュータに実行させるプログラムにおいて、
上記音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
上記短時間振幅に基づいて上記特徴部分の候補区間を抽出する候補区間抽出工程と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する候補区間評価工程と
を有することを特徴とするプログラム。
【請求項１４】
上記音響信号は、イベント中に発生する音響信号であることを特徴とする請求項１３記載のプログラム。
【請求項１５】
上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成する索引生成工程をさらに有することを特徴とする請求項１３記載のプログラム。
【請求項１６】
音響信号の所定時間区間毎に短時間振幅を計算する振幅計算手段と、
上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出手段と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出手段と、
上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価手段と、
上記候補区間評価手段によって上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成手段と、
上記音響信号と共に上記索引情報が記録される記録手段と
を備えることを特徴とする信号記録装置。
【請求項１７】
上記音響信号は、イベント中に発生する音響信号であることを特徴とする請求項１６記載の信号記録装置。
【請求項１８】
上記音質特徴量は、上記音響信号の短時間パワースペクトラム係数、上記音響信号の短時間ケプストラム係数、又は上記短時間パワースペクトラム係数にカルーネン−レーベ変換を施した係数であることを特徴とする請求項１６記載の信号記録装置。
【請求項１９】
上記候補区間抽出手段は、上記短時間振幅が第１の閾値を超える区間が第２の閾値を超えて継続する場合に、該区間を候補区間として抽出することを特徴とする請求項１６記載の信号記録装置。
【請求項２０】
上記候補区間評価手段は、上記候補区間の区間長、上記候補区間における上記短時間振幅の最大値若しくは平均値、上記候補区間における上記音質特徴量が所定の閾値を超える長さ若しくはその候補区間長に対する割合、又は上記候補区間における上記音質特徴量の最大値若しくは平均値の少なくとも１つを用いて、上記候補区間の重要度を計算することを特徴とする請求項１６記載の信号記録装置。
【請求項２１】
上記音響信号が適用可能なジャンルであるか否かを識別する識別手段をさらに備えることを特徴とする請求項１６記載の信号記録装置。
【請求項２２】
上記識別手段は、候補区間数及び各候補区間の重要度が所定の閾値以上である場合に適用可能なジャンルと判定することを特徴とする請求項２１記載の信号記録装置。
【請求項２３】
音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出工程と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価工程と、
上記候補区間評価工程にて上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成工程と、
上記音響信号と共に上記索引情報を記録手段に記録する記録工程と
を有することを特徴とする信号記録方法。
【請求項２４】
上記音響信号は、イベント中に発生する音響信号であることを特徴とする請求項２３記載の信号記録方法。
【請求項２５】
所定の処理をコンピュータに実行させるプログラムにおいて、
音響信号の所定時間区間毎に短時間振幅を計算する振幅計算工程と、
上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する候補区間抽出工程と、
上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する特徴抽出工程と、
上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算し、該重要度に基づいて上記候補区間が上記重要部分か否かを評価する候補区間評価工程と、
上記候補区間評価工程にて上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成する索引生成工程と、
上記音響信号と共に上記索引情報を記録手段に記録する記録工程と
を有することを特徴とするプログラム。
【請求項２６】
上記音響信号は、イベント中に発生する音響信号であることを特徴とする請求項２５記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、イベント等における音響信号の特徴部分に対応するインデックスを生成する音響信号処理装置及びその方法、映像信号及び／又は音響信号の記録時にそのインデックスを付与し、スキップ再生や要約再生を可能とする信号記録装置及びその方法、並びにそのような音響信号処理又は信号記録処理をコンピュータに実行させるプログラムに関する。
【０００２】
【従来の技術】
放送信号や、それが録画／録音された映像／音響信号から重要なシーンを自動的に検出してインデックスを付与したり、要約映像を作成したりすることは、その内容を容易に把握したり、必要な部分を高速に検索するために有用である。例えば、スポーツイベント等の映像の場合、盛り上がった部分で自動的にインデックスを発生させ、そのインデックスを映像／音響信号に多重するなどして付与することができれば、その映像についてのダイジェスト版の作成や、２次利用の際の特定のシーンの検索が容易に可能となる。
【０００３】
このような理由から、下記の特許文献１には、全周波数帯域のパワーレベルと、特定の周波数成分のパワーレベルの大小との組み合わせにより、スポーツ等のイベントの盛り上がり部分を自動的に検出し、インデックスとして付与する技術が提案されている。この技術では、観客が盛り上がった音を検出するため、多くのイベントに汎用的に適用でき、イベントの進行上重要な箇所を自動的に検出することができる。
【０００４】
【特許文献１】
特開２００１−１４３４５１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１に記載の技術では、例えばスペクトルの形状といった音質的な要因が評価されないため、原理的に検出精度が低く、特定の周波数に他の音が混入する場合には適用することができないという問題がある。
【０００６】
したがって、この技術は、イベント会場において放送局等のプロフェッショナルが録音した、他の信号がミキシングされていない音響信号にしか適用することができず、アナウンスや解説、コマーシャルメッセージ等の挿入音声が加わった音響信号、例えば放送信号には適用することができない。また、観客など、アマチュアが独自に録音する場合にも、会話音声等が重畳するため、適用は困難である。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、イベント等における音響信号から盛り上がり部分を高精度に検出し、その盛り上がり部分に対応するインデックスを生成する音響信号処理装置及びその方法、映像信号及び／又は音響信号の記録時に盛り上がり部分に対してインデックスを付与し、スキップ再生や要約再生を可能とする信号記録装置及びその方法、並びにそのような音響信号処理又は信号記録処理をコンピュータに実行させるプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。
【０００９】
ここで、本発明に係る音響信号処理装置及びその方法では、上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成するようにしてもよい。
【００１０】
このような音響信号処理装置及びその方法は、音響信号の短時間振幅に基づいて特徴部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が特徴部分か否かを評価する。
【００１１】
また、上述した目的を達成するために、本発明に係る信号記録装置及びその方法は、例えばイベント中に発生する音響信号の所定時間区間毎に短時間振幅を計算し、上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算して該重要度に基づいて上記候補区間が上記重要部分か否かを評価し、上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成し、上記音響信号と共に上記索引情報を記録手段に記録する。
【００１２】
このような信号記録装置及びその方法は、音響信号の短時間振幅に基づいて重要部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が重要部分か否かを評価し、重要部分である場合には、その候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を上記音響信号と共に記録手段に記録する。
【００１３】
また、本発明に係るプログラムは、上述した音響信号処理又は信号記録処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００１４】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１５】
一般に、多数のまとまった観客の集まるイベント、例えばスポーツイベント等では、注目すべき場面で多数の観客が同時に歓声、拍手や効果音を発することによる特有の音響効果（以下、「盛り上がり」という。）が生じる。
【００１６】
一例として、野球放送の音響信号を図１（Ａ）に示す。前半の平常区間ではアナウンサの解説音声が支配的であり、その背景に観客の発する音が小音量にて重畳されている。時刻ｔ２で打者がヒットを打つと、後半の盛り上がり区間では観客の盛り上がり音が支配的になっている。ここで、平常時（時刻ｔ１）と盛り上がり時（時刻ｔ３）とにおける音響信号の短時間スペクトルをそれぞれ図１（Ｂ）、（Ｃ）に示す。
【００１７】
図１（Ａ）〜（Ｃ）から分かるように、観客が盛り上がっている区間では、平常区間と比較して振幅の大きい時間が長めに持続することや、短時間スペクトルが平常区間とは異なったパターンを示すことなど、振幅や周波数構成に違いが見られる。その一方で、振幅の大きい部分は平常区間においても発生しているため、特に放送信号の場合、振幅の大小のみで盛り上がり区間か否かを判断することはできないことも確認される。
【００１８】
そこで、第１の実施の形態における音響信号処理装置では、このような音響信号の振幅や周波数構成の違いを利用することで、スポーツ等の観客が集まるイベントにおける盛り上がり部分を重要シーンとして精度よく検出する。具体的には、振幅の大きい時間が所定時間以上持続した区間を盛り上がり区間の候補とし、各候補区間について振幅や音質に関する特徴量を用いて盛り上がりの程度を表すスコアを計算する。そして、このスコアに基づいて真の盛り上がり区間を検出する。
【００１９】
この音響信号処理装置の概略構成を図２に示す。図２に示すように、音響信号処理装置１０は、振幅計算部１１と、挿入検出部１２と、候補区間抽出部１３と、特徴抽出部１４と、候補区間評価部１５と、索引生成部１６とから構成されている。
【００２０】
振幅計算部１１は、入力された音響信号の所定時間区間毎に２乗平均や絶対値の平均を計算することで短時間振幅Ａ（ｔ）を計算する。なお、この振幅計算部１１の前段に帯域通過フィルタを設けて予め不要な周波数成分を除去し、歓声等の振幅を検出するために必要十分な帯域に絞ってから短時間振幅Ａ（ｔ）を計算するようにしても構わない。振幅計算部１１は、計算した短時間振幅Ａ（ｔ）を挿入検出部１２及び候補区間抽出部１３に供給する。
【００２１】
挿入検出部１２は、入力された音響信号が放送信号である場合に、リプレイシーンやコマーシャルメッセージ（以下、「コマーシャル」と略称する。）等の他の情報が挿入された区間を検出する。ここで、挿入シーンは長くても１分程度であり、挿入前後では音量が極端に小さくなるという特徴があり、一方で本編の音響信号は観客音が常に重畳されているため、音量が極端に小さくなることは殆ど生じない。そこで、挿入検出部１２は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）が所定の閾値未満となる小音量区間が所定時間内に複数回発生した場合に、この小音量区間によって挟まれた区間を挿入区間として検出する。
【００２２】
また、挿入検出部１２において音響信号の他に映像信号も利用できる場合には、民間放送のコマーシャルをより正確に検出するために、例えば本件発明者が先に提案している特開２００２−１６８７３号公報に記載された技術を用いることができる。この技術は、以下のように要約される。
【００２３】
すなわち、日本国内においては、特殊な例を除くほぼ全てのコマーシャルが１５秒、３０秒、６０秒の長さで製作されており、また、各コマーシャルの前後では必然的に音量が下がり、映像信号が切り替わるため、これらを検出の「必須条件」とする。また、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び番組構成上の都合などによる制約の元で製作された結果として現れる一定の傾向を示す特徴を検出の「付加条件」とする。さらに、上記付加条件を満たす区間がオーバーラップして存在する場合には、少なくともその何れかの区間は正しいコマーシャル区間では有り得ないという条件を検出の「論理条件」とする。そして、「必須条件」に基づき決定論的にコマーシャル候補を抽出し、「付加条件」に基づくコマーシャルらしさの統計論的な評価により候補を選択し、「論理条件」により候補のオーバーラップ関係を解消することにより、高精度にコマーシャルを検出することができる。
【００２４】
挿入検出部１２は、以上のようにして検出した挿入区間に関する挿入区間情報を候補区間評価部１５に供給する。なお、入力された音響信号が放送信号でない場合には、この挿入検出部１２を設けなくても構わない。
【００２５】
候補区間抽出部１３は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）を用いて、盛り上がり区間の候補を抽出する。上述したように、盛り上がり区間では、平均的に音量の大きい区間が長く継続するため、候補区間抽出部１３は、予め振幅閾値Ａｔｈｓｄと時間閾値Ｔｔｈｓｄとを設定しておき、Ａ（ｔ）≧Ａｔｈｓｄである区間長ＴがＴ≧Ｔｔｈｓｄである場合に、その区間を盛り上がり区間の候補とし、その開始位置及び終了位置を抽出する。なお、振幅閾値Ａｔｈｓｄとしては、予め所定値を設定してもよく、対象とする音響信号の振幅の平均及び分散に基づいて設定してもよい。前者の場合、放送に合わせて実時間で処理することができ、後者の場合、スタジアム、放送局、ミキシング、或いはイベント毎の音量の差に関して正規化された閾値を設定することができる。
【００２６】
ここで、図３（Ａ）に示す図１（Ａ）と同一の音響信号について、２つの候補区間が抽出された例を図３（Ｂ）に示す。図３（Ｂ）に示すように、第１の候補区間は平常区間に属し、第１の候補区間は盛り上がり区間に属している。
【００２７】
特徴抽出部１４は、入力された音響信号から音質に関する音質特徴量Ｘを抽出し、盛り上がり時に特有の音質を定量化する。具体的には、図４のフローチャートに示すように、始めにステップＳ１において所定時間区間の音響信号を取得し、ステップＳ２において短時間フーリエ変換やＬＰＣ（Linear Predictive Coding）法などを用いてパワースペクトラム係数Ｓ０，・・・，ＳＭ−１に変換する。なお、Ｍはスペクトラムの次数を示す。
【００２８】
続いてステップＳ３において、以下の式（１）に従ってスペクトラム係数Ｓ０，・・・，ＳＭ−１の荷重和を計算し、音質特徴量Ｘを得る。
【００２９】
【数１】
2004191780.tif 000003
【００３０】
ここで、式（１）においてＷｍは荷重係数を示し、θは所定のバイアス値を示す。この荷重係数Ｗｍ及びバイアス値θの決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、スペクトラム係数と望ましい特徴量値（例えば０．０〜１．０）とを組にした学習サンプルを用意して重回帰分析により直線近似される荷重を求め、荷重係数Ｗｍ及びバイアス値θを決定することができる。また、パーセプトロン等のニューラルネットの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。
【００３１】
なお、特徴抽出部１４では、パワースペクトラム係数に代えて、対数ケプストラム係数の逆フーリエ変換であるケプストラム係数や、スペクトラム係数の固有ベクトルによる変換であるカルーネン−レーベ（Karhunen-Loeve；ＫＬ）変換を用いてもよい。これらはスペクトラムの概形を集約する変換であるため、それぞれ低次の項のみを用いて荷重和を計算して音質特徴量Ｘとすればよい。
【００３２】
図３（Ａ）に示す音響信号について、ＫＬ変換を用いて計算した音質特徴量Ｘを図３（Ｃ）に示す。図３（Ｃ）に示すように、平常区間に属する第１の候補区間と盛り上がり区間に属する第２の候補区間とでは、音質特徴量Ｘの値に明確な違いが現れている。
【００３３】
図２に戻って、候補区間評価部１５は、振幅計算部１１から供給された短時間振幅Ａ（ｔ）と特徴抽出部１４から供給された音質特徴量Ｘとに基づいて、各候補区間における盛り上がりの程度をスコアとして定量化する。具体的には、図５のフローチャートに示すように、始めにステップＳ１０において候補区間抽出部１３から候補区間を取得し、ステップＳ１１において、短時間振幅Ａ（ｔ）と音質特徴量Ｘとを用いて、各候補区間の区間長ｙ１、短時間振幅Ａ（ｔ）の最大値ｙ２、短時間振幅Ａ（ｔ）の平均値ｙ３、音質特徴量Ｘが所定の閾値を超える長さｙ４、音質特徴量Ｘの最大値ｙ５、音質特徴量Ｘの平均値ｙ６を計算し、候補区間の特徴ベクトルとする。なお、音質特徴量Ｘが所定の閾値を超える長さｙ４の代わりに、音質特徴量Ｘが所定の閾値を超える長さの候補区間長に対する割合を特徴量として用いても構わない。
【００３４】
ここで、候補区間評価部１５において候補区間内での音質特徴量Ｘの最大値を計算することで、盛り上がり時にアナウンサの音声が重畳され、スペクトル分布が歪んでいるような場合でも、瞬時的にアナウンサの音声が途切れる部分の特徴量を用いることができ、放送信号のような他の音声が重畳されている音響信号についても適用可能となる。
【００３５】
続いてステップＳ１２において、以下の式（２）に従って各候補区間の盛り上がりの程度を表すスコア値ｚを計算する。
【００３６】
【数２】
2004191780.tif 000004
【００３７】
ここで、式（２）においてｕｉは荷重係数を示し、ｕ０は所定のバイアス値を示す。この荷重係数ｕｉ及びバイアス値ｕ０の決定には種々の統計的判別法を利用することができる。例えば、予め多数のシーンの盛り上がり程度を主観的に評価し、特徴ベクトルと望ましいスコア値（例えば０．０〜１．０）とを組にした学習サンプルを用意して重回帰分析により直線近似される荷重を求め、荷重係数ｕｉ及びバイアス値ｕ０を決定することができる。また、パーセプトロン等のニューラルネットの技法を用いてもよく、ベイズ判別法やベクトル量子化等の判別法を用いてもよい。
【００３８】
最後にステップＳ１３において、候補区間のうち、挿入検出部１２から供給された挿入区間情報で表される区間、或いはスコア値ｚが所定の閾値以下である候補区間を盛り上がり区間から除外する。
【００３９】
候補区間評価部１５は、以上のようにして求めた盛り上がり区間の開始位置及び終了位置とスコア値ｚとを索引生成部１６に供給する。
【００４０】
索引生成部１６は、候補区間評価部１５から供給された盛り上がり区間の開始位置及び終了位置とスコア値ｚとを含むインデックスを生成し、そのインデックスを出力する。この際、予め抽出区間数を設定し、その抽出区間数に達するまでスコア値ｚの大きい順にインデックスを生成するようにしても構わない。また、予め抽出時間長を設定し、その抽出時間長に達するまでスコア値ｚの大きい順にインデックスを生成するようにしても構わない。
【００４１】
以上のように、第１の実施の形態における音響信号処理装置１０によれば、短時間振幅Ａ（ｔ）が振幅閾値Ａｔｈｓｄ以上である区間長Ｔが時間閾値Ｔｔｈｓｄ以上である区間を候補区間とし、各候補区間について振幅や音質に関する特徴量（ｙ１〜ｙ６）を用いて盛り上がりの程度を表すスコア値ｚを計算することで、真の盛り上がり区間を高精度に検出し、その盛り上がり区間に対応するインデックスを生成することができる。
【００４２】
次に、第２の実施の形態における記録再生装置は、上述した音響信号処理装置１０が適用されたものであり、放送信号の録画／録音時に盛り上がり区間の開始位置及び終了位置等を記録し、再生時に盛り上がり区間のみをスキップ再生したり、要約映像を再生したりすることを可能とする。
【００４３】
この記録再生装置の概略構成を図６に示す。図６に示すように、記録再生装置２０は、受信部２１と、ジャンル選択部２２と、記録部２３と、重要シーン検出部２４と、サムネイル生成部２５と、シーン選択部２６と、再生部２７とから構成されている。ここで、重要シーン検出部２４は、上述した音響信号処理装置１０に対応する。
【００４４】
この記録再生装置２０における映像／音響信号の記録動作について、図６と図７のフローチャートとを用いて説明する。始めにステップＳ２０において、受信部２１は、図示しないタイマやユーザからの指示により放送信号を受信して復調し、復調した放送信号を記録部２３に対して記録する録画／録音動作を開始する。
【００４５】
次にステップＳ２１において、ジャンル選択部２２は、電子番組ガイド（Electronic Program Guide；ＥＰＧ）の情報を用いて、放送信号のジャンルが観客の歓声等を伴うイベントに関するものであるか否かを判別する。ステップＳ２１において観客の歓声等を伴うイベントに関するものでない場合（No）にはステップＳ２２に進み、受信部２１は、記録部２３に対する通常の録画／録音動作を行い、ステップＳ２３でタイマ又はユーザの指示により録画／録音を終了する。一方、観客の歓声等を伴うイベントに関するものである場合（Yes）には、ステップＳ２４に進む。
【００４６】
なお、ステップＳ２１では、ＥＰＧの情報を用いるほか、ユーザがジャンルを指示するようにしてもよい。また、放送信号からジャンルを自動推定しても構わない。例えば、候補区間数及び各候補区間のスコア値ｚが所定の閾値以上である場合に、適用可能なジャンルと判定することができる。
【００４７】
ステップＳ２４では、受信部２１は、記録部２３に対する通常の録画／録音動作を行うと同時に、重要シーン検出部２４は、重要シーンとして盛り上がり区間の開始位置及び終了位置を検出する。
【００４８】
続いてステップＳ２５において、受信部２１は、タイマ又はユーザの指示により録画／録音を終了するが、引き続きステップＳ２６において、重要シーン検出部２４は、盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスを記録部２３に記録し、サムネイル生成部２５は、盛り上がり区間のサムネイル画像を記録部２３に記録する。
【００４９】
このように、記録再生装置２０では、放送信号の録画／録音時に盛り上がり区間を検出し、その盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスや、盛り上がり区間のサムネイル画像を記録部２３に記録する。したがって、記録再生装置２０は、記録部２３に記録されたサムネイル画像を表示することができるほか、盛り上がり区間のインデックスを利用して、以下に説明するようなスキップ再生や要約再生が可能となる。
【００５０】
この記録再生装置２０におけるスキップ再生動作について、図６と図８のフローチャートとを用いて説明する。始めにステップＳ３０において、再生部２７は、ユーザからの指示により記録部２３に記録されている映像／音響信号の再生を開始し、ステップＳ３１において、ユーザから停止命令がなされたか否かを判別する。ステップＳ３１において停止命令がなされた場合（Yes）には再生動作を終了し、そうでない場合（No）にはステップＳ３２に進む。
【００５１】
ステップＳ３２では、再生部２７は、ユーザからスキップ命令がなされたか否かを判別する。スキップ命令がなされていない場合（No）にはステップＳ３０に戻って再生動作を継続し、スキップ命令がなされた場合（Yes）にはステップＳ３３に進む。
【００５２】
ステップＳ３３では、再生部２７は、盛り上がり区間に付与されたインデックスを参照して、次の開始インデックス点への頭出しを行ってステップＳ３０に戻る。
【００５３】
続いて、この記録再生装置２０における要約再生動作について、図６と図９のフローチャートとを用いて説明する。始めにステップＳ４０において、シーン選択部２６は、例えば所定の時間長に合わせて、再生するシーンをスコア値ｚに基づいて選択し、その開始位置及び終了位置を決定する。
【００５４】
次にステップＳ４１において、再生部２７は、最初の開始インデックス点への頭出しを行い、ステップＳ４２において再生動作を行う。
【００５５】
続いてステップＳ４３において、再生部２７は、終了インデックス点まで再生したか否かを判別する。終了インデックス点まで再生していない場合（No）には、ステップＳ４２に戻って再生動作を継続し、終了インデックス点まで再生した場合（Yes）にはステップＳ４４に進む。
【００５６】
ステップＳ４４では、再生部２７は、次の開始インデックス点があるか否かを判別する。次の開始インデックス点がある場合（Yes）には、ステップＳ４５において、再生部２７は、その開始インデックス点への頭出しを行ってステップＳ４２に戻り、次の開始インデックス点がない場合（No）には、再生動作を終了する。
【００５７】
以上のように、本実施の形態における記録再生装置２０によれば、放送信号の録画／録音時に盛り上がり区間を検出し、その盛り上がり区間の開始位置及び終了位置、スコア値ｚを含むインデックスや、盛り上がり区間のサムネイル画像を記録部２３に記録することにより、サムネイル画像を例えば重要度を示すスコア値ｚに応じて表示することができるほか、盛り上がり区間のインデックスを利用してスキップ再生や要約再生が可能となる。
【００５８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００５９】
例えば、上述した第２の実施の形態では、映像信号と音響信号との両方を用いるものとして説明したが、これに限定されるものではなく、音響信号のみであっても同様の効果が得られる。
【００６０】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００６１】
【発明の効果】
以上詳細に説明したように本発明に係る音響信号処理装置及びその方法は、例えばイベント中に発生する音響信号における特徴部分を検出する際に、上記音響信号の所定時間区間毎に短時間振幅を計算し、この短時間振幅に基づいて上記特徴部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて、上記候補区間が上記特徴部分か否かを評価する。
【００６２】
ここで、本発明に係る音響信号処理装置及びその方法では、上記特徴部分の少なくとも開始位置及び終了位置を含む索引情報を生成するようにしてもよい。
【００６３】
このような音響信号処理装置及びその方法によれば、音響信号の短時間振幅に基づいて特徴部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が特徴部分か否かを評価することにより、例えばイベントにおける盛り上がり部分を高精度に検出することができる。
【００６４】
また、本発明に係る信号記録装置及びその方法は、例えばイベント中に発生する音響信号の所定時間区間毎に短時間振幅を計算し、上記短時間振幅に基づいて上記音響信号の重要部分の候補区間を抽出する。また、上記音響信号の所定時間区間毎に音質を定量化する音質特徴量を抽出する。そして、上記短時間振幅及び上記音質特徴量に基づいて上記候補区間の重要度を計算して該重要度に基づいて上記候補区間が上記重要部分か否かを評価し、上記重要部分であると評価された候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を生成し、上記音響信号と共に上記索引情報を記録手段に記録する。
【００６５】
このような信号記録装置及びその方法によれば、音響信号の短時間振幅に基づいて重要部分の候補区間を抽出し、短時間振幅及び音響特徴量に基づいてこの候補区間が重要部分か否かを評価し、重要部分である場合には、その候補区間の少なくとも開始位置、終了位置及び重要度を含む索引情報を上記音響信号と共に記録手段に記録することにより、例えば重要部分のみをスキップ再生することや、重要部分のみの要約映像を再生することが可能となる。
【００６６】
また、本発明に係るプログラムは、上述した音響信号処理又は信号記録処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００６７】
このようなプログラム及び記録媒体によれば、上述した音響信号処理及び信号記録処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】イベントにおける音響信号の例を示す図であり、同図（Ａ）は、野球放送の音響信号を示し、同図（Ｂ）、（Ｃ）は、それぞれ平常時と盛り上がり時とにおける音響信号の短時間スペクトルを示す。
【図２】第１の実施の形態における音響信号処理装置の概略構成を説明する図である。
【図３】同音響信号処理装置の候補区間抽出部及び特徴抽出部における処理の一例を説明する図であり、同図（Ａ）は、イベントにおける音響信号の例を示し、同図（Ｂ）は、候補区間抽出部において検出される候補区間を示し、同図（Ｃ）は、特徴抽出部において計算される音質特徴量を示す。
【図４】同音響信号処理装置の特徴抽出部における動作を説明するフローチャートである。
【図５】同音響信号処理装置の候補区間評価部における動作を説明するフローチャートである。
【図６】第２の実施の形態における記録再生装置の概略構成を説明する図である。
【図７】同記録再生装置における録画／録音動作を説明するフローチャートである。
【図８】同記録再生装置におけるスキップ再生動作を説明するフローチャートである。
【図９】同記録再生装置における要約再生動作を説明するフローチャートである。
【符号の説明】
１０  音響信号処理装置、１１  振幅計算部、１２  挿入検出部、１３  候補区間抽出部、１４  特徴抽出部、１５  候補区間評価部、１６  索引生成部、２０  記録再生装置、２１  受信部、２２  ジャンル選択部、２３  記録部、２４重要シーン検出部、２５  サムネイル生成部、２６  シーン選択部、２７  再生部
【図１】
2004191780.tif 000005
【図２】
2004191780.tif 000006
【図３】
2004191780.tif 000007
【図４】
2004191780.tif 000008
【図５】
2004191780.tif 000009
【図６】
2004191780.tif 000010
【図７】
2004191780.tif 000011
【図８】
2004191780.tif 000012
【図９】
2004191780.tif 000013