(57)【要約】【課題】入力された音響信号に音楽が含まれているか否かをリアルタイムで知る。【解決手段】音響特徴抽出部２２が、音響信号バッファ２０からデジタル音響信号を取得し、短時間フレーム毎にフレーム音響特徴値を抽出し、フレーム評価値算出部２４が、フレーム音響特徴値に基づいて、短時間フレーム毎に音響信号に音楽が含まれるか否かを示すフレーム評価値を算出し、通知判断部２８が、現フレームを含む過去の所定フレーム分のフレーム評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを示す通知有無評価値を算出し、算出した通知有無評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを、短時間フレーム毎に判断し、通知制御部３０が、通知判断部２８の判断結果が音響信号に音楽が含まれていることを通知することを示すものであった場合に、その判断結果が外部に通知されるように通知装置１４を制御する。【選択図】図１
2014016423.tif 000002
【特許請求の範囲】
【請求項１】
入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出する音響特徴抽出手段と、
前記抽出手段により抽出された音響特徴に基づいて、前記短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出するフレーム評価値算出手段と、
前記フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、前記音響信号に音楽が含まれていることを通知するか否かを、前記短時間フレーム毎に判断する通知判断手段と、
前記通知判断手段により前記音響信号に音楽が含まれていることを通知すると判断された場合に、前記音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する通知制御手段と、
を含む音楽検出通知装置。
【請求項２】
音響特徴抽出手段が、入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出し、
フレーム評価値算出手段が、前記抽出手段により抽出された音響特徴に基づいて、前記短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出し、
通知判断手段が、前記フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、前記音響信号に音楽が含まれていることを通知するか否かを、前記短時間フレーム毎に判断し、
通知制御手段が、前記通知判断手段により前記音響信号に音楽が含まれていることを通知すると判断された場合に、前記音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する
音楽検出通知方法。
【請求項３】
コンピュータを、請求項１記載の音楽検出通知装置を構成する各手段として機能させるため音楽検出通知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽検出通知装置、方法、及びプログラムに係り、特に、入力された音響信号に音楽が含まれているか否かを判断し、通知する音楽検出通知装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
入力された音響信号に音楽が含まれるか否かを検出する方法として、音響信号から短時間フレーム毎に音響特徴ベクトル列を抽出し、その音響ベクトル列に基づいて、短時間フレーム毎に音楽を含むか否かを示す音楽情報評価値を算出する音楽区間検出方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、音に反応して動く玩具など、何らかの音が検出された場合に、音が検出されたことを示す動作を行う装置が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法は、著作権管理や分類などを目的として、オフラインで音響信号を処理するものであり、リアルタイムに音響信号に音楽が含まれているか否かを知ることができない、という問題がある。
【０００６】
また、音に反応して動く玩具などは、音楽だけではなく、音一般に反応してしまうため、会話や背景音なども含む音響信号に音楽が含まれているか否かを知ることができない、という問題がある。
【０００７】
本発明は上記事情に鑑みてなされたものであり、入力された音響信号に音楽が含まれているか否かをリアルタイムで知ることができる音楽検出通知装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の音楽検出通知装置は、入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出する音響特徴抽出手段と、前記抽出手段により抽出された音響特徴に基づいて、前記短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出するフレーム評価値算出手段と、前記フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、前記音響信号に音楽が含まれていることを通知するか否かを、前記短時間フレーム毎に判断する通知判断手段と、前記通知判断手段により前記音響信号に音楽が含まれていることを通知すると判断された場合に、前記音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する通知制御手段と、を含んで構成されている。
【０００９】
本発明の音楽検出通知装置によれば、音響特徴抽出手段が、入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出し、フレーム評価値算出手段が、抽出手段により抽出された音響特徴に基づいて、短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出する。そして、通知判断手段が、フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを、短時間フレーム毎に判断し、通知制御手段が、通知判断手段により音響信号に音楽が含まれていることを通知すると判断された場合に、音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する。
【００１０】
このように、音響信号に音楽が含まれていると判断された場合に、その旨が外部に通知されるため、入力された音響信号に音楽が含まれているか否かをリアルタイムで知ることができる。
【００１１】
また、本発明の音楽検出通知方法は、音響特徴抽出手段が、入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出し、フレーム評価値算出手段が、前記抽出手段により抽出された音響特徴に基づいて、前記短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出し、通知判断手段が、前記フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、前記音響信号に音楽が含まれていることを通知するか否かを、前記短時間フレーム毎に判断し、通知制御手段が、前記通知判断手段により前記音響信号に音楽が含まれていることを通知すると判断された場合に、前記音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する方法である。
【００１２】
また、本発明の音楽検出通知プログラムは、コンピュータを、上記の音楽検出通知装置を構成する各手段として機能させるためプログラムである。
【発明の効果】
【００１３】
以上説明したように、本発明の音楽検出通知装置、方法、及びプログラムによれば、音響信号に音楽が含まれていると判断された場合に、その旨が外部に通知されるため、入力された音響信号に音楽が含まれているか否かをリアルタイムで知ることができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に係る音楽検出通知装置の機能的構成を示すブロック図である。
【図２】本実施の形態に係る音楽検出通知装置における音楽検出通知処理ルーチンの内容を示すフローチャートである。
【図３】各部の処理の概要を示す説明図である。
【図４】通知判断部の処理の概要を示す説明図である。
【図５】本実施の形態に係る音楽検出通知装置を携帯端末に搭載した場合の一例を示すイメージ図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
本実施の形態に係る音楽検出通知装置１０は、図１に示すように、音響信号が入力される入力装置１２と、音響信号に音楽が含まれていることを通知する通知装置１４と、音響信号に音楽が含まれるか否かを判断して通知装置１４を制御するコンピュータ１６とで構成されている。
【００１７】
入力装置１２は、例えば、マイクロホンで構成することができ、周辺の音を集音し、集音した音をアナログ信号に変換し、アナログ信号を所定のサンプリング周波数でサンプリングしたデジタル音響信号に変換して出力する。なお、入力装置１２からはアナログ音響信号を出力し、コンピュータ１６において、アナログ音響信号を取得してデジタル音響信号に変換するようにしてもよい。
【００１８】
通知装置１４は、例えば、ディスプレイ、照明装置、振動装置等で構成することができる。コンピュータ１６により、音響信号に音楽が含まれていることを通知すると判断された場合には、例えば、その旨をディスプレイに表示したり、照明装置を点滅させたり、振動装置を振動させたりすることにより、通知する。
【００１９】
コンピュータ１６は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する音楽検出通知処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えている。このコンピュータは、機能的には、図１に示すように、音響信号バッファ２０と、音響特徴抽出部２２と、フレーム評価値算出部２４と、フレーム評価値バッファ２６と、通知判断部２８と、通知制御部３０とを含んだ構成で表すことができる。
【００２０】
音響信号バッファ２０には、入力装置１２から出力されて、コンピュータ１６に入力されたデジタル音響信号が格納される。
【００２１】
音響特徴抽出部２２は、音響信号バッファ２０からデジタル音響信号を取得し、例えば１００ｍｓｅｃなどの短時間フレーム毎に１つまたは複数の音響特徴（フレーム音響特徴値）を抽出し、フレーム評価値算出部２４に受け渡す。
【００２２】
フレーム評価値算出部２４は、音響特徴抽出部２２から受け取ったフレーム音響特徴値に基づいて、短時間フレーム毎に音響信号に音楽が含まれるか否かを示すフレーム評価値を算出し、フレーム評価値バッファ２６に格納する。
【００２３】
通知判断部２８は、フレーム評価値バッファ２６から、現フレームを含む過去の所定フレーム分のフレーム評価値を取得し、これらのフレーム評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを示す通知有無評価値を算出する。また、通知判断部２８は、算出した通知有無評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを、短時間フレーム毎に判断し、判断結果を通知制御部３０に受け渡す。
【００２４】
通知制御部３０は、通知判断部２８から受け取った判断結果が、音響信号に音楽が含まれていることを通知することを示すものであった場合に、その判断結果が外部に通知されるように通知装置１４を制御する。
【００２５】
次に、本実施の形態の音楽検出通知装置１０の作用について説明する。入力装置１２からコンピュータ１６へ音響信号が入力されると、コンピュータ１６において、ＣＰＵが図２に示す音楽検出通知処理ルーチンを実行するためのプログラムを読み出して実行する。各部の処理の概要を示す図３及び図４も参照して、音楽検出処理ルーチンについて説明する。
【００２６】
ステップ１００で、音響特徴抽出部２２は、音響信号バッファ２０から１フレーム分のデジタル音響信号を取得する。例えば、図３（Ａ）に示すように、幅Ｗの短時間フレームを、前回ルーチンにおける処理対象フレームからフレームシフト幅（Ｌサンプル）分シフトさせて設定し、設定した短時間フレーム内のＷ点のサンプルを取得する。Ｌの値は、サンプリング周波数とフレームの幅（秒）の関係により決定する。例えば、サンプリング周波数が４４，１００Ｈｚ、フレームの幅（秒）を約１００ミリ秒としたい場合、Ｌ＝４，４１０などとすればよい。なお、図３の例では、Ｌ＜Ｗの場合を示しているが、例えばＷ＝Ｌ、Ｌ＞Ｗなどとしてもよい。
【００２７】
次に、ステップ１０２で、音響特徴抽出部２２は、上記ステップ１００で取得したデジタル音響信号の１フレーム分のサンプルを用いて、図３（Ｂ）に示すように、Ｎ個のフレーム音響特徴値（ｙｊｉ：ｉはフレーム番号、ｊは音響特徴の番号）を抽出する。フレーム音響特徴値としては、音響信号処理で一般的に用いられる特徴値を用いることができ、例えば、短時間フーリエ変換などに基づいて算出されるパワースペクトル、メル周波数ケプストラム係数、ケプストラム係数、対数周波数上に等間隔の中心周波数を持つバンドパスフィルタバンク等を用いることができる。Ｎの値は、例えば、パワースペクトルを用いる場合には、Ｎ＝２５６、５１２、１０２４程度、メル周波数ケプストラム係数、ケプストラム係数、対数周波数上に等間隔の中心周波数を持つバンドパスフィルタバンクを用いる場合には、Ｎ＝２０〜８０程度とすることができる。
【００２８】
次に、ステップ１０４で、フレーム評価値算出部２４は、上記ステップ１０２で抽出された第ｉフレームのフレーム音響特徴値ｙｊｉに基づいて、図３（Ｃ）に示すように、第ｉフレームが音楽を含むか否かを示す評価値であるフレーム評価値ｚｉを算出する。フレーム評価値ｚｉは、第ｉフレームが音楽を含む度合いに関する評価値を表しており、値が大きければ大きいほど、音楽を含む可能性が高いことを示している。フレーム評価値ｚｉを算出する方法としては、例えば、特許文献１における音楽フレーム評価値算出手段などの方法を用いることができる。具体的には、フレーム音響特徴値（ｙｊｉ，ｊ＝１，・・・，Ｎ）を用いた多項式識別関数を計算し、その識別関数が閾値以上の場合には、音楽を含むことを示す値としてｚｉ＝１、識別関数が閾値未満の場合には、音楽を含まないことを示す値としてｚｉ＝０という２値とすることができる。また、フレーム評価値ｚｉを、第ｉフレームに音楽が含まれる確信度（例えば、上記の識別関数）を表す多値または連続値としてもよい。フレーム評価値算出部２４は、算出したフレーム評価値ｚｉをフレーム評価値バッファ２６に格納する。
【００２９】
次に、ステップ１０６で、通知判断部２８は、フレーム評価値バッファ２６に格納されたフレーム評価値を取得して、図３（Ｄ）に示すように、第ｉフレームに音楽が含まれていることを通知するか否かを示す通知有無評価値ｓｉを算出する。
【００３０】
ここで、対応するフレーム評価値ｚｉのみから通知有無評価値ｓｉを算出して、第ｉフレームの通知の有無を判断すると、音楽一般に存在する微小な無音部に敏感に反応し、一連の音楽が続いているのにもかかわらず、フレーム毎に断続的に通知が行われてしまう、という問題が発生してしまう。
【００３１】
そこで、通知判断部２８は、図４に示すように、第ｉフレームを含む過去ｎフレーム分のフレーム評価値（ｚｉ−ｎ＋１，・・・，ｚｉ）に基づいて、第ｉフレームの通知有無評価値ｓｉを算出する。例えば、図４に示すように、窓関数ａｋ（ｋ＝１，２，・・・，ｎ）  を導入し、下記（１）式により判定値ｕｉを算出する。そして、下記（２）式に従い、閾値Θを用いて、通知有無評価値ｓｉを算出することができる。
【００３２】
【数１】
2014016423.tif 000003
【００３３】
窓関数ａｋ及び閾値Θの値は、窓関数を図４で示すような一次関数を利用し、例えば、ａｋ＝２ｋ／ｎ（ｎ＋１）、Θ＝０．４〜０．６などとすることができる。なお、（２）式では、通知有無評価値ｓｉを、通知することを示す値としてｓｉ＝１、通知しないことを示す値としてｓｉ＝０という２値とする場合を示しているが、通知有無評価値ｓｉを連続値または多値とすることもできる。この場合は、ｓｉ＝ｕｉとしたり、ｕｉを量子化してｓｉとしたりすることができる。
【００３４】
次に、ステップ１０８で、通知判断部２８は、上記ステップ１０６で算出された通知有無評価値ｓｉが１か否かを判定する。ｓｉ＝１の場合には、通知をする場合であるため、ステップ１１０へ移行して、通知制御部３０が、第ｉフレームに音楽が含まれていることが外部に通知されるように通知装置１４を制御する。例えば、ディスプレイに音楽が検出されたことを示すサインを表示したり、ＬＥＤ等の照明装置を点滅させたり、振動装置を振動させたりする。なお、通知有無評価値ｓｉを多値または連続値とした場合であって、通知装置１４の強さ（照明の明るさ、ディスプレイの明るさ、ディスプレイに表示されるサイン大きさや色、振動の強さなど）を連続的または多段階的に変化させることができる場合には、通知制御部３０は、多値または連続値の通知有無評価値ｓｉに応じて、通知装置１４の強さを調節してもよい。
【００３５】
図５に、本実施の形態の音楽検出通知装置１０をスマートフォン等の携帯端末に実装した場合の例を示す。音楽検出通知装置１０は、携帯端末自体が備えるマイクロホンを入力装置１２として用い、携帯端末自体が備えるディスプレイ及び振動装置を通知装置１４として用いる。また、携帯端末自体が備えるＣＰＵ、ＲＯＭ、ＲＡＭ等を、コンピュータ１６を構成する各部として機能させる。マイクロホンで集音された音響信号に音楽が含まれていない場合には、同図（Ａ）に示すように、通知は行われない。音響信号に音楽が含まれていることが検出された場合には、同図（Ｂ）に示すように、ディスプレイに音楽が検出されたことを示すサインを表示するか、振動装置を振動させることで、または、サインを表示すると共に振動装置を振動させることで、ユーザに音響信号に音楽が含まれていることを通知する。
【００３６】
以上説明したように、本実施の形態の音楽検出通知装置によれば、音響信号に音楽が含まれていると判断された場合に、通知装置を制御して外部にその旨を通知するため、入力された音響信号に音楽が含まれているか否かをリアルタイムで知ることができる。また、通知の有無を判断する際に、過去の所定フレーム数分のフレーム評価値を用いて判断するため、音響信号に継続的に音楽が含まれているにもかかわらず、通知が断続的になってしまうことを防止することができる。
【００３７】
本実施の形態の音楽検出装置は、日常生活の様々な場面に適用することができる。例えば、鉄道駅等における列車の発着時、横断歩道における交通信号等でサインとして使われている音楽を検出し、聴力に障害を持った人や耳栓をしている健常者などに対し、その音楽によるサインの存在を通知することができる。
【００３８】
また、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００３９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００４０】
１０   音楽検出通知装置
１２   入力装置
１４   通知装置
１６   コンピュータ
２０   音響信号バッファ
２２   音響特徴抽出部
２４   フレーム評価値算出部
２６   フレーム評価値バッファ
２８   通知判断部
３０   通知制御部
【図１】
2014016423.tif 000004
【図２】
2014016423.tif 000005
【図３】
2014016423.tif 000006
【図４】
2014016423.tif 000007
【図５】
2014016423.tif 000008