(57)【要約】【課題】  音響信号を客観的に、かつ、時間変化とともに分析できるシステムを提供する。【解決手段】  曲調と情動あるいは感情との対応テーブルANLTBLを設ける。音響信号を所定の期間ごとに区切るとともに、その区切られた期間ごとに、この区切られた期間における音響信号の示す曲調を分析する。この分析により得られた曲調により対応テーブルANLTBLを参照して区切られた期間における音響信号を、この音響信号が引き起こす情動あるいは感情の情報に変換する。【選択図】  図２
2006023524.tif 000002
【特許請求の範囲】
【請求項１】
曲調と情動あるいは感情との対応テーブルを有し、
音響信号を所定の期間ごとに区切るとともに、
その区切られた期間ごとに、この区切られた期間における音響信号の示す曲調を分析し、
この分析により得られた曲調により上記対応テーブルを参照して上記区切られた期間における音響信号を、この音響信号が引き起こす情動あるいは感情の情報に変換する
ようにした音響信号の分析回路。
【請求項２】
請求項１に記載の分析回路において、
上記曲調が、テンポ、リズム、音高、和音、音色、構造、音量のいずれかである
ようにした音響信号の分析回路。
【請求項３】
請求項１に記載の音響信号の分析回路において、
上記曲調が、テンポ、このテンポの揺らぎ、リズム、このリズムの揺らぎ、音高、和音、音色、構造、音量のいずれかである
ようにした音響信号の分析回路。
【請求項４】
請求項１に記載の音響信号の分析回路において、
上記曲調が、テンポ、リズム、音高、和音、音色、構造、音量、この音量の時間変化、最大音量、最小音量、最大音量と最小音量との差のいずれかである
ようにした音響信号の分析回路。
【請求項５】
請求項１、請求項２、請求項３あるいは請求項４に記載の分析回路において、
上記情動あるいは感情が、喜び、悲しみ、優しさ、怒り、恐れのいずれかである
ようにした音響信号の分析回路。
【請求項６】
請求項１、請求項２、請求項３、請求項４あるいは請求項５に記載の分析回路において、
上記対応テーブルによる変換結果を記録する
ようにした音響信号の分析回路。
【請求項７】
請求項６に記載の分析回路において、
上記変換結果を記録する記録手段が、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリおよびＩＣカードのいずれかである
ようにした音響信号の分析回路。
【請求項８】
請求項７に記載の分析回路において、
上記光ディスクが、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭおよびブルーレイディスクのいずれかである
ようにした音響信号の分析回路。
【請求項９】
曲調と情動あるいは感情との対応テーブルと、
画像あるいは文字列の映像信号を形成する回路と
を有し、
音響信号を所定の期間ごとに区切るとともに、
その区切られた期間ごとに、この区切られた期間における音響信号の示す曲調を分析し、
この分析により得られた曲調により上記対応テーブルを参照して上記区切られた期間における音響信号を、この音響信号が引き起こす情動あるいは感情の情報に変換し、
この変換結果の情報により上記映像信号を制御する
ようにした音響信号の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音響信号の分析装置および再生装置に関する。
【背景技術】
【０００２】
近年、ユーザの気分や感性に適した音楽などのコンテンツを提供するシステムが提案されている。これらのシステムにおいては、ユーザのそのときの気分や感性を示す感性パラメータと、あらかじめ抽出しておいたコンテンツの感性パラメータとを照合し、その照合結果によりデータベースの中から最適なコンテンツを選択して提供するようにされている。
【０００３】
例えば、文字情報、図形情報、イメージ情報（画像情報）、サウンド情報を含むマルチメディアデータに対して、感性に対応する複数の形容詞（嬉しい、明るい、悲しい、力強いなど）を付与するとともに、その形容詞をあらかじめ因子分析して因子空間に配置しておく。そして、ユーザが、そのときの気分を示す形容詞を入力すると、因子空間で最も入力情報に近いマルチメディアデータを選択して提示するシステムが考えられている（例えば、特許文献１参照）。
【０００４】
また、上記のようにユーザがそのときの気分を示す形容詞を入力する代わりに、ユーザの生体情報（心拍、血圧など）や環境情報（時刻、場所、気温など）を計測し、その計測結果をユーザのスケジュールなどと組み合わせることにより、ユーザのそのときの気分を自動的に推定して検索用の感性パラメータを生成する方法も考えられている（例えば、特許文献２参照）。
【０００５】
さらに、提示するコンテンツの感性パラメータを抽出する方法として、音楽信号を５つの周波数帯域に分割し、その各帯域の音圧分布からコンテンツが「快適、驚き、おびえ、嬉しい、悲しい」のいずれかに分類する方法もある（例えば、特許文献３参照）。
【０００６】
〔先行技術の文献〕
【特許文献１】特開平９−３４９０９号公報
【特許文献２】特開２００１−２８２８４７号公報
【特許文献３】特開２００２−３６６１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、上記のように因子空間を利用するコンテンツの分析方法では、主観によりコンテンツを分類することになるので、一般性が低くなるおそれがある。また、コンテンツの時間的な変化は考慮していないので、全体の平均的な特徴しかとらえることができない。さらに、周波数帯域ごとの音圧分布により分析する方法では、「悲しい」と「嬉しい」、「驚き」と「おびえ」のように音圧分布が近い周波数帯域にあるものは、分離が難しいなどの問題があった。
【０００８】
この発明は、以上のような問題点を解決しようとするものである。
【課題を解決するための手段】
【０００９】
この発明においては、
曲調と情動あるいは感情との対応テーブルを有し、
音響信号を所定の期間ごとに区切るとともに、
その区切られた期間ごとに、この区切られた期間における音響信号の示す曲調を分析し、
この分析により得られた曲調により上記対応テーブルを参照して上記区切られた期間における音響信号を、この音響信号が引き起こす情動あるいは感情の情報に変換する
ようにした音響信号の分析回路
とするものである。
【発明の効果】
【００１０】
この発明によれば、音響信号を分析テーブルにしたがって分析しているので、その分析結果は客観的になり、コンテンツの持つ感情の情報を適切に評価することができる。また、所定の期間ごとに分析を行うので、音響の時間的な変化まで考慮されることになり、音楽であれば、その音楽の特徴をとらえることができる。
【発明を実施するための最良の形態】
【００１１】
〔１〕  音響再生装置の例
図１はこの発明をＣＤ再生装置に適用した場合の一例を示す。このＣＤ再生装置は、ＣＤから再生された音響信号を、人の感覚に作用する信号成分について分析することにより、その音響信号の与える感情の情報を分析するものである。
【００１２】
このため、このＣＤ再生装置は、ＣＤの再生を行うＣＤドライブ装置１２と、音響信号分析回路１３と、システム制御用のマイクロコンピュータ２０とを有する。そして、ＣＤドライブ装置１２によりＣＤ１１からデジタルオーディオデータが再生され、このデジタルオーディオデータが音響信号分析回路１３に供給されるとともに、マイクロコンピュータ２０に供給される。
【００１３】
この場合、音響信号分析回路１３は、これに供給されたデジタルオーディオデータを所定の期間、例えば、数小節期間ごとに区切り、その小節ごとのデジタルオーディオデータの示す曲調を、例えば図２に示す分析分類テーブルANLTBLにより感情に分析・分類するものである。
【００１４】
このため、テーブルANLTBLは、その左欄に示すように、曲調として「テンポ・リズム」、「音高・メロディ」、「和音・ハーモニー」、「音色・テクスチャ・形式」、「小節・構造」、「音量」の項目を有する。また、テーブルANLTBLは、その上欄に示すように、感情として「喜び」、「悲しみ」、「優しさ」、「怒り」、「恐れ」の項目を有する。
【００１５】
ここで、曲調の「テンポ・リズム」は、曲の時間成分に関する項目であり、「音高・メロディ」、「和音・ハーモニー」および「音色・テクスチャ・形式」は、曲の周波数成分に関する項目である。また、「小節・構造」および「音量」は、曲の振幅成分に関する項目を有する。
【００１６】
そして、ある期間Ｔiのデジタルオーディオデータの曲調を分析したとき、「テンポ・リズム」が顕著であり、その等級（程度）が「速い・軽快」であれば、その期間Ｔiにおけるデジタルオーディオデータを「喜び」に分類する。あるいは、ある期間Ｔiに「音高・メロディ」が優勢であり、その内容が「緩やかな上昇・下降」のときには、その期間Ｔiのデジタルオーディオデータを「優しさ」に分類する。
【００１７】
すなわち、テーブルANLTBLの左欄の曲調をＡ1〜Ａ6とし、上欄の感情をＢ1〜Ｂ5とするとともに、それぞれの曲調および感情に対応する等級をｆ(1,1)〜ｆ(5,6)とすると、音響信号分析回路１３は、ある期間Ｔiのデジタルオーディオデータの曲調をテーブルANLTBLの曲調Ａ1〜Ａ6について分析し、ある曲調Ａmが他の曲調に比べて優勢であり、その曲調Ａmの等級がｆ(m,n)であれば、感情Ｂnをリスナが感じるであろうと分析し、期間Ｔiにおけるデジタルオーディオデータの曲調を感情Ｂnに分類する（m＝1〜6のいずれか。n＝1〜5のいずれか）。
【００１８】
なお、このテーブルANLTBLは、Patrik N. Juslin & John A. Sloboda著「Music and emotion - Theory and research」（Oxford Press社発行）の第８章の内容をまとめたものである。また、音響信号分析回路１３の構成例について後述するが、この音響信号分析回路１３の出力もマイクロコンピュータ２０に供給される。
【００１９】
そして、マイクロコンピュータ２０は、プログラムを実行するＣＰＵ２１と、各種のプログラムの書き込まれたＲＯＭ２２と、ワークエリア用のＲＡＭ２３とを有し、これらがシステムバス２９を通じて互いに接続されている。また、マイクロコンピュータ２０は、大容量の記録装置としてハードディスク装置２４と、キーボードやマウスなどのユーザインターフェイス２５とを有し、これらもシステムバス２９に接続されている。なお、ハードディスク装置２４には、画像データのデータベースがあらかじめ用意される。
【００２０】
また、システムバス２９には表示制御回路２６を通じてディスプレイ３６が接続され、ＣＰＵ２１により処理された画像データが表示制御回路２６により表示用のビデオ信号に変換され、このビデオ信号がディスプレイ３６に供給されて画像が表示される。さらに、システムバス２９には音響処理回路２７が接続され、この処理回路２７を通じてスピーカ３７に音響信号が供給されるとともに、マイクロフォン３８からの音響信号が音響処理回路２７を通じてマイクロコンピュータ２０に取り込まれる。
【００２１】
さらに、この再生装置や他の同様の装置により分析した情報やデータをそれらの装置との間でやりとりするため、送受信回路３３および通信回路３４がシステムバス２９に接続され、通信回路３４は他のネットワーク、例えばインターネット４０に接続される。
【００２２】
このような構成において、ユーザインターフェイス２５を操作すると、ＣＤドライブ装置１２によりＣＤ１１からデジタルオーディオデータの再生が開始される。そして、この再生されたデジタルオーディオデータがシステムバス２９を通じて音響処理回路２７に供給され、音量調整や音質調整などが行われるとともに、音響信号にＤ／Ａ変換され、この音響信号がスピーカ３７に供給されて音響が再生される。
【００２３】
そして、このとき、ＣＤ１１から再生されたデジタルオーディオデータが音響信号分析回路１３によりテーブルANLTBLにしたがって例えば数小節ごとに分析され、その分析結果、すなわち、感情Ｂnを示すデータがマイクロコンピュータ２０に順次供給されてハードディスク装置２４に蓄積されていく。
【００２４】
また、例えば図３に示すように、分析結果の感情Ｂnと、その分析結果を与えた小節とが対応付けされてデータベース化され、このデータベースはハードディスク装置２４に蓄積される。
【００２５】
さらに、この例においては、音響信号分析回路１３の分析結果にしたがって音響処理回路２７が制御され、例えば、スピーカ３７に供給される音響信号のレベルをや周波数特性を変更するなどしてスピーカ３７から出力される音響の音量や音質が制御されたりする。
【００２６】
また、ハードディスク装置２４にあらかじめ用意しておいたデータベースから画像データが取り出されて所定の映像信号が形成されてディスプレイ３６に供給され、ディスプレイ３６には、例えば図４ＡやＢに示すような抽象画が表示されるとともに、その動き、大きさ、色、明るさ、表情などが音響信号分析回路１３の分析結果にしたがって変更される。
【００２７】
こうして、上述の音響再生装置によれば、テーブルANLTBLにしたがって音響を分析しているので、その分析結果の分類は客観的になり、一般性を持たせることができる。また、所定の期間ごとに分析を行うので、音響の時間的な変化まで考慮されることになり、音楽であれば、その音楽の特徴をとらえることができる。
【００２８】
〔２〕  音響信号分析回路１３の例
〔２−１〕  音響信号分析回路１３の例（その１）
図５は、音響信号分析回路１３の構成例を示す。この音響信号分析回路１３は、リズム解析回路１３１と、周波数解析回路１３２と、音量解析回路１３３と、感性データ出力回路１３４とから構成される。
【００２９】
そして、解析回路１３１〜１３３は、ＣＤドライブ装置１２により再生されたデジタルオーディオデータの数小節ごとに解析を行うものであるが、リズム解析回路１３１は、ＣＤドライブ装置１２から供給されたデジタルオーディオデータにＦＦＴ処理を行ってパワースペクトルを求めるとともに、そのパワースペクトルの微分をとることにより、該当する小節のテンポおよび強弱の解析結果Ａ1を出力する。
【００３０】
また、周波数解析回路１３２は、ＣＤドライブ装置１２から供給されたデジタルオーディオデータにＦＦＴ処理を行って低域成分、中域成分および高域成分などの周波数成分を求めるとともに、各周波数成分の分布および密度と、その時間変化とから該当する小節の音高、和音および音色の解析結果Ａ2〜Ａ4を出力する。このため、周波数解析回路１３２は、音高解析部１３２Ａ、和音解析回路１３２Ｂおよび音色解析回路１３２Ｃを有する。
【００３１】
さらに、音量解析回路１３３は、ＣＤドライブ装置１２から供給されたデジタルオーディオデータが示す振幅あるいはその２乗値の時間変化から該当する小節の音量およびその変化の解析結果Ａ5、Ａ6を出力する。
【００３２】
そして、この解析回路１３１〜１３３の解析結果Ａ1〜Ａ6が感性データ出力回路１３４に供給される。この感性データ出力回路１３４は、解析回路１３１〜１３３の解析出力Ａ1〜Ａ6のうち、最も優勢な曲調Ａmの解析結果を選択するとともに、その選択した解析結果の等級ｆ(m,n)から感情Ｂnを判定し、この判定結果Ｂnを出力とするものである。
【００３３】
したがって、感性データ出力回路１３４からは、ＣＤドライブ装置１２により再生されている音響信号を分析・分類した感情Ｂnのデータが出力されることになる。そして、この感情Ｂnのデータは、システムバス２９を通じてマイクロコンピュータ２０に取り込まれる。
【００３４】
〔２−２〕  音響信号分析回路１３の例（その２）
音響信号分析回路１３は、マイクロコンピュータやＤＳＰにより構成することもできるが、その場合、マイクロコンピュータやＤＳＰが実行するプログラムを例えば図６および図７に示すルーチン２００のように構成することができる。
【００３５】
すなわち、音響信号分析回路１２においてルーチン２００が実行されると、ステップ２０１において、ＣＤドライブ装置１２からデジタルオーディオデータが例えば数小節分だけ取り込まれ、次にステップ２０２において、ステップ２０１により取り込んだ小節のテンポが解析され、続くステップ２０３において、ステップ２０２により解析したテンポが、例えば120bpmよりも速いかどうかが判別される。
【００３６】
そして、テンポが120bpmよりも速いときには、処理はステップ２０３からステップ２１１に進み、このステップ２１１において、ステップ２０１により取り込んだ小節の音高および和音が解析され、続くステップ２１２において、ステップ２１１の解析結果が長調であるかどうかが判別される。そして、長調の場合には、処理はステップ２１２から２１３に進み、このステップ２１３において、500Hz以上の周波数成分があるかどうかが判別される。
【００３７】
そして、500Hz以上の周波数成分があるときには、処理はステップ２１３から２１４に進み、このステップ２１４において、ステップ２０１により取り込んだ小節が「喜び」を示していると判定され、続くステップ２１５において、その判定結果が例えば図３に示すように、ハードディスク装置２４に保存され、その後、処理はステップ２０１に戻る。
【００３８】
さらに、ステップ２１３において、500Hz以上の周波数成分がないときには、処理はステップ２１３からステップ２６４に進み、このステップ２６４において、ステップ２０１により取り込んだ小節が感性情報を持たない、すなわち、「中性」であると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。
【００３９】
また、ステップ２１２において、ステップ２０１により取り込んだ小節が長調ではないときには、処理はステップ２１２からステップ２２１に進み、このステップ２２１において、ステップ２０１により取り込んだ小節の構造が解析される。次に処理はステップ２２２に進み、このステップ２２２において、ステップ２２１の解析結果に繰り返し構造があるかどうかが判別され、繰り返し構造があるときには、処理はステップ２２２からステップ２２４に進み、このステップ２２４において、ステップ２０１により取り込んだ小節が「怒り」を示していると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。
【００４０】
さらに、ステップ２２２において、ステップ２２１の解析結果に繰り返し構造がないときには、処理はステップ２２２からステップ２３４に進み、このステップ２３４において、ステップ２０１により取り込んだ小節が「恐れ」を示していると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。
【００４１】
また、ステップ２０３において、ステップ２０２により解析したテンポが120bpmよりも遅い場合には、処理はステップ２０３からステップ２４１に進み、このステップ２４１において、ステップ２０２により解析したテンポが、例えば60bpmよりも遅いかどうかが判別される。そして、テンポが60bpmよりも遅いときには、処理はステップ２４１からステップ２４２に進み、このステップ２４２において、ステップ２０１により取り込んだ小節の和音が解析される。
【００４２】
そして、次にステップ２４３において、ステップ２４２の解析結果が長調であるかどうかが判別され、長調のときには、処理はステップ２４３からステップ２４４に進み、このステップ２４４において、ステップ２０１により取り込んだ小節が「優しさ」を示していると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。
【００４３】
また、ステップ２４３において、ステップ２４２の解析結果が長調ではないときには、処理はステップ２４３からステップ２５４に進み、このステップ２５４において、ステップ２０１により取り込んだ小節が「悲しみ」を示していると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。
【００４４】
さらに、ステップ２４１において、ステップ２０２により解析したテンポが60bpmよりも速いときには、処理はステップ２４１からステップ２６４に進み、このステップ２６４において、ステップ２０１により取り込んだ小節は「中性」であると判定され、その後、処理はステップ２１５を通じてステップ２０１に戻る。
【００４５】
こうして、ルーチン２００によれば、ＣＤドライブ装置１１により再生された曲が、その数小節ごとに感情を示すデータに分析されて分類されていく。
【００４６】
〔３〕  その他
上述においては、音響信号分析回路１３の分析結果にしたがってディスプレイ３６に画像を表示するとともに、その動きや大きさなどを変更するとしたが、音響信号分析回路１３の分析結果に対応した内容の文字データを生成し、ディスプレイ３６に、「今とても嬉しい！」などのように、そのときの感情Ｂnを示す文字列を表示することもできる。
【００４７】
また、上述においては、音響信号分析回路１３の分析結果をハードディスク装置２４に保存したが、光ディスク、光磁気ディスク、磁気テープ、ハードディスク、半導体メモリあるいはＩＣカードなどに保存することもできる。さらに、その記録用の光ディスクは、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ブルーレイディスクなどとすることができる。
【００４８】
また、上述においては、この発明をＣＤ再生装置に適用した場合であるが、音響信号は他の信号源から得ることもでき、例えばＤＶＤドライブ装置とすれば、同時に映像信号を再生することもできるとともに、その映像信号を音響信号分析回路１３の分析結果にしたがって制御することができる。
【００４９】
〔略語の一覧〕
bpm   ：beat per minute
ＣＤ  ：Compact Disc
ＣＤ−Ｒ  ：CD Recordable
ＣＤ−ＲＷ：CD ReWritable
ＣＰＵ    ：Central Processing Unit
ＤＳＰ    ：Digital Signal Processor
ＤＶＤ−ＲＡＭ：DVD Random Access Memory
ＤＶＤ±Ｒ    ：DVD Recordable, DVD +Recordable
ＤＶＤ±ＲＷ  ：DVD ReWritable, DVD +ReWritable
ＩＣ  ：Integrated Circuit
ＭＤ  ：Mini Disc
ＲＡＭ：Random Access Memory
ＲＯＭ：Read Only Memory
【図面の簡単な説明】
【００５０】
【図１】この発明の一形態を示す系統図である。
【図２】この発明に使用できるテーブルを示す図である。
【図３】解析結果を説明するための図である。
【図４】表示例を示す図である。
【図５】この発明の要部の一例を示す系統図である。
【図６】この発明の要部の一例の一部を示すフローチャートである。
【図７】図６の続きを示すフローチャートである。
【符号の説明】
【００５１】
１１…ＣＤ、１２…ＣＤドライブ装置、１３…音響信号分析回路、２０…マイクロコンピュータ、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ハードディスク装置、２５…ユーザインターフェイス、２６…表示制御回路、２７…音響処理回路、２９…システムバス、３３…送受信回路、３４…通信回路、３６…ディスプレイ、３７…スピーカ、３８…マイクロフォン、４０…インターネット、２００…ルーチン、ANLTBL…分析分類テーブル
【図１】
2006023524.tif 000003
【図２】
2006023524.tif 000004
【図３】
2006023524.tif 000005
【図４】
2006023524.tif 000006
【図５】
2006023524.tif 000007
【図６】
2006023524.tif 000008
【図７】
2006023524.tif 000009