(57)【要約】  導出部（２４０）は、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲内に検出されたリズム成分を楽曲の特定リズム成分に特定し、スペクトル強度が所定値以上となる第１周波数帯域を導出する。また、導出部（２４０）は、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲外に検出されたリズム成分を非特定リズム成分に特定し、スペクトル強度が所定値以上となる第２周波数帯域を導出する。次いで、算出部（２５０）は、第１周波数帯域のうちで第２周波数帯域が含まれていない第３周波数帯域を算出し、当該帯域を指定した通過周波数指定ＢＰＣをフィルタ部（２６０）へ送る。そして、フィルタ部（２６０）は、指定された周波数を信号通過帯域とするフィルタリング処理を楽曲信号ＭＵＤに施す。引き続き、振動信号生成部（２７０）は、フィルタ部（２６０）を通過した信号ＦＴＤに基づいて、振動信号ＶＩＳを生成する。
2016027366.tif 000002
【特許請求の範囲】
【請求項１】
楽曲のリズムを検出する検出部と；
ユーザから、タイミングの情報の入力を受け付ける受付部と；
前記検出部が検出したリズムと、前記受付部が受け付けたタイミングの情報とに基づいて、振動部を振動させるための振動信号を生成する生成部と；
を備えることを特徴とする振動信号生成装置。
【請求項２】
前記生成部は、
前記受付部がタイミングの情報の入力を受け付けた時刻を含む所定の時間範囲内に前記検出部が検出したリズムの出現時刻を、前記楽曲の特定リズムの出現時刻として特定し、
前記特定リズムの出現時刻においてスペクトル強度が所定値以上となる周波数帯域である第１周波数帯域の信号を用いて、前記振動信号を生成する、
ことを特徴とする請求項１に記載の振動信号生成装置。
【請求項３】
前記検出部は、前記楽曲の周波数特性の時間変化を示すスペクトログラム情報を取得し、前記取得したスペクトログラム情報に基づいて、所定の周波数範囲において、スペクトル強度が所定値以上となる時刻を前記リズムの出現時刻として検出し、
前記生成部は、フィルタリング処理を含む処理を実行し、前記特定リズムの出現時刻における周波数特性に基づいて、前記フィルタリング処理において前記楽曲の信号成分を通過させる信号通過帯域を設定し、前記フィルタリング処理を施した後の信号に基づいて前記振動信号を生成する、
ことを特徴とする請求項２に記載の振動信号生成装置。
【請求項４】
前記生成部は、
前記第１周波数帯域に加えて、所定の受付期間における前記特定リズムの出現時刻以外の前記リズムの出現時刻である非特定リズムの出現時刻において、スペクトル強度が前記所定値以上となる第２周波数帯域を導出する導出部と；
前記第１周波数帯域のうちで、前記第２周波数帯域が含まれていない周波数帯域を第３周波数帯域として算出する算出部と；を備え、
前記第３周波数帯域を前記信号通過帯域に設定する、
ことを特徴とする請求項３に記載の振動信号生成装置。
【請求項５】
前記生成部は、前記受付期間に、複数のタイミングの情報の入力を受けたときには、前記リズムの出現時刻それぞれについて、前記特定リズムの出現時刻及び前記非特定リズムの出現時刻のいずれであるかを特定し、前記第３周波数範囲を算出する、ことを特徴とする請求項４に記載の振動信号生成装置。
【請求項６】
前記受付部は、前記受付期間以外の期間に、ユーザから前記タイミングの情報の入力を受けると、前記受付期間を開始する、ことを特徴とする請求項５に記載の振動信号生成装置。
【請求項７】
前記受付部は、前記受付期間の終了から所定時間が経過した後に、ユーザから前記タイミングの情報の入力を受けると、新たな受付期間を開始する、ことを特徴とする請求項６に記載の振動信号生成装置。
【請求項８】
前記タイミングの情報には、情報の入力の際における入力強度が含まれ、
前記生成部は、前記入力強度に応じた振動信号を生成する、
ことを特徴とする請求項１に記載の振動信号生成装置。
【請求項９】
振動信号を生成する振動信号生成装置において使用される振動信号生成方法であって、
楽曲のリズムを検出する検出工程と；
ユーザから、タイミングの情報の入力を受け付ける受付工程と；
前記検出工程において検出したリズムと、前記受付工程において受け付けたタイミングの情報とに基づいて、振動部を振動させるための振動信号を生成する生成工程と；
を備えることを特徴とする振動信号生成方法。
【請求項１０】
振動信号生成装置が有するコンピュータに、請求項９に記載の振動信号生成方法を実行させる、ことを特徴とする振動信号生成プログラム。
【請求項１１】
振動信号生成装置が有するコンピュータにより読み取り可能に、請求項１０に記載の振動信号生成プログラムが記録されている、ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、振動信号生成装置、振動信号生成方法、振動信号生成プログラム、及び、当該振動信号生成プログラムが記録された記録媒体に関する。
【背景技術】
【０００２】
従来から、楽曲音の楽しみ方として、楽曲コンテンツを再生して楽曲音を聴取することが、利用者により広く行われている。そして、近年では、ユーザが楽曲音との一体感を得られるように、楽曲音に合わせて振動部を振動させて、当該振動により利用者に楽曲音を体感させたり、又、楽曲音に合わせて光を点滅させたり、キャラクタを動作させる等、楽曲音の楽しみ方は、多様化してきている。【０００３】
ここで、楽曲音に合わせて振動部を振動させる技術の一つとして、楽曲のビート成分の出現に合わせて振動子を振動させる技術が提案されている（特許文献１参照：以下、「従来例１」と呼ぶ）。この従来例１の技術では、楽曲音のスペクトログラムから、音声信号のビート成分を抽出し、ビートのタイミングにおけるスペクトルの時間微分値のピークを振動子に与える振動強度の情報として取得する。そして、当該ビートのタイミングにおいて、当該振動強度に応じた振幅で振動する波形を有する加振信号を生成し、当該加振信号により振動子を振動させるようになっている。【０００４】
また、楽曲音に合わせて振動部を振動させる他の技術として、楽曲の特定の楽器音成分の出現に合わせて、振動子を振動させる技術が提案させている（特許文献２参照：以下、「従来例２」と呼ぶ）。この従来例２の技術では、ベースやドラム等の楽器ごとに定められたバンドパスフィルタにより、楽器の再生音の音域に対応する音データを抽出し、音データが所定のレベル以上となる期間内に、所定周波数の駆動パルスを発生させる。そして、当該駆動パルスで振動子を共振させ、再生音に合わせて振動を発生させるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２８３３０５号公報
【特許文献２】特開２０１３−５６３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した従来例１の技術では、抽出した楽曲音のビート成分に合わせて、当該ビート成分の強度に応じた振幅強度で振動子を振動させている。このため、ビート音に敏感なユーザに対しては、振動と楽曲音との一体感を与えることは可能である。ところで、振動付与による振動と楽曲音との一体性の感じ方は、ユーザによって様々である。したがって、従来例１の技術のように、楽曲音のビート成分の振動に合わせた振動付与では、振動と楽曲音との一体感が得られないユーザも存在する。【０００７】
また、上述した従来例２の技術では、楽曲音のベースやドラムの楽器音成分に合わせて、振動子を振動させている。このため、ベースやドラムの楽器音に敏感なユーザにとっては、振動と楽曲音との一体感を得られることが可能であるが、そうでないユーザにとっては、振動と楽曲音との一体感が得られないことがある。【０００８】
したがって、振動付与による振動と楽曲音との一体性の感じ方は、個々人によって異なることから、従来例１，２の技術では、振動と楽曲音との一体感を得られない利用者も存在する。【０００９】
このため、楽曲音の進行に合わせて、個々人の楽曲音との一体性の感じ方に適合した振動を生成し、個々のユーザに振動と楽曲音との一体感を与えることができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、楽曲のリズムを検出する検出部と；ユーザから、タイミングの情報の入力を受け付ける受付部と；前記検出部が検出したリズムと、前記受付部が受け付けたタイミングの情報とに基づいて、振動部を振動させるための振動信号を生成する生成部と；を備えることを特徴とする振動信号生成装置である。【００１１】
請求項９に記載の発明は、振動信号を生成する振動信号生成装置において使用される振動信号生成方法であって、楽曲のリズムを検出する検出工程と；ユーザから、タイミングの情報の入力を受け付ける受付工程と；前記検出工程において検出したリズムと、前記受付工程において受け付けたタイミングの情報とに基づいて、振動部を振動させるための振動信号を生成する生成工程と；を備えることを特徴とする振動信号生成方法である。【００１２】
請求項１０に記載の発明は、振動信号生成装置が有するコンピュータに、請求項９に記載の振動信号生成方法を実行させる、ことを特徴とする振動信号生成プログラムである。【００１３】
請求項１１に記載の発明は、振動信号生成装置が有するコンピュータにより読み取り可能に、請求項１０に記載の振動信号生成プログラムが記録されている、ことを特徴とする記録媒体である。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る振動信号生成装置を備える音響装置の構成を概略的に示す図である。
【図２】図１の音出力部（スピーカ）及び振動部（振動器）の配置関係を説明するための図である。
【図３】図１の振動信号生成装置の構成を説明するための図である。
【図４】図３の振動信号生成装置による振動信号の生成処理を説明するためのフローチャートである。
【図５】図４の第１及び第２周波数帯域の導出処理を説明するためのフローチャートである。
【図６】リズム成分の出現とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域を併記した図である（その１）。
【図７】リズム成分の出現とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域を併記した図である（その２）。
【図８】リズム成分の出現とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域を併記した図である（その３）。
【図９】リズム成分の出現とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域を併記した図である（その４）。
【図１０】リズム成分の出現及びタップタイミングの関係の例と、当該関係に基づいて算出された第３周波数帯域とを併記した図である（その５）。
【図１１】変形例を説明するための図である。
【図１２】音出力部（スピーカ）及び振動部（振動器）の配置位置の変形例を説明するための図である。
【符号の説明】
【００１５】
１３０  …  振動信号生成装置
２１０  …  タップ入力部（受付部の一部）
２２０  …  受付期間設定部（受付部の一部）
２３０  …  検出部
２４０  …  導出部（生成部の一部）
２５０  …  算出部（生成部の一部）
２６０  …  フィルタ部（生成部の一部）
２７０  …  振動信号生成部（生成部の一部）
４００  …  振動部
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態を、図１〜図１０を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００１７】
［構成］
図１には、一実施形態に係る「振動信号生成装置」を備える音響装置１００の概略的な構成がブロック図にて示されている。本実施形態では、音響装置１００には、音出力部３００と、振動部４００とが接続されている。
【００１８】
上記の音出力部３００は、スピーカＳＰ1，ＳＰ2を備えて構成されている。音出力部３００は、音響装置１００から送られた再生音声信号ＡＯＳを受ける。そして、音出力部３００は、再生音声信号ＡＯＳに従った楽曲音（再生音声）をスピーカＳＰ1，ＳＰ2から出力する。
【００１９】
上記の振動部４００は、振動器ＶＩ1，ＶＩ2を備えて構成されている。振動部４００は、音響装置１００（より詳細には、振動信号生成装置）から送られた振動信号ＶＩＳを受ける。そして、振動部４００は、当該振動信号ＶＩＳに従って、振動器ＶＩ1，ＶＩ2に振動を付与する。
【００２０】
図２には、上述したスピーカＳＰ1，ＳＰ2及び振動器ＶＩ1，ＶＩ2の本実施形態における配置関係が示されている。スピーカＳＰ1，ＳＰ2は、例えば、ユーザが着座する着座シートの前方に配置される。振動器ＶＩ1は、図２に示されるように、座席シートの座部の内部に配置される。そして、振動器ＶＩ1が振動すると、座部が振動するようになっている。また、振動器ＶＩ2は、座席シートの背もたれ部の内部に配置されている。そして、振動器ＶＩ2が振動すると、背もたれ部材が振動するようになっている。
【００２１】
次に、上記の音響装置１００の構成について、説明する。
【００２２】
音響装置１００は、図１に示されるように、楽曲信号供給部１１０と、再生音声信号生成措置１２０と、振動信号生成装置１３０とを備えている。
【００２３】
上記の楽曲信号供給部１１０は、楽曲コンテンツデータに基づいて、楽曲信号を生成する。こうして生成された楽曲信号ＭＵＤは、再生音声信号生成装置１２０及び振動信号生成装置１３０へ送られる。
【００２４】
上記の再生音声信号生成装置１２０は、不図示の入力部、デジタル処理部、アナログ処理部等を備えて構成されている。
【００２５】
上記の入力部は、再生音声信号生成装置１２０に設けられたキー部、及び／又はキー部を備えるリモート入力装置等により構成されている。この入力部を利用者が操作することにより、再生音声信号生成装置１２０の動作内容の設定や動作指令が行われる。例えば、楽曲コンテンツの再生指定等を、利用者が入力部を利用して行う。
【００２６】
上記のデジタル処理部は、楽曲信号供給部１１０から送られた楽曲信号ＭＵＤを受ける。そして、デジタル処理部は、楽曲信号に所定の処理を施し、デジタル音声信号を生成する。こうして生成されたデジタル音声信号は、アナログ処理部へ送られる。
【００２７】
上記のアナログ処理部は、デジタルアナログ変換部及びパワー増幅部を備えて構成されている。アナログ処理部は、デジタル処理部から送られたデジタル音声信号を受ける。そして、アナログ処理部は、当該デジタル音声信号をアナログ信号に変換した後にパワー増幅して、再生音声信号ＡＯＳを生成する。こうして生成された再生音声信号ＡＯＳは、音出力部３００へ送られる。
【００２８】
＜振動信号生成装置１３０の構成＞
次いで、上記の振動信号生成装置１３０の構成について、説明する。
【００２９】
振動信号生成装置１３０は、図３に示されるように、タップ入力部２１０と、受付期間設定部２２０と、検出部２３０とを備えている。また、振動信号生成部１３０は、導出部２４０と、算出部２５０と、フィルタ部２６０と、振動信号生成部２７０とを備えている。
【００３０】
上記のタップ入力部２１０は、タップ入力スイッチ等を備えて構成されている。タップ入力部２１０は、ユーザのタッピング動作を受け付ける。そして、ユーザのタッピング動作を受け付けると、タップ入力部２１０は、当該タッピング動作に関するタップタイミング情報ＴＡＰを生成して、受付期間設定部２２０及び導出部２４０へ送る。なお、タップ入力部２１０は、受付部の一部の機能を果たすようになっている。
【００３１】
上記の受付期間設定部２２０は、本実施形態では、タイマ機能を内蔵している。受付期間設定部２２０は、受付期間以外の期間に、タップ入力部２１０から送られたタップタイミング情報ＴＡＰを受けると、受付期間を開始する。そして、受付期間設定部２２０は、現時点が、受付期間であることを示す期間情報ＰＤＩを生成して、当該期間情報ＰＤＩを導出部２４０へ送る。受付期間設定部２２０は、その後、当該受付期間が終了すると、受付期間ではないことを示す期間情報ＰＤＩを生成して、当該期間情報ＰＤＩを導出部２４０へ送る。
【００３２】
また、受付期間設定部２２０は、受付期間の終了から所定時間が経過した後、タップ入力部２１０から送られたタップタイミング情報ＴＡＰを受けると、新たな受付期間を開始する。そして、受付期間設定部２２０は、受付期間であることを示す期間情報ＰＤＩを生成して、導出部２４０へ送る。
【００３３】
ここで、「受付期間」は、ユーザのリズム感覚に合致するリズム成分を特定する観点から、実験、シミュレーション、経験等に基づいて、予め定められる。また、「所定時間」は、楽曲進行に応じてユーザのリズム感覚に合致するリズムが変化する可能性があることに鑑み、実験、シミュレーション、経験等に基づいて、予め定められる。または、楽曲解析して得られる楽曲テンポＢＰＭから、「受付期間」と「所定時間」を算出しても良い。楽曲テンポＢＰＭは、Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅという１分間の音楽ビート数を示す単位である。例えば、「受付期間」は４×（６０÷楽曲テンポＢＰＭ）秒とし、「所定時間」は１２×（６０÷楽曲テンポＢＰＭ）秒などで設定される。
【００３４】
なお、受付期間設定部２２０は、受付部の一部の機能を果たすようになっている。
【００３５】
上記の検出部２３０は、楽曲信号供給部１１０から送られる楽曲信号ＭＵＤを受ける。そして、検出部２３０は、楽曲信号ＭＵＤを解析して、楽曲の周波数特性の変化を示すスペクトログラム情報を取得する。引き続き、検出部２３０は、当該スペクトログラム情報に基づいて、所定の周波数範囲のいずれかの周波数に関するスペクトル強度が所定値以上となる時刻帯を、「リズム」成分の出現時刻帯として検出する。そして、検出部２３０は、検出された「リズム」成分の出現時刻帯、及び、当該出現時刻帯におけるスペクトル強度を含むリズム情報ＲＴＭを生成して、導出部２４０へ送る。
【００３６】
ここで、「リズム」とは、拍、音の揺らぎ等を含む楽曲音の根源的な要素で、音の時間的進行をいう。
【００３７】
なお、「所定の周波数範囲」及び「スペクトル強度の所定値」は、楽曲のリズムを効果的に検出する観点から、実験、シミュレーション、経験等に基づいて、予め定められる。例えば、「所定の周波数範囲」としては、ベースやドラム等の楽器音の音域を含み、ボーカル音を含まない音域とすることができる。また、「スペクトル強度の所定値」としては、楽曲のスペクトル強度の平均値や分散値などから算出しても良い。
【００３８】
上記の導出部２４０は、受付期間設定部２２０から送られる期間情報ＰＤＩを受ける。そして、導出部２４０は、期間情報ＰＤＩが受付期間であることを示す内容ときには、期間フラグを「ＯＮ」にし、期間情報ＰＤＩが受付期間ではないことを示す内容のときには期間フラグを「ＯＦＦ」にする。
【００３９】
また、導出部２４０は、タップ入力部２１０から送られるタップタイミング情報ＴＡＰを受ける。さらに、導出部２４０は、検出部２３０から送られるリズム情報ＲＴＭを受ける。そして、導出部２４０は、期間フラグが「ＯＮ」のときに、タップタイミング情報ＴＡＰ及びリズム情報ＲＴＭに基づいて、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲内に検出されたリズム成分を、楽曲の特定リズム成分に特定する。引き続き、導出部２４０は、特定リズム成分のリズム情報に基づいて、当該特定リズムの出現時刻帯においてスペクトル強度が所定値以上となる第１周波数帯域を導出する。
【００４０】
また、導出部２４０は、期間フラグが「ＯＮ」のときに、タップタイミング情報ＴＡＰ及びリズム情報ＲＴＭに基づいて、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲外に検出されたリズム成分を、非特定リズム成分に特定する。そして、導出部２４０は、非特定リズム成分のリズム情報に基づいて、当該非特定リズムの出現時刻帯においてスペクトル強度が所定値以上となる第２周波数帯域を導出する。こうして導出された第１周波数帯域及び第２周波数帯域は、それぞれ、第１周波数帯域情報ＦＲ１及び第２周波数帯域情報ＦＲ２として、算出部２５０へ送られる。
【００４１】
ここで、「所定の時間範囲」は、ユーザのタップ入力時刻と特定リズム成分の出現時刻とには厳密には時間差があることに鑑み、タップ入力に対応するリズム成分が特定リズム成分であると評価できるとの観点から、実験、シミュレーション、経験等に基づいて、予め定められる。または、楽曲解析して得られる楽曲テンポＢＰＭから、所定の時間範囲を算出しても良い。具体的には、楽曲テンポＢＰＭが遅い場合は所定の時間範囲を長く、楽曲テンポＢＰＭが速い場合は所定の時間範囲を短く設定される。
【００４２】
導出部２４０が実行する処理の詳細については、後述する。なお、導出部２４０は、生成部の一部の機能を果たすようになっている。
【００４３】
上記の算出部２５０は、導出部２４０から送られる第１周波数帯域情報ＦＲ１及び第２周波数帯域情報ＦＲ２を受ける。そして、算出部２５０は、当該第１及び第２周波数帯域情報を受けると、第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域を、第３周波数帯域として算出する。引き続き、算出部２５０は、算出された第３周波数帯域を指定した通過周波数指定ＢＰＣをフィルタ部２６０へ送る。
【００４４】
算出部２５０が実行する第３周波数帯域の算出処理の詳細については、後述する。なお、算出部２５０は、生成部の一部の機能を果たすようになっている。
【００４５】
上記のフィルタ部２６０は、可変フィルタとして構成されている。フィルタ部２６０は、楽曲信号供給部１１０から送られた楽曲信号ＭＵＤを受ける。また、フィルタ部２６０は、算出部２５０から送られた通過周波数指定ＢＰＣを受ける。そして、フィルタ部２６０は、通過周波数指定ＢＰＣで指定された周波数を信号通過帯域とするフィルタリング処理を楽曲信号ＭＵＤに対して施す。このフィルタリング処理の結果が、信号ＦＴＤとして振動信号生成部２７０へ送られる。
【００４６】
上記の振動信号生成部２７０は、フィルタ部２６０から送られた信号ＦＴＤを受ける。そして、振動信号生成部２７０は、当該信号ＦＴＤの含有周波数、振幅を反映した振動信号ＶＩＳを生成する。
【００４７】
かかる振動信号ＶＩＳの生成に際して、振動信号生成部２７０は、振動器ＶＩ1，ＶＩ2の応答特性に基づき、当該応答特性が大きく減衰する高い周波数の信号ＦＴＤの成分については、振動器ＶＩ1，ＶＩ2の応答特性が大きくは減衰しない周波数の振動信号に変換するようになっている。この変換処理は、例えば、信号ＦＴＤを高速フーリエ変換し、各周波数スペクトル強度を、振動器ＶＩ1，ＶＩ2の応答特性が大きくは減衰しない低い周波数に周波数変換する。そして、当該周波数変換された信号を逆高速フーリエ変換することにより、振動器ＶＩ1，ＶＩ2が振動可能な振動信号ＶＩＳを生成する。こうして生成された振動信号ＶＩＳは、振動部４００へ送られる。
【００４８】
なお、フィルタ部２６０及び振動信号生成部２７０は、生成部の一部の機能を果たすようになっている。
【００４９】
［動作］
以上のようにして構成された音響装置１００の動作について、振動信号生成装置１３０による振動信号の生成処理に、主に着目して説明する。
【００５０】
前提として、ユーザは、図２に示される座席シートに着座し、音響装置１００では、楽曲信号供給部１１０が、楽曲信号ＭＵＤを再生音声信号生成装置１２０及び振動信号生成装置１３０へ供給しているものとする。そして、再生音声信号生成装置１２０では、デジタル処理部及びアナログ処理部が、楽曲信号ＭＵＤに対して再生音声処理を施して再生音声信号ＡＯＳを生成し、音出力部３００へ送っているものとする。この結果、スピーカＳＰ1，ＳＰ2から、楽曲音が出力されているものとする。
【００５１】
また、振動信号生成装置１３０では、検出部２３０が、楽曲信号ＭＵＤを解析してスペクトログラム情報を取得し、所定の周波数範囲において、スペクトル強度が所定値以上となる時刻帯を、「リズム」成分の出現時刻帯として検出しているものとする。そして、検出部２３０は、検出されたリズム成分に関するリズム情報ＲＴＭを生成すると、逐次、当該リズム情報を導出部２４０へ送っているものとする。また、振動信号生成装置１３０では、フィルタ部２６０が、楽曲信号供給部１１０から送られた楽曲信号ＭＵＤを受けているものとする。
【００５２】
なお、当初においては、期間フラグは「ＯＦＦ」になっているものとする。また、当初においては、フィルタ部２６０は、全周波数範囲の楽曲信号ＭＵＤの成分を通過させない設定になっているものとする。このため、当初においては、振動器ＶＩ1が配置される座席シートの座部、及び、振動器ＶＩ2が配置される座席シートの背もたれ部は、振動していないものとする。
【００５３】
また、ユーザのタップ入力が、タップ入力部２１０に対して行われるときには、タップ入力の受付時刻を含む所定の時間範囲内に、リズム成分が検出されるものとする。
【００５４】
このような状況のもとで、図４に示されるように、まず、ステップＳ１１において、振動信号生成装置１３０の受付期間設定部２２０が、ユーザによるタッピング動作が行われたか否か、すなわち、タップ入力部２１０から送られるタップタイミング情報ＴＡＰを受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。
【００５５】
ステップＳ１１の処理の繰り返し中に、受付期間設定部２２０がタップタイミング情報ＴＡＰを受けて、ステップＳ１１における判定の結果が肯定的となると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。ステップＳ１２では、受付期間設定部２２０が、受付期間を開始し、現在受付期間中である旨の期間情報ＰＤＩを生成して、導出部２４０へ送る。こうして当該期間情報ＰＤＩが送られると、導出部２４０は、期間フラグを「ＯＮ」にする。この後、処理はステップＳ１３へ進む。
【００５６】
ステップＳ１３では、「第１及び第２周波数帯域の導出処理」が行われる。かかるステップＳ１３の処理の詳細については、後述する。そして、ステップＳ１３の処理が終了すると、処理はステップＳ１５へ進む。
【００５７】
ステップＳ１５では、算出部２５０が、導出部２４０から送られた周波数帯域情報に基づいて、第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域を、第３周波数帯域として算出する。ここで、第２周波数帯域が存在しない場合には、算出部２５０は、第１周波数帯域を第３周波数帯域にする。引き続き、算出部２５０は、当該第３周波数帯域を指定した通過周波数指定ＢＰＣを、フィルタ部２６０へ送る。
【００５８】
こうして第３周波数帯域を指定した通過周波数指定ＢＰＣがフィルタ部２６０に設定されると、フィルタ部２６０は、当該通過周波数指定ＢＰＣで指定された周波数を信号通過帯域とするフィルタリング処理を楽曲信号ＭＵＤに対して施す。そして、フィルタ部２６０は、フィルタリング処理の結果を、信号ＦＴＤとして振動信号生成部２７０へ送る。
【００５９】
フィルタ部２６０を通過した信号ＦＴＤを受けると、振動信号生成部２７０は、当該信号ＦＴＤに基づいて、信号ＦＴＤの周波数、振幅を反映した振動信号ＶＩＳを生成する。そして、振動信号生成部２７０は、生成された振動信号ＶＩＳを振動部４００へ送る。
【００６０】
振動信号ＶＩＳを受けた振動部４００の振動器ＶＩ1，ＶＩ2は、振動信号ＶＩＳに従って振動する。この結果、振動器ＶＩ1が配置された座席シートの座部、及び、振動器ＶＩ2が配置された座席シートの背もたれ部が、振動する。
【００６１】
引き続き、ステップＳ１６において、受付期間設定部２２０が、受付期間の終了から所定時間が経過したか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１６：Ｎ）には、ステップＳ１６の処理が繰り返される。そして、受付期間の終了から所定時間が経過して、ステップＳ１６における判定の結果が肯定的となると（ステップＳ１６：Ｙ）、処理はステップＳ１１へ戻る。
【００６２】
以後、ステップＳ１１〜Ｓ１６の処理が繰り返されて、振動信号の生成処理が行われる。
【００６３】
＜第１及び第２周波数帯域の導出処理＞
次に、上述したステップＳ１３における「第１及び第２周波数帯域の導出処理」について説明する。
【００６４】
この「第１及び第２周波数帯域の導出処理」は、図５に示されるように、まず、ステップＳ２２において、導出部２４０が、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲内に検出されたリズム成分を特定リズム成分に特定する。引き続き、導出部２４０は、特定リズム成分のリズム情報に基づいて、当該特定リズム成分の出現時刻帯においてスペクトル強度が所定値以上となる第１周波数帯域を導出する。この後、処理はステップＳ２３へ進む。
【００６５】
ステップＳ２３では、導出部２４０が、検出部２３０から送られるリズム情報ＲＴＭを受けたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２３：Ｎ）には、処理は後述するステップＳ２８へ進む。
【００６６】
検出部２３０から送られるリズム情報ＲＴＭを受けて、ステップＳ２３における判定の結果が肯定的になると（ステップＳ２３：Ｙ）、処理はステップＳ２５へ進む。ステップＳ２５では、導出部２４０が、タップ入力部２１０から送られるタップタイミング情報ＴＡＰを受けたか否かを判定する。この判定の結果が肯定的であった場合（ステップＳ２５：Ｙ）には、導出部２４０は、直近のステップＳ２３の処理で取得したリズム情報ＲＴＭのリズム成分を特定リズム成分に特定する。引き続き、導出部２４０は、特定リズム成分のリズム情報に基づいて、当該特定リズム成分の出現時刻帯においてスペクトル強度が所定値以上となる第１周波数帯域を導出する。この後、処理はステップＳ２８へ進む。
【００６７】
一方、ステップＳ２５における判定の結果が否定的であった場合（ステップＳ２５：Ｎ）には、処理はステップＳ２７へ進む。ステップＳ２７では、導出部２４０が、直近のステップＳ２３の処理で取得したリズム情報ＲＴＭのリズム成分を、非特定リズム成分に特定する。引き続き、導出部２４０は、非特定リズム成分のリズム情報に基づいて、当該非特定リズム成分の出現時刻帯においてスペクトル強度が所定値以上となる第２周波数帯域を導出する。この後、処理はステップＳ２８へ進む。
【００６８】
ステップＳ２８では、導出部２４０が、受付期間が終了した旨の期間情報ＰＤＩを受けたか否かを判定することにより、受付期間が終了したか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２８：Ｎ）には。処理はステップＳ２３へ戻る。
【００６９】
一方、受付期間が経過し、ステップＳ２８における判定の結果が肯定的になると（ステップＳ２８：Ｙ）、導出部２４０は、期間フラグを「ＯＦＦ」にし、ステップＳ１３の処理が終了する。そして、処理は上述した図４のステップＳ１５へ進む。
【００７０】
＜第３周波数帯域の算出例＞
ここで、リズム成分の出現時刻とタップタイミングとの関係の例、及び、当該関係に基づいて算出された第３周波数帯域について、図６〜図１０を参照して説明する。
【００７１】
図６〜図１０には、検出部２３０が、楽曲信号ＭＵＤを解析してスペクトログラム情報を取得し、スペクトル強度が所定値以上となるリズム成分の時間変化の例が示されている。ここで、図中に示される白抜きの四角枠、黒塗りの四角枠、グレーの四角枠のそれぞれが、スペクトル強度が所定値以上となったリズム成分を表している。
【００７２】
これらの図６〜図１０に示される例では、タップ入力の受付期間を４ビートに相当する時間としている。また、図中の「Ｔ」は、タップ入力が行われたことを表し、黒塗りの四角い枠が、特定リズム成分を表している。また、図中のグレーの四角い枠が、受付期間中の非特定リズム成分を表している。
【００７３】
図６には、４ビートの受付期間中に、１回のタップ入力が行われたときの例が示されている。この例での第１周波数帯域は、タップ入力が行われた出現時刻ｔ1における黒塗りの四角枠（特性リズム成分）が占める周波数帯域になる。また、この例での第２周波数帯域は、タップ入力が行われていない出現時刻ｔ2，ｔ3，ｔ4におけるグレーの四角枠（非特定リズム成分）が占める周波数帯域になる。そして、第３周波数帯域は、図６に示される「第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域」となる。
【００７４】
また、図７，８には、４ビートの受付期間中に、２回のタップ入力があったときの例が示されている。ここで、図７，８では、楽曲のリズム成分の進行は同じになっている。そして、図７では、表拍となる時刻ｔ1，ｔ3でタップ入力が行われ、図８では、裏拍となる時刻ｔ2，ｔ4でタップ入力が行われている。
【００７５】
図７の例では、第１周波数帯域は、出現時刻ｔ1，ｔ3における黒塗りの四角枠（特定リズム成分）が占める周波数帯域になり、第２周波数帯域は、出現時刻ｔ2，ｔ4におけるグレーの四角枠（非特定リズム成分）が占める周波数帯域になる。そして、ユーザが表拍となる時刻でタップ入力したときの第３周波数帯域は、図７に示される「第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域」となる。
【００７６】
また、図８の例では、第１周波数帯域は、出現時刻ｔ2，ｔ4における黒塗りの四角枠（特定リズム成分）が占める周波数帯域になり、第２周波数帯域は、出現時刻ｔ3，ｔ5におけるグレーの四角枠（非特定リズム成分）が占める周波数帯域になる。そして、ユーザが裏拍となる時刻でタップ入力したときの第３周波数帯域は、図８に示される「第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域」となる。
る。
【００７７】
このように、同じ楽曲音であっても、ユーザのタップ入力のタイミングが異なれば、楽曲信号ＭＵＤを通過させる第３周波数帯域が異なってくる。このため、個々のユーザの楽曲音との一体性の感じ方に適合した振動を生成することができる。
【００７８】
なお、図７に示されるように、本実施形態では、時刻ｔ1で特定リズム成分が出現し、時刻ｔ2で非特定リズム成分が出現し、その後の時刻ｔ3で特定リズム成分が出現したときであっても、時刻ｔ1における特定リズム成分の周波数帯域と時刻ｔ2における非特定リズム成分の周波数帯域とが重複する周波数範囲については、時刻ｔ3における特定リズム成分の出現によっても、第３周波数範囲に含まれることがないようになっている。
【００７９】
また、図９には、４ビートに受付期間中に、４回のタップ入力があったときの例が示されている。図９の例では、第１周波数帯域は、出現時刻ｔ1，ｔ2，ｔ3，ｔ4における黒塗りの四角枠（特定リズム成分）が占める周波数帯域になり、第２周波数帯域は存在しない。そして、第３周波数帯域は、第１周波数帯域と同じになる。
【００８０】
また、図１０には、１回の受付期間の終了後に所定時間が経過し、２回の受付期間が開始したときの例が示されている。図１０の例では、１回目の受付期間におけるタップ入力と出現したリズム成分とに基づいて算出された第３周波数帯域ＦＲ３1は、２回目の受付期間が終了するまで、フィルタ部２６０の信号通過帯域に設定される。そして、２回目の受付期間におけるタップ入力と出現したリズム成分とに基づいて算出された第３周波数帯域ＦＲ３2は、その後のフィルタ部２６０の信号通過帯域に設定される。
【００８１】
以上説明したように、本実施形態では、検出部２３０が、楽曲信号ＭＵＤを解析してスペクトログラム情報を取得し、所定の周波数範囲においてスペクトル強度が所定値以上となる時刻帯を、「リズム」成分の出現時刻帯として検出する。そして、検出部２３０は、検出されたリズム成分に関するリズム情報ＲＴＭを生成し、逐次、当該リズム情報ＲＴＭを導出部２４０へ送る。また、受付期間設定部２２０は、タップ入力部２１０から送られるタップタイミング情報ＴＡＰを受けると、受付期間を開始し、現在受付期間中である旨の期間情報ＰＤＩを生成して、導出部２４０へ送る。
【００８２】
そして、導出部２４０は、タップタイミング情報ＴＡＰ及びリズム情報ＲＴＭに基づいて、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲内に検出されたリズム成分を、楽曲の特定リズム成分に特定し、当該特定リズムの出現時刻帯においてスペクトル強度が所定値以上となる第１周波数帯域を導出する。また、導出部２４０は、タップタイミング情報ＴＡＰの受付時刻を含む所定の時間範囲外に検出されたリズム成分を、非特定リズム成分に特定し、当該非特定リズムの出現時刻帯においてスペクトル強度が所定値以上となる第２周波数帯域を導出する。引き続き、算出部２５０が、第１周波数帯域のうちで、第２周波数帯域が含まれていない周波数帯域を、第３周波数帯域として算出し、当該算出された第３周波数帯域を指定した通過周波数指定ＢＰＣをフィルタ部２６０へ送る。
【００８３】
そして、フィルタ部２６０は、当該通過周波数指定ＢＰＣで指定された周波数を信号通過帯域とするフィルタリング処理を楽曲信号ＭＵＤに対して施す。引き続き、振動信号生成部２７０は、フィルタ部２６０を通過した信号ＦＴＤに基づいて、信号ＦＴＤの含有周波数、振幅を反映した振動信号ＶＩＳを生成する。そして、振動信号生成部２７０は、生成された振動信号ＶＩＳを振動部４００へ送る。
【００８４】
このため、ユーザが望むリズムを手軽に設定でき、振動で体感することにより、楽曲との一体感を高めることができる。また、ハンドクラップ（手拍子）などの打楽器以外のリズム成分に合わせて、一体感を得ることも可能となる。
【００８５】
また、本実施形態では、受付期間設定部２２０は、受付期間の終了から所定時間が経過し、タップ入力部２１０から送られたタップタイミング情報ＴＡＰを受けると、新たな受付期間を開始する。そして、導出部２４０及び算出部２５０が、協同して新たな第３周波数帯域を算出し、新たな第３周波数帯域を指定した通過周波数指定ＢＰＣをフィルタ部２６０へ送る。
【００８６】
このため、楽曲途中でテンポやパターンが変化したり、楽曲進行に応じてユーザのリズム感覚に合致するリズム成分が変化した場合であっても、ユーザの楽曲音の感じ方に適合した振動を生成することができる。
【００８７】
したがって、本実施形態によれば、楽曲音の進行に合わせて、個々人の楽曲音との一体性の感じ方に適合した振動を生成し、個々のユーザに振動と楽曲音との一体感を与えることができる。
【００８８】
［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
【００８９】
例えば、上記の実施形態では、振動信号生成部は、フィルタ部を通過した信号の周波数、振幅を反映した振動信号を生成するようにした。これに対して、タップタイミング情報に、タップ入力の際における入力強度を含めるようにし、振動信号生成部は、フィルタ部を通過した信号の周波数、振幅に加えて、タップ入力の際の入力強度に応じた振動信号を生成するようにしてもよい。
【００９０】
こうした構成を採用した場合に、例えば、図１１に示されるように、２回のタップ入力が行われ、１回目のタップ入力「Ｔ１」に基づいて算出される「第３周波数範囲１」と、２回目のタップ入力「Ｔ２」に基づいて算出される「第３周波数範囲２」が異なる場合には、以下のようにして、振動信号を生成するようにしてもよい。
【００９１】
ここで、「第３周波数範囲１」を指定したフィルタ部を通過し、デジタルアナログ変換した信号をＦＴＳ１にするとともに、「第３周波数範囲２」を指定したフィルタ部を通過し、デジタルアナログ変換した信号をＦＴＳ２にする。また、タップ入力「Ｔ１」時の入力強度を「ＴＳ１」にするとともに、タップ入力「Ｔ２」時の入力強度を「ＴＳ２」にとする。そして、次の（１）式によい、振動信号ＶＩＳを生成するようにしてもよい。
ＶＩＳ＝ＦＴＳ１×ＴＳ１＋ＦＴＳ２×ＴＳ２    …（１）
【００９２】
また、上記の実施形態では、タップ入力によりユーザのリズムに関するタイミングを受け付けるようにしたが、例えば、ユーザの音声や手拍子をマイクで検出して、ユーザのリズムに関するタイミングを受け付けるようにしてもよい。
【００９３】
また、上記の実施形態の音響装置、スピーカ及び振動器は、建屋内に配置するようにしてもよいし、車室内に配置するようにしてもよい。
【００９４】
また、上記の実施形態では、スピーカを着座シートの前方に配置するとともに、振動器を着座シートに配置するようにした。これに対して、図１２に示されるように、スピーカＳＰ1，ＳＰ2をヘッドフォンスピーカとして構成し、振動器ＶＩ1，ＶＩ2をヘッドフォンの左右の耳当て部材の内部に配置するようにしてもよい。また、振動器を、イヤフォンの内部に配置するようにしてもよい。なお、こうしたスピーカ及び振動器の配置関係を採用する場合には、音響装置は、家庭や車室内等に固定配置されるものであってもよいし、又、ユーザが携帯するものであってもよい。
【００９５】
また、上記の実施形態では、音響装置が振動信号生成装置を備えることとしたが、複数のプレーヤとミキサ等を操作する、いわゆるディスクジョッキ（ＤＪ）がタップ入力操作し、ディスコやクラブの観衆に振動を付与する構成にしてもよい。また、ダンスレッスンのおけるインストラクタがタップ入力操作し、ダンスレッスンの生徒に振動を付与する構成にしてもよい。
【００９６】
また、一のユーザのタップ入力により得られた楽曲音の抽出帯域（第３周波数帯域）に関する情報を外部のサーバ装置へ送信し、当該抽出帯域に関する情報を他のユーザが使用する構成にしてもよい。
【００９７】
なお、上記の振動信号生成装置の一部又は全部を中央処理装置（ＣＰＵ：Central Processing Unit）等を備えた演算手段としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、上記の実施形態における振動信号生成装置の機能を実現するようにしてもよい。このプログラムはハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。
【図１】
2016027366.tif 000003
【図２】
2016027366.tif 000004
【図３】
2016027366.tif 000005
【図４】
2016027366.tif 000006
【図５】
2016027366.tif 000007
【図６】
2016027366.tif 000008
【図７】
2016027366.tif 000009
【図８】
2016027366.tif 000010
【図９】
2016027366.tif 000011
【図１０】
2016027366.tif 000012
【図１１】
2016027366.tif 000013
【図１２】
2016027366.tif 000014
【国際調査報告】
2016027366.tif 000015
2016027366.tif 000016
2016027366.tif 000017
2016027366.tif 000018