(57)【要約】オーディオビジュアル装置１は、キャラクタ１０２が、スティック１０４Ｌ及び１０４Ｒで、それぞれ、太鼓オブジェクト１０６Ｌ及び１０６Ｒを打撃するアニメーションを表示する。この場合、オーディオビジュアル装置１は、外部から入力されるオーディオ信号ＡＬＥ，ＡＲＥを周波数分析して、将来のビートの発生タイミングを予測し、ビートの発生よりも時間ＴＡだけ前にスティック１０４Ｌ，１０４Ｒの振り下ろしを開始する。これにより、スティック１０４Ｌ，１０４Ｒによる太鼓オブジェクト１０６Ｌ，１０６Ｒの打撃と音楽のビートとを同期させることができる。
2008129837.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力される音声信号を解析して、当該音声信号の周期的な反復を検出し、当該周期的な反復の起点の発生タイミングを予測する予測手段と、
予測された前記発生タイミングに基づいて、イベントを設定する設定手段と、
設定された前記イベントに応答して、所定の制御を実行し、予測された前記発生タイミングで、所定の結果を引き起こす制御手段と、を備えるタイミング制御装置。
【請求項２】
前記設定手段は、前記所定の結果を引き起こした時から次に前記所定の結果を引き起こす時までの時間が、前記音声信号の前記周期的な反復の周期に一致するように、それぞれの前記イベントを設定する、請求項１記載のタイミング制御装置。
【請求項３】
前記所定の制御は、所定画像の制御であり、
前記制御手段は、設定された前記イベントに応答して、前記所定画像を制御し、予測された前記発生タイミングで、前記所定画像に前記所定の結果を引き起こす、請求項１又は２記載のタイミング制御装置。
【請求項４】
前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を制御し、予測された前記発生タイミングで、前記所定の結果を引き起し、
前記所定画像の変化は、位置及び／又は形態の変化を含む、請求項３記載のタイミング制御装置。
【請求項５】
前記設定手段は、予測された前記発生タイミングに基づいて、前記所定画像の変化開始タイミング、画面への出現タイミング、変化開始位置、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する、請求項３又は４記載のタイミング制御装置。
【請求項６】
前記所定の制御は、所定音の制御であり、
前記制御手段は、設定された前記イベントに応答して、前記所定音を制御し、予測された前記発生タイミングで、前記所定音に前記所定の結果を引き起こす、請求項１又は２記載のタイミング制御装置。
【請求項７】
前記設定手段は、予測された前記発生タイミングに基づいて、前記所定音の発生開始タイミング及び変化開始タイミングのうち少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する、請求項６記載のタイミング制御装置。
【請求項８】
前記所定の制御は、外部機器及び／又は外部のコンピュータプログラムの制御であり、
前記制御手段は、設定された前記イベントに応答して、前記外部機器及び／又は前記外部のコンピュータプログラムを制御し、予測された前記発生タイミングで、前記所定の結果を引き起こす、請求項１又は２記載のタイミング制御装置。
【請求項９】
前記所定の制御は、所定物体又は所定物質の制御であり、
前記制御手段は、設定された前記イベントに応答して、前記所定物体又は前記所定物質を制御し、予測された前記発生タイミングで、前記所定の結果を引き起こす、請求項１又は２記載のタイミング制御装置。
【請求項１０】
前記制御手段は、設定された前記イベントに応答して、前記所定物体又は前記所定物質の変化を制御し、予測された前記発生タイミングで、前記所定の結果を引き起し、
前記所定物体又は前記所定物質の変化は、位置及び／又は形態の変化を含む、請求項９記載のタイミング制御装置。
【請求項１１】
前記設定手段は、予測された前記発生タイミングに基づいて、前記所定物体又は前記所定物質の変化開始タイミング、出現タイミング、変化開始位置、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する、請求項９又は１０記載のタイミング制御装置。
【請求項１２】
前記設定手段は、予測された前記発生タイミングより所定時間だけ前に、前記イベントを設定し、
前記制御手段は、設定された前記イベントに応答して、前記所定の制御を開始し、前記所定時間の経過後に、前記所定の結果を引き起こす、請求項１又は２記載のタイミング制御装置。
【請求項１３】
前記所定の制御は、所定画像の制御であり、
前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を開始し、前記所定時間の経過後に、前記所定の画像に前記所定の結果を引き起こし、
前記所定画像の変化の過程は、前記音声信号に依存しない、請求項１２記載のタイミング制御装置。
【請求項１４】
前記制御手段は、前記所定画像の変化の速度を、前記音声信号に依存することなく、一定とする、請求項１３記載のタイミング制御装置。
【請求項１５】
前記予測手段は、前記音声信号の前記周期的な反復の周波数及び位相並びに前記所定時間に基づいて、前記音声信号の前記周期的な反復の起点の発生タイミングを予測する、請求項１２から１４のいずれかに記載のタイミング制御装置。
【請求項１６】
前記予測手段は、
前記音声信号を時間領域から周波数領域に変換する変換手段と、
周波数領域に変換された前記音声信号からピーク値を検出して、その周波数を、前記音声信号の前記周期的な反復の周波数とする周波数検出手段と、
所定の時計の時刻を基準として、前記音声信号のピーク値の位相を検出し、その位相を、前記音声信号の前記周期的な反復の位相とする位相検出手段と、
前記音声信号の前記周期的な反復の前記周波数及び前記位相並びに前記所定時間に基づいて、前記音声信号の前記周期的な反復の起点の発生タイミングを予測する手段と、を含む請求項１５記載のタイミング制御装置。
【請求項１７】
前記予測手段は、前記音声信号の位相の変化に応じて、前記音声信号の前記周期的な反復の起点の発生タイミングの予測結果を補正する、請求項１から１６のいずれかに記載のタイミング制御装置。
【請求項１８】
前記予測手段は、今回予測した前記周期的な反復の起点の発生タイミングと、前回予測した前記周期的な反復の起点の発生タイミングと、の差の絶対値が、前記周期的な反復の周期に第１の所定数を乗じた値より小さい場合、今回予測した前記周期的な反復の起点の発生タイミングを、より遅いタイミングに補正し、及び／又は、前記差の絶対値が、前記周期に第２の所定数を乗じた値より大きい場合、今回予測した前記周期的な反復の起点の発生タイミングを、より早いタイミングに補正し、
前記第１の所定数は、０より大きく１より小さい値であり、前記第２の所定数は、１より大きく２より小さい値である、請求項１から１７のいずれかに記載のタイミング制御装置。
【請求項１９】
前記第１の所定数は、０．５であり、前記第２の所定数は、１．５であり、
前記予測手段は、前記差の絶対値が、前記周期に前記第１の所定数を乗じた値より小さい場合、今回予測した前記周期的な反復の起点の発生タイミングを、前記周期に等しい時間だけ遅いタイミングに補正し、及び／又は、前記差の絶対値が、前記周期に前記第２の所定数を乗じた値より大きい場合、今回予測した前記周期的な反復の起点の発生タイミングを、前記周期に等しい時間だけ早いタイミングに補正する、請求項１８記載のタイミング制御装置。
【請求項２０】
前記設定手段は、前記イベントの設定時から前記所定の結果を引き起こす時までの時間が、前記音声信号の前記周期的な反復の周期に一致するように、前記イベントを設定する、請求項１又は２記載のタイミング制御装置。
【請求項２１】
前記所定の制御は、所定画像の制御であり、
前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を開始し、予測された前記発生タイミングで、前記所定の画像に前記所定の結果を引き起こす、請求項２０記載のタイミング制御装置。
【請求項２２】
前記予測手段は、前記音声信号の振幅に基づいて、前記音声信号の前記周期的な反復を検出する検出手段を含む請求項１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，２０又は２１記載のタイミング制御装置。
【請求項２３】
前記検出手段は、前記音声信号の振幅に基づいて、前記音声信号の前記周期的な反復の起点から起点までの時間を検出し、検出される前記時間の発生頻度に基づいて、前記周期的な反復の周期を決定する、請求項２２記載のタイミング制御装置。
【請求項２４】
前記検出手段は、前回予測した前記周期的な反復の起点近傍の前記音声信号の振幅に基づいて、今回予測した前記周期的な反復の起点の発生タイミングを補正する、請求項２２又は２３記載のタイミング制御装置。
【請求項２５】
前記検出手段は、前回予測した前記周期的な反復の起点を含む所定範囲内に存在する前記音声信号のうち、最も大きい振幅の発生時を起点として、今回予測した前記周期的な反復の起点の発生タイミングを補正する、請求項２４記載のタイミング制御装置。
【請求項２６】
前記音声信号は、前記音声信号を記録した外部の記録媒体又は通信回線から入力される、請求項１から２５のいずれかに記載のタイミング制御装置。
【請求項２７】
前記音声信号は、音声を電気信号に変換するマイクロフォンから入力される、請求項１から２５のいずれかに記載のタイミング制御装置。
【請求項２８】
前記所定画像は、複数表示される、請求項３，４，５，１３，１４又は２１記載のタイミング制御装置。
【請求項２９】
前記所定画像は、予測結果に基づいて順次設定される前記イベントごとに新たに用意される、請求項３，４，５，１３，１４又は２１記載のタイミング制御装置。
【請求項３０】
外部から入力される音声信号を解析して、当該音声信号の周期的な反復を検出し、当該周期的な反復の起点の発生タイミングを予測するステップと、
予測された前記発生タイミングに基づいて、イベントを設定するステップと、
設定された前記イベントに応答して、所定の制御を実行し、予測された前記発生タイミングで、所定の結果を引き起こすステップと、を含むタイミング制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、外部入力音声を解析し、解析結果に基づいて、イベントを設定するタイミングを制御するタイミング制御装置及びその関連技術に関する。
【背景技術】
【０００２】  本件出願人による音階認識方法が特許文献１に開示されている。この音階認識方法では、入力が期待される特定の周波数成分（音階）と外部入力音声とを比較することにより音階認識を行う。【０００３】
【特許文献１】特開２００２−３４１８８６
【発明の開示】
【発明が解決しようとする課題】
【０００４】  以上のように、外部から音声信号を入力して、その音声信号を解析し、解析結果に応じた処理を実行する技術は、他にも応用が考えられる。【０００５】  そこで、本発明の目的は、外部入力音声を解析して、リアルタイム処理を行いながらも、将来発生する、音声の周期的な反復の起点で、所定の結果を引き起こすことができるタイミング制御装置及びその関連技術を提供することである。
【課題を解決するための手段】
【０００６】  本発明の第１の観点によれば、タイミング制御装置は、外部から入力される音声信号を解析して、当該音声信号の周期的な反復を検出し、当該周期的な反復の起点の発生タイミングを予測する予測手段と、予測された前記発生タイミングに基づいて、イベントを設定する設定手段と、設定された前記イベントに応答して、所定の制御を実行し、予測された前記発生タイミングで、所定の結果を引き起こす制御手段と、を備える。【０００７】  この構成によれば、外部入力の音声の周期的な反復の起点（例えば、ビート）の発生タイミングを予測し、予測結果に基づいてイベントを設定するので、リアルタイム処理が可能となって、音声を一旦格納し分析した後に音声を再生してイベントを設定する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納された音声を再生するための装置は不要であり、コストの削減を図ることができる。なお、入力された音声を一旦格納し分析した後に音声を再生してイベントを設定する場合は、格納、分析、再生のために、遅延が発生し、リアルタイム処理と言えない。【０００８】  また、外部入力音声の周期的な反復の起点の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する、外部入力音声の周期的な反復の起点で、所定の結果を引き起こすことができる。【０００９】  ここで、音声（ａｕｄｉｏ）信号とは、音楽、音響、ボイス及びサウンド等の音を表す信号を意味する。また、音声信号の周期的な反復とは、例えば、音声信号のビートないしはリズム等である。音声信号の周期的な反復の起点とは、音声信号の１周期の始点を意味し、ある１周期の起点は、その前の１周期の終点に一致する。所定の結果とは、制御対象が所定状態に達することである。所定状態は、所定形態、所定位置及び所定音等を含む意味である。【００１０】  このタイミング制御装置において、前記設定手段は、前記所定の結果を引き起こした時から次に前記所定の結果を引き起こす時までの時間が、前記音声信号の前記周期的な反復の周期に一致するように、それぞれの前記イベントを設定する。【００１１】  上記タイミング制御装置において、前記所定の制御は、所定画像の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定画像を制御し、予測された前記発生タイミングで、前記所定画像に前記所定の結果を引き起こす。【００１２】  この構成によれば、リアルタイム処理を行いながらも、将来発生する、音声の周期的な反復の起点で、所定画像に所定の結果を引き起こすことができる。【００１３】  このタイミング制御装置において、前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を制御し、予測された前記発生タイミングで、前記所定の結果を引き起し、前記所定画像の変化は、位置及び／又は形態の変化を含む。ここで、「形態」とは、形状、模様及び色彩を含む意味である。【００１４】  このタイミング制御装置において、前記設定手段は、予測された前記発生タイミングに基づいて、前記所定画像の変化開始タイミング、画面への出現タイミング、変化開始位置、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する。ここで、「変化」とは、位置の変化及び形態の変化を含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。【００１５】  また、上記タイミング制御装置において、前記所定の制御は、所定音の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定音を制御し、予測された前記発生タイミングで、前記所定音に前記所定の結果を引き起こすこともできる。【００１６】  この構成によれば、リアルタイム処理を行いながらも、将来発生する、音声の周期的な反復の起点で、所定音に所定の結果を引き起こすことができる。【００１７】  このタイミング制御装置において、前記設定手段は、予測された前記発生タイミングに基づいて、前記所定音の発生開始タイミング及び変化開始タイミングのうち少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する。【００１８】  さらに、上記タイミング制御装置において、前記所定の制御は、外部機器及び／又は外部のコンピュータプログラムの制御であり、前記制御手段は、設定された前記イベントに応答して、前記外部機器及び／又は前記外部のコンピュータプログラムを制御し、予測された前記発生タイミングで、前記所定の結果を引き起こすこともできる。【００１９】  この構成によれば、リアルタイム処理を行いながらも、将来発生する、音声の周期的な反復の起点で、外部機器及び／又は外部のコンピュータプログラムに所定の結果を引き起こさせることができる。【００２０】  さらに、上記タイミング制御装置において、前記所定の制御は、所定物体又は所定物質の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定物体又は前記所定物質を制御し、予測された前記発生タイミングで、前記所定の結果を引き起こす。【００２１】  この構成によれば、リアルタイム処理を行いながらも、将来発生する、音声の周期的な反復の起点で、所定物体又は所定物質に所定の結果を引き起こすことができる。ここで、「物質」は、固定、液体及び気体を含む意味である。【００２２】  このタイミング制御装置において、前記制御手段は、設定された前記イベントに応答して、前記所定物体又は前記所定物質の変化を制御し、予測された前記発生タイミングで、前記所定の結果を引き起し、前記所定物体又は前記所定物質の変化は、位置及び／又は形態の変化を含む。ここで、「形態」とは、形状、模様及び色彩を含む意味である。【００２３】  このタイミング制御装置において、前記設定手段は、予測された前記発生タイミングに基づいて、前記所定物体又は前記所定物質の変化開始タイミング、出現タイミング、変化開始位置、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、前記イベントを設定する。ここで、「変化」とは、位置の変化及び形態の変化を含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。【００２４】  上記タイミング制御装置において、前記設定手段は、予測された前記発生タイミングより所定時間だけ前に、前記イベントを設定し、前記制御手段は、設定された前記イベントに応答して、前記所定の制御を開始し、前記所定時間の経過後に、前記所定の結果を引き起こす。【００２５】  この構成によれ��、音声信号の周期的な反復の速さ（例えば、テンポ）に依存することなく、制御開始から所定の結果を引き起こすまでの時間（「起動時間」と呼ぶこともある。）は、必ず、所定時間、つまり、一定時間となる。このため、音声信号の周期的な反復が異なっても、起動時間中及び当該時間経過時の制御を共通にでき、音声信号の周期的な反復に依存することなく、一定した演出ないしは効果を提供できる。【００２６】  例えば、音声信号が音楽の場合、楽曲のテンポに関係なく、起動時間は一定時間となる。このため、楽曲のテンポが異なっても、起動時間中及び当該時間経過時の制御を共通にでき、楽曲のテンポに依存することなく、一定した演出ないしは効果を提供できる。【００２７】  このタイミング制御装置において、前記所定の制御は、所定画像の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を開始し、前記所定時間の経過後に、前記所定の画像に前記所定の結果を引き起こし、前記所定画像の変化の過程は、前記音声信号に依存しない。【００２８】  この構成によれば、起動時間中の所定画像の変化の過程及び所定の結果は音声信号に依存しないので、音声信号の周期的な反復が異なっても、所定画像による一定した演出ないしは効果を提供できる。【００２９】  例えば、音声信号が音楽の場合、楽曲のテンポが異なっても、起動時間中の所定画像の変化の過程及び所定の結果は共通なので、楽曲のテンポに依存することなく、所定画像による一定した演出ないしは効果を提供できる。【００３０】  ここで、「変化」とは、位置の変化及び形態の変化を含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。【００３１】  このタイミング制御装置において、前記制御手段は、前記所定画像の変化の速度を、前記音声信号に依存することなく、一定とする。【００３２】  上記タイミング制御装置において、前記予測手段は、前記音声信号の前記周期的な反復の周波数及び位相並びに前記所定時間に基づいて、前記音声信号の前記周期的な反復の起点の発生タイミングを予測する。【００３３】  例えば、前記予測手段は、前記音声信号を時間領域から周波数領域に変換する変換手段と、周波数領域に変換された前記音声信号からピーク値を検出して、その周波数を、前記音声信号の前記周期的な反復の周波数とする周波数検出手段と、所定の時計の時刻を基準として、前記音声信号のピーク値の位相を検出し、その位相を、前記音声信号の前記周期的な反復の位相とする位相検出手段と、前記音声信号の前記周期的な反復の前記周波数及び前記位相並びに前記所定時間に基づいて、前記音声信号の前記周期的な反復の起点の発生タイミングを予測する手段と、を含む。【００３４】  上記タイミング制御装置において、前記予測手段は、前記音声信号の位相の変化に応じて、前記音声信号の前記周期的な反復の起点の発生タイミングの予測結果を補正する。【００３５】  この構成によれば、一連の音声信号の途中（例えば、ある楽曲の途中）で位相が変化した場合であっても、その変化に応じて予測結果が補正されるので、位相のずれに基づく予測結果への影響を回避できる。【００３６】  上記タイミング制御装置において、前記予測手段は、今回���測した前記周期的な反復の起点の発生タイミングと、前回予測した前記周期的な反復の起点の発生タイミングと、の差の絶対値が、前記周期的な反復の周期に第１の所定数を乗じた値より小さい場合、今回予測した前記周期的な反復の起点の発生タイミングを、より遅いタイミングに補正し、及び／又は、前記差の絶対値が、前記周期に第２の所定数を乗じた値より大きい場合、今回予測した前記周期的な反復の起点の発生タイミングを、より早いタイミングに補正し、前記第１の所定数は、０より大きく１より小さい値であり、前記第２の所定数は、１より大きく２より小さい値である。【００３７】  この構成によれば、今回予測した周期的な反復の起点の発生タイミングと、前回予測した周期的な反復の起点の発生タイミングと、の差が、周期的な反復の周期よりも、極端に短い場合や長い場合に、適切に発生タイミングを補正できる。【００３８】  このタイミング制御装置において、前記第１の所定数は、０．５であり、前記第２の所定数は、１．５であり、前記予測手段は、前記差の絶対値が、前記周期に前記第１の所定数を乗じた値より小さい場合、今回予測した前記周期的な反復の起点の発生タイミングを、前記周期に等しい時間だけ遅いタイミングに補正し、及び／又は、前記差の絶対値が、前記周期に前記第２の所定数を乗じた値より大きい場合、今回予測した前記周期的な反復の起点の発生タイミングを、前記周期に等しい時間だけ早いタイミングに補正する。【００３９】  この構成によれば、今回予測した周期的な反復の起点の発生タイミングが、今回の予測により本来所定の結果が引き起こされるべきタイミングよりも、前回の予測により所定の結果が引き起こされるタイミングに近くなる場合、あるいは、今回予測した周期的な反復の起点の発生タイミングが、今回の予測により本来所定の結果が引き起こされるべきタイミングよりも、次回の予測により所定の結果が引き起こされるタイミングに近くなる場合、今回予測した周期的な反復の起点の発生タイミングを、今回の予測により本来所定の結果が引き起こされるべきタイミングに一致又は近づけることができる。【００４０】  上記タイミング制御装置において、前記設定手段は、前記イベントの設定時から前記所定の結果を引き起こす時までの時間が、前記音声信号の前記周期的な反復の周期に一致するように、前記イベントを設定することもできる。【００４１】  この構成によれば、起動時間（制御開始から所定の結果を引き起こすまでの時間）は、音声信号の周期的な反復の速さ（例えば、テンポ）に依存して異なってくる。このため、音声信号の周期的な反復が異なると、起動時間中の制御も異なり、音声信号に依存して、異なる演出ないしは効果を提供できる。【００４２】  例えば、音声信号が音楽の場合、起動時間は、楽曲のテンポに依存する。このため、楽曲のテンポが異なると、起動時間中の制御も異なり、楽曲ごとに異なる演出ないしは効果を提供できる。【００４３】  このタイミング制御装置において、前記所定の制御は、所定画像の制御であり、前記制御手段は、設定された前記イベントに応答して、前記所定画像の変化を開始し、予測された前記発生タイミングで、前記所定の画像に前記所定の結果を引き起こす��【００４４】  この構成によれば、起動時間は、音声信号の周期的な反復の速さ（例えば、テンポ）に依存して異なってくる。このため、音声信号の周期的な反復が異なると、起動時間中の所定画像の制御も異なり、音声信号に依存して、所定画像による、異なる演出ないしは効果を提供できる。【００４５】  例えば、音声信号が音楽の場合、起動時間は、楽曲のテンポに依存する。このため、楽曲のテンポが異なると、起動時間中の所定画像の制御も異なり、所定画像による、楽曲ごとに異なる演出ないしは効果を提供できる。【００４６】  ここで、「変化」とは、位置の変化及び形態の変化を含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。【００４７】  上記タイミング制御装置において、前記予測手段は、前記音声信号の振幅に基づいて、前記音声信号の前記周期的な反復を検出する検出手段を含む。【００４８】  この構成によれば、音声信号の振幅に基づいて、音声信号の周期的な反復を検出するので、周波数分析を行って検出する場合と比較して、処理負荷を軽減でき、ひいては、ソフトウェア及び／又はハードウェアの削減が可能となる。【００４９】  このタイミング制御装置において、前記検出手段は、前記音声信号の振幅に基づいて、前記音声信号の前記周期的な反復の起点から起点までの時間を検出し、検出される前記時間の発生頻度に基づいて、前記周期的な反復の周期を決定する。【００５０】  この構成によれば、検出される、音声信号の周期的な反復の起点から起点までの時間の発生頻度、つまり、統計結果に基づいて、音声信号の周期が決定される。このため、信頼性の高い安定した周期を決定できる。【００５１】  このタイミング制御装置において、前記検出手段は、前回予測した前記周期的な反復の起点近傍の前記音声信号の振幅に基づいて、今回予測した前記周期的な反復の起点の発生タイミングを補正する。【００５２】  この構成によれば、前回予測した周期的な反復の起点の発生タイミングと、音声信号の実際の周期的な反復の起点の発生タイミングと、のずれ（誤差）を、今回の予測で補正するので、当該ずれの蓄積を極力除去できる。【００５３】  このタイミング制御装置において、前記検出手段は、前回予測した前記周期的な反復の起点を含む所定範囲内に存在する前記音声信号のうち、最も大きい振幅の発生時を起点として、今回予測した前記周期的な反復の起点の発生タイミングを補正する。【００５４】  上記タイミング制御装置において、前記音声信号は、前記音声信号を記録した外部の記録媒体又は通信回線から入力される。【００５５】  また、上記タイミング制御装置において、前記音声信号は、音声を電気信号に変換するマイクロフォンから入力されてもよい。【００５６】  上記タイミング制御装置において、前記所定画像は、複数表示される。【００５７】  この構成によれば、オーティオ信号の周期的な反復の周期の長短に関係なく、所定の結果を引き起こす時を周期的な反復の起点に合わせることができる。例えば、全てのイベントに共通に、１つの所定画像を表示する場合を想定する。周期的な反復の周期が短すぎる場合、イベントから次のイベントまでの時間も短くなり、そうなれば、あるイベントに対応する所定の結果���引き起こされる前に、次のイベントが設定されてしまうことも発生する。つまり、あるイベントに対して所定画像が所定の結果を引き起こす前に、所定画像は当該次に設定されたイベントに応答した制御を開始されなければならい。その結果、周期的な反復の起点で所定の結果を引き起こすことができなくなる。【００５８】  上記タイミング制御装置において、前記所定画像は、予測結果に基づいて順次設定される前記イベントごとに新たに用意されることもできる。【００５９】  この構成によれば、オーティオ信号の周期的な反復の周期の長短に関係なく、所定の結果を引き起こす時を周期的な反復の起点に合わせることができる。例えば、全てのイベントに共通に、１つの所定画像を使用する場合を想定する。周期的な反復の周期が短すぎる場合、イベントから次のイベントまでの時間も短くなり、そうなれば、あるイベントに対応する所定の結果が引き起こされる前に、次のイベントが設定されてしまうことも発生する。つまり、あるイベントに対して所定画像が所定の結果を引き起こす前に、所定画像は当該次に設定されたイベントに応答した制御を開始されなければならい。その結果、周期的な反復の起点で所定の結果を引き起こすことができなくなる。【００６０】  本発明の第２の観点によれば、タイミング制御方法は、外部から入力される音声信号を解析して、当該音声信号の周期的な反復を検出し、当該周期的な反復の起点の発生タイミングを予測するステップと、予測された前記発生タイミングに基づいて、イベントを設定するステップと、設定された前記イベントに応答して、所定の制御を実行し、予測された前記発生タイミングで、所定の結果を引き起こすステップと、を含む。この構成によれば、上記第１の観点によるタイミング制御装置と同様の効果を奏する。【００６１】  本発明の第３の観点によれば、タイミング制御プログラムは、上記第２の観点によるタイミング制御方法を実行するためのコンピュータプログラムである。その効果は、第１の観点によるタイミング制御装置と同様である。【００６２】  本発明の第４の観点によれば、記録媒体は、上記第３の観点によるタイミング制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。その効果は、第１の観点によるタイミング制御装置と同様である。【００６３】  記録媒体には、例えば、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。
【図面の簡単な説明】
【００６４】  本発明の新規な特徴は、特許請求の範囲に記載されている。しかしながら、発明そのもの及びその他の特徴と効果は、添付図面を参照して具体的な実施例の詳細な説明を読むことにより容易に理解される。【００６５】
【図１】本発明の実施の形態１によるオーディオビジュアルシステムにより映し出される画面の例示図である。
【図２】本発明の実施の形態１によるオーディオビジュアルシステムの電気的構成を示す図である。
【図３】図２のオーディオ回路５の回路図である。
【図４】イベントＥＶｎの設定タイミングの決定方法の説明図である。
【図５】早くイベントＥＶｎを設定した時の次のイベントＥＶｎ＋１の設定タイミングの決定方法の説明図である。
【図６】遅くイベントＥＶｎを設定した時の次のイベントＥＶｎ＋１の設定タイミングの決定方法の説明図である。
【図７】イベント設定時間Ｘの補正処理の説明図である。
【図８】図２のプロセッサ３の全体的な処理の流れを示すフローチャートである。
【図９】図８のステップＳ３の音楽のビートの周期Ｂを抽出する処理の流れを示すフローチャートである。
【図１０】図８のステップＳ５の時間ｔＦをカウントする処理の流れを示すフローチャートである。
【図１１】図８のステップＳ７の音楽のビートの位相Ｐを検出する処理の流れを示すフローチャートである。
【図１２】図８のステップＳ１１のイベント設定時間Ｘを算出する処理の流れを示すフローチャートである。
【図１３】図８のステップＳ１３のイベントＥＶｎを設定する処理の流れを示すフローチャートである。
【図１４】図９のステップＳ３１の周波数スペクトラム算出処理の流れを示すフローチャートである。
【図１５】図８のステップＳ１２のアニメーション制御処理の流れを示すフローチャートである。
【図１６】本発明の実施の形態２によるオーディオビジュアルシステムの電気的構成を示す図である。
【図１７】（ａ）図１６のＭＣＵ３５に入力される音声信号ＡＬＲの波形図である。（ｂ）図１７（ａ）の波形から得られた差分音声信号Ｄｆの波形図である。
【図１８】（ａ）発生頻度テーブルの例示図である。（ｂ）外部ビート間隔Ｔｖの発生頻度の分布図である。
【図１９】内部ビートの生成方法の詳細な説明図である。
【図２０】図１６のＭＣＵ３５による音声データ取得処理の流れを示すフローチャートである。
【図２１】図１６のＭＣＵ３５による外部ビート検出処理の流れを示すフローチャートである。
【図２２】図１６のＭＣＵ３５による内部ビート生成処理の流れを示すフローチャートである。
【図２３】図１６のプロセッサ３による処理の流れを示すフローチャートである。
【図２４】図２３のステップＳ５０２の処理の流れを示すフローチャートである。
【図２５】図２３のステップＳ５０４の処理の流れを示すフローチャートである。
【符号の説明】
【００６６】１，２…オーディオビジュアル装置、３…プロセッサ、５…オーディオ回路、７…外部メモリ、９…デジタルオーディオプレーヤ、１１…テレビジョンモニタ、３５…ＭＣＵ。
【発明を実施するための最良の形態】
【００６７】  以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。なお、本明細書及び図面において、「＊」は乗算を表す。【００６８】  （実施の形態１）【００６９】  図１は、本発明の実施の形態１によるオーディオビジュアルシステムにより映し出される画面１００の例示図である。図１を参照して、このオーディオビジュアルシステムにより映し出される画面１００は、人を模したキャラクタ１０２、キャラクタ１０２の左手に持たれたスティック１０４Ｌ、キャラクタ１０２の右手に持たれたスティック１０４Ｒ、太鼓を模した太鼓オブジェクト１０６Ｌ、及び、太鼓を模した太鼓オブジェクト１０６Ｒを含む。なお、スティック１０４Ｌ及び１０４Ｒを包括してスティック１０４と表記し、太鼓オブジェクト１０６Ｌ及び１０６Ｒを包括して太鼓オブジェクト１０６と表記する。ここで、画面上において、水平軸をｘ軸、垂直軸をｙ軸とし、原点を画面中央とする。【００７０】  このオーディオビジュアルシステムは、キャラクタ１０２が、スティック１０４Ｌ及び１０４Ｒで、それぞれ、交互に太鼓オブジェクト１０６Ｌ及び１０６Ｒを打撃するアニメーションを表示する。この場合、オーディオビジュアルシステムは、外部から入力されるオーディオ信号ＡＬＥ，ＡＲＥを周波数分析して、そのオーディオ信号ＡＬＥ，ＡＲＥが表す音楽のビート（ないしはリズム）に合わせて、スティック１０４Ｌ及び１０４Ｒで太鼓オブジェクト１０６Ｌ及び１０６Ｒを打撃するアニメーションを表示する。【００７１】  ここで、本明細書において、ビート及びリズムは、オーディオ信号の周期的な反復を表す用語として使用している。一般に、ビートは、拍と呼ばれる。なお、ビートは、オーディオ信号の周期的な反復の起点を表す用語としても使用する。オーディオ信号の周期的な反復の起点とは、オーディオ信号の１周期の始点を意味し、ある１周期の起点は、その前の１周期の終点に一致する。【００７２】  具体的には、本実施の形態では、スティック１０４が太鼓オブジェクト１０６に到達するタイミングが音楽のビートと合うように、アニメーションを制御する。従って、スティック１０４Ｌが太鼓オブジェクト１０６Ｌに到達した時から、スティック１０４Ｒが太鼓オブジェクト１０６Ｒに到達した時までの時間が、音楽のビートの周期に一致する。なぜなら、交互に太鼓オブジェクト１０６Ｌ及び１０６Ｒが打撃されるからである。【００７３】  ここで、キャラクタ１０２がスティック１０４を振り上げた状態から、スティック１０４を振り下ろして、太鼓オブジェクト１０６に到達するまでの時間を一定時間ＴＡとする。従って、音楽のビートの発生時に、スティック１０４の振り下ろしを開始しても、スティック１０４が太鼓オブジェクト１０６に到達するタイミングは音楽のビートと合わない。従って、音楽のビートよりも、時間ＴＡだけ前にスティック１０４の振り下ろしを開始する必要がある。本実施の形態では、スティック１０４の振り下ろしを開始するタイミングの設定をイベントＥＶｎの設定と呼ぶことにし、このイベントＥＶｎを適切に設定するために、オーディオ信号ＡＬＥ���ＡＲＥの周波数分析を行う。【００７４】  図２は、本発明の実施の形態１によるオーディオビジュアルシステムの電気的構成を示す図である。図２を参照して、このオーディオビジュアルシステムは、オーディオビジュアル装置１及びそれに接続されるテレビジョンモニタ１１を備える。オーディオビジュアル装置１は、プロセッサ３、外部メモリ７、及びオーディオ回路５を含む。【００７５】  プロセッサ３には、外部メモリ７が接続される。外部メモリ７は、例えば、フラッシュメモリ、ＲＯＭ、及び／又はＲＡＭ等により構成される。外部メモリ７は、プログラム領域、画像データ領域、および音声データ領域を含む。プログラム領域には、後述のフローチャートに示す各種処理をプロセッサ３に実行させる制御プログラムが格納される。画像データ領域には、テレビジョンモニタ１１に表示される画面を構成するすべての画像データや、他の必要な画像データが格納されている。音声データ領域には、効果音等ための音声データが格納されている。プロセッサ３は、プログラム領域の制御プログラムを実行して、画像データ領域の画像データ及び音声データ領域の音声データを読み出し、必要な処理を施して、ビデオ信号ＶＤ並びにオーディオ信号ＡＬｓ及びＡＲｓを生成する。ビデオ信号ＶＤは、ＡＶケーブルを通して、テレビジョンモニタ１１に与えられる。【００７６】  プロセッサ３が生成したオーディオ信号ＡＬｓ及びＡＲｓ、並びに、デジタルオーディオプレーヤ９から入力されるオーディオ信号ＡＬＥ及びＡＲＥは、オーディオ回路５に与えられ、ミキシングされて、オーディオ信号ＡＬＭ及びＡＲＭとしてテレビジョンモニタ１１のスピーカに出力される。また、デジタルオーディオプレーヤ９から入力されるオーディオ信号ＡＬＥ及びＡＲＥは、ミキシングされ、オーディオ信号ＡＵＡとして、プロセッサ３のＡ／Ｄコンバータに入力される。プロセッサ３は、オーディオ信号ＡＵＡに対して周波数分析を実行する。また、プロセッサ３は、オーディオ回路５の制御信号Ｓをオーディオ回路５に与える。【００７７】  プロセッサ３は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、グラフィックスプロセサ、サウンドプロセサおよびＤＭＡコントローラ等の各種機能ブロックを含むとともに、アナログ信号を取り込むときに用いられるＡ／Ｄコンバータ、赤外線信号やキー操作信号のような入力デジタル信号を受けかつ出力デジタル信号を外部機器に与える入出力制御回路、及び内部メモリ等を含む。【００７８】  ＣＰＵは、外部メモリ７に格納された制御プログラムを実行する。Ａ／Ｄコンバータからのデジタル信号および入出力制御回路からのデジタル信号はＣＰＵに与えられ、ＣＰＵは、制御プログラムに従って、それらの信号に応じて必要な演算を実行する。グラフィックスプロセサは、外部メモリ７に格納された画像データに対して、ＣＰＵの演算結果によって必要になったグラフィック処理を実行して、テレビジョンモニタ１１に表示する画像を表すビデオ信号ＶＤを生成する。サウンドプロセサは、外部メモリ７に格納された音声データに対して、ＣＰＵの演算結果によって必要になったサウンド処理を実行して、効果音等を表すオーディオ信号ＡＬ��，ＡＲｓを生成する。内部メモリは、例えば、ＲＡＭにより構成され、ワーキング領域、カウンタ領域、レジスタ領域、テンポラリデータ領域、及び／又はフラグ領域等として利用される。【００７９】  図３は、図２のオーディオ回路５の回路図である。図３を参照して、このオーディオ回路５は、ミキシング回路２０、ローパスフィルタ（ＬＰＦ）２２、包絡線検波回路２４、アンプ２６、アンプ２８Ｌ，２８Ｒ、ボリュームコントロール回路１０、ミキシング回路３２Ｌ，３２Ｒ、並びにアンプ３４Ｌ，３４Ｒを含む。【００８０】  デジタルオーディオプレーヤ９から入力されたアナログオーディオ信号ＡＬＥ及びＡＲＥは、ミキシング回路２０でミキシングされて、ローパスフィルタ２２に与えられ、その低周波成分（例えば１００Ｈｚ以下）が包絡線検波回路２４に与えられる。包絡線検波回路２４は、入力された低周波成分の包絡線検波を行い、アンプ２６に出力する。アンプ２６は、包絡線検波回路２４から出力された信号を増幅して、オーディオ信号ＡＵＡとしてプロセッサ３に与える。【００８１】  一方、デジタルオーディオプレーヤ９から入力されたアナログオーディオ信号ＡＬＥ及びＡＲＥは、それぞれ、アンプ２８Ｌ及び２８Ｒで増幅されて、ボリュームコントロール回路１０に与えられる。ボリュームコントロール回路１０は、プロセッサ３からの制御信号Ｓに従って、入力されたアナログオーディオ信号ＡＬＥ及びＡＲＥのボリュームコントロールを行い、それぞれ、ミキシング回路３２Ｌ及び３２Ｒに出力する。ミキシング回路３２Ｌは、プロセッサ３が生成したアナログオーディオ信号ＡＬｓと、ボリュームコントロールされたオーディオ信号ＡＬＥとをミキシングしてアンプ３４Ｌに出力する。アンプ３４Ｌは、入力されたオーディオ信号を増幅して、オーディオ信号ＡＬＭとして出力する。ミキシング回路３２Ｒは、プロセッサ３が生成したアナログオーディオ信号ＡＲｓと、ボリュームコントロールされたオーディオ信号ＡＲＥとをミキシングしてアンプ３４Ｒに出力する。アンプ３４Ｒは、入力されたオーディオ信号を増幅して、オーディオ信号ＡＲＭとして出力する。【００８２】  次に、イベントＥＶｎの設定タイミングの決定方法について、図面を参照しながら説明する。なお、図４〜図７の例では、到達時間ＴＡを９０ビデオフレームとする。後述するが、テレビ画面は、ビデオ同期信号に基づく割り込みに同期して更新される。そして、この割り込みは、一定時間ごとに発生する。この１一定時間を１ビデオフレームと呼ぶ。本実施の形態では、例えば、１ビデオフレームを１／６０秒とする。【００８３】  図４は、イベントＥＶｎの設定タイミングの決定方法の説明図である。図４（ａ）に示すように、プロセッサ３は、デジタルオーディオプレーヤ９に基づくオーディオ信号ＡＵＡを周波数分析して、そのオーディオ信号ＡＵＡが表す音楽のビートの周期Ｂを求める。図４〜図７の例では、周期Ｂは、５０ビデオフレームとする。図中、破線同士の間隔は、１０ビデオフレームとする。【００８４】  図４（ｂ）に示すように、プロセッサ３は、時間０からスタートし、時間（Ｂ−１）までカウントし、再び、時間０に戻る時計ｔＦを有している。【００８５】  図４（ｃ）に示すように、プロセッサ３が、時間ｔＦ＝０からＺ（＝３０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定したとする（黒の逆三角形ＥＶｎ）。イベントＥＶｎの設定は、キャラクタ１０２のスティック１０４の振り下ろし開始のタイミングに相当する。従って、プロセッサ３は、イベントＥＶｎが設定された時に、スティック１０４を振り下ろすアニメーションを開始する。そして、スティック１０４は、イベントＥＶｎの設定から時間ＴＡ（＝９０ビデオフレーム）後に、太鼓オブジェクト１０６に到達する（黒の逆三角形ＡＴ）。イベントＥＶｎは音楽の第Ｙ番目のビートＹに合わせたイベントである。【００８６】  図４（ｄ）及び図４（ｅ）に示すように、プロセッサ３は、イベントＥＶｎの設定時からＸビデオフレーム後に、ｎ＋１番目のイベントＥＶｎ＋１を設定する。この場合、Ｘ＝Ｂ＝５０である。なぜなら、音楽のビートの周期は、周期Ｂだからである。プロセッサ３は、イベントＥＶｎ＋１が設定された時に、スティック１０４を振り下ろすアニメーションを開始する。そして、スティック１０４は、イベントＥＶｎ＋１の設定から時間ＴＡ（＝９０ビデオフレーム）後に、太鼓オブジェクト１０６に到達する（黒の逆三角形ＡＴ）。イベントＥＶｎ＋１は音楽の第Ｙ＋１番目のビートＹ＋１に合わせたイベントである。【００８７】  ところで、図４（ｃ）から明らかなように、時計ｔＦの基準時０からイベントＥＶｎの設定までの時間Ｚは次式で表される。【００８８】Ｚ＝Ｂ−（Ｒ−Ｐ）  …（１）【００８９】  Ｐは、時計ｔＦの基準時０に対する音楽のビートのずれ、つまり、時計ｔＦの基準時０に対する音楽のビートの位相を表す。Ｒは、到達時間ＴＡを周期Ｂで割った余りである。【００９０】  スティック１０４の到達時間ＴＡは一定であるので、音楽のビートの周期Ｂ及び位相Ｐを求めることにより、音楽のビートの発生タイミングを予測できる。従って、予測した音楽のビート、つまり、音楽の未来のビートに合わせて、イベントＥＶｎの設定を行うことができる。【００９１】  さて、図４（ｃ）の例では、イベントＥＶｎを適切なタイミングで設定している。しかし、イベントＥＶｎの設定タイミングに誤差Ｅが発生する場合もある。この場合は、次のイベントＥＶｎ＋１の設定タイミングを調整しなければならない。もし、調整しない場合は、誤差Ｅが蓄積されて、スティック１０４の太鼓オブジェクト１０６への到達タイミングが音楽のビートとずれてきてしまう。そこで、以下の調整を行う。【００９２】  まず、早くイベントＥＶｎを設定した時の調整について説明する。このようなケースは、音楽のビートの位相Ｐが変化し大きくなったときに発生する。以下では、位相Ｐが２０ビデオフレーム（図４の場合）から３０ビデオフレームに変化した例を挙げる。【００９３】  図５は、早くイベントＥＶｎを設定した時の次のイベントＥＶｎ＋１の設定タイミングの決定方法の説明図である。図５（ｃ）に示すように、プロセッサ３が、時間ｔＦ＝０からＮ（＝３０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定したとする（黒の逆三角形ＥＶｎ）。位相Ｐが変化し大きくなったので、時間ｔＦ＝０からＺ（＝４０）ビデオフレーム後に、ｎ番目のイベント��Ｖｎを設定しなければならないところ、１０ビデオフレーム早く、イベントＥＶｎを設定している。つまり、設定の誤差Ｅがプラス１０ビデオフレームである。【００９４】  図５（ｃ）から明らかなように、早くイベントＥＶｎを設定した場合でも、上記の式（１）及び次式が成立する。【００９５】Ｅ＝Ｚ−Ｎ＝Ｂ−（Ｒ−Ｐ）−Ｎ＝Ｂ−Ｒ＋Ｐ−Ｎ  …（２）【００９６】  Ｎは、時計ｔＦの基準時０からイベントＥＶｎの設定までの実際の時間である。Ｚは、時計ｔＦの基準時０からイベントＥＶｎの設定までの正しい時間である。【００９７】  イベントＥＶｎを早く設定した場合に、イベントＥＶｎの設定時からＸ（＝Ｂ＝５０）ビデオフレーム後に、次のイベントＥＶｎ＋１を設定すると、当然、イベントＥＶｎ＋１の設定も早くなる。従って、イベントＥＶｎ＋１の設定時を遅らせる必要がある。この場合、上記例では、イベントＥＶｎの設定が、誤差Ｅ（＝１０）だけ早くなされているので、誤差Ｅ（＝１０）だけ、次のイベントＥＶｎ＋１の設定を遅らせる。つまり、早くイベントＥＶｎを設定した場合、イベント発生時間Ｘを式で表すと、次の通りである。【００９８】Ｘ＝Ｂ＋Ｅ  …（３）【００９９】  なお、図４の例では、Ｚ＝Ｎであり、Ｅ＝０である。つまり、イベントＥＶｎの設定時は正しい。従って、イベント発生時間Ｘは、次式のようになる。【０１００】Ｘ＝Ｂ  …（４）【０１０１】  次に、遅くイベントＥＶｎを設定した時の調整について説明する。このようなケースは、音楽のビートの位相Ｐが変化し小さくなったときに発生する。以下では、位相Ｐが２０ビデオフレーム（図４の場合）から１０ビデオフレームに変化した例を挙げる。【０１０２】  図６は、遅くイベントＥＶｎを設定した時の次のイベントＥＶｎ＋１の設定タイミングの決定方法の説明図である。図６（ｃ）に示すように、プロセッサ３が、時間ｔＦ＝０からＮ（＝３０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定したとする（黒の逆三角形ＥＶｎ）。位相Ｐが変化し小さくなったので、時間ｔＦ＝０からＺ（＝２０）ビデオフレーム後に、ｎ番目のイベントＥＶｎを設定しなければならないところ、１０ビデオフレーム遅く、イベントＥＶｎを設定している。つまり、設定の誤差Ｅがマイナス１０ビデオフレームである。【０１０３】  図６（ｃ）から明らかなように、遅くイベントＥＶｎを設定した場合でも、上記した式（１）及び式（２）が成立する。【０１０４】  イベントＥＶｎを遅く設定した場合に、イベントＥＶｎの設定時からＸ（＝Ｂ＝５０）ビデオフレーム後に、次のイベントＥＶｎ＋１を設定すると、当然、イベントＥＶｎ＋１の設定も遅くなる。従って、イベントＥＶｎ＋１の設定時を早める必要がある。この場合、上記例では、イベントＥＶｎの設定が、誤差Ｅ（＝−１０）だけ遅くなされているので、誤差Ｅ（＝−１０）だけ、次のイベントＥＶｎ＋１の設定を早める。この場合のイベント設定時間Ｘは、式（３）により導出される。なお、誤差Ｅの符合は、遅くイベントＥＶｎを設定した時はマイナスであり、早くイベントＥＶｎを設定した時はプラスである。【０１０５】  ところで、イベント設定時間Ｘが、不適切に長く設定された場合や不適切に短く設定された場合、ビー��に合わせてスティックが振られないケースが発生する。このため、本実施の形態では、イベント設定時間Ｘを下記のように補正する。【０１０６】  ［１］（１／２）＊Ｂ＜Ｘ＜（３／２）＊Ｂの場合  …（５）【０１０７】  この場合、補正をせずに、イベント設定時間Ｘを設定する。【０１０８】  ［２］Ｘ≦（１／２）＊Ｂの場合  …（６）【０１０９】Ｘ←Ｘ＋Ｂ  …（７）【０１１０】  式（７）による補正後のＸが、式（５）を満たすまで、式（７）による補正を繰り返し、式（５）を満たした補正後のＸを最終的なイベント設定時間とする。【０１１１】  ［３］（３／２）＊Ｂ≦Ｘの場合  …（８）【０１１２】Ｘ←Ｘ−Ｂ  …（９）【０１１３】  式（９）による補正後のＸが、式（５）を満たすまで、式（９）による補正を繰り返し、式（５）を満たした補正後のＸを最終的なイベント設定時間とする。【０１１４】  次に、式（５）〜式（９）を用いた補正処理について図面を参照して説明する。【０１１５】  図７は、イベント設定時間Ｘの補正処理の説明図である。図７（ｃ）及び図７（ｄ）に示すように、イベントＥＶｎの設定時に、イベント設定時間Ｘ＝（３／２）＊５０＝７５を設定したとする。すると、図７（ｅ）に示すように、イベントＥＶｎの設定時から７５ビデオフレーム後に、イベントＥＶｎ＋１が設定される。イベントＥＶｎは未来のビートＹに合わせたものであり、イベントＥＶｎ＋１は、未来のビートＹ＋１に合わせたものである。しかし、図７（ｅ）のイベントＥＶｎ＋１に基づく到達時間ＡＴ（黒の逆三角形ＡＴ）は、ビートＹ＋１より、２５ビデオフレーム遅れている。【０１１６】  一方、図７（ｃ）及び図７（ｆ）に示すように、イベントＥＶｎの設定時に、イベント設定時間Ｘ＝（１／２）＊５０＝２５を設定したとする。すると、図７（ｇ）に示すように、イベントＥＶｎの設定時から２５ビデオフレーム後に、イベントＥＶｎ＋１が設定される。しかし、図７（ｇ）のイベントＥＶｎ＋１に基づく到達時間ＡＴ（黒の逆三角形ＡＴ）は、ビートＹ＋１より、２５ビデオフレーム早い。【０１１７】  つまり、Ｘが式（５）を満たす場合は、合わせるべき未来のビートに対して、誤差が±２５ビデオフレーム内に収まる。この場合は、到達時間ＡＴは、前後のビートＹ，Ｙ＋２よりも、合わせるべきビートＹ＋１の発生時間に近い。このため、Ｘが式（５）の条件を満たす場合は、イベント設定時間Ｘは、ビートＹ＋１に合わせたイベントと言える。ところが、式（５）の条件をＸが満たさず、式（８）の範囲に属する場合、実質的に、イベント設定時間Ｘは、ビートＹ＋１に合わせたものと言えない。例えば、図７（ｈ）に示すように、イベント設定時間Ｘ＝１００を設定したとする。すると、図７（ｉ）に示すように、イベントＥＶｎの設定時から１００ビデオフレーム後に、イベントＥＶｎ＋１が設定される。この場合、図７（ｉ）のイベントＥＶｎ＋１に基づく到達時間ＡＴは、ビートＹ＋１より、５０ビデオフレーム遅れている。これでは、イベントＥＶｎ＋１は、もはやビートＹ＋２に合わせたものと言ったほうが現実的である。そこで、図７（ｊ）及び図７（ｋ）に示すように、Ｘに式（９）の補正を行い、イベントＥＶｎ＋１を設定する。【０１１８】  一方���Ｘが式（５）の条件を満たさず、式（６）の範囲に属する場合も同様に、実質的に、イベント設定時間Ｘは、ビートＹ＋１に合わせたものと言えない。例えば、図７（ｌ）に示すように、イベント設定時間Ｘ＝１０を設定したとする。すると、図７（ｍ）に示すように、イベントＥＶｎの設定時から１０ビデオフレーム後に、イベントＥＶｎ＋１が設定される。この場合、図７（ｍ）のイベントＥＶｎ＋１に基づく到達時間ＡＴは、ビートＹ＋１より、４０ビデオフレーム早い。これでは、イベントＥＶｎ＋１は、もはやビートＹに合わせたものと言ったほうが現実的である。そこで、図７（ｎ）及び図７（ｏ）に示すように、式（７）の補正を行い、イベントＥＶｎ＋１を設定する。【０１１９】  次に、フローチャートを用いてプロセッサ３の処理の流れを説明する。【０１２０】  図８は、図２のプロセッサ３の全体的な処理の流れを示すフローチャートである。図８を参照して、ステップＳ１にて、プロセッサ３は、システムの初期化を実行する。このステップＳ１において、変数、カウンタ、タイマ、フラグ、及び時計ｔＦが初期化される。【０１２１】  ステップＳ３にて、プロセッサ３は、デジタルオーディオプレーヤ９からの音楽のビートの周期Ｂの抽出処理を実行する。ステップＳ５にて、プロセッサ３は、時間ｔＦのカウント処理、つまり、時計ｔＦの計時処理を実行する。ステップＳ７にて、プロセッサ３は、デジタルオーディオプレーヤ９からの音楽のビートの位相Ｐの検出処理を実行する。ステップＳ９にて、プロセッサ３は、イベント設定時間Ｘを算出する。ステップＳ１１にて、プロセッサ３は、イベントＥＶｎを設定する。ステップＳ１２にて、プロセッサ３は、ステップＳ１１でのイベントＥＶｎの設定に従って、キャラクタ１０２がスティック１０４を振るアニメーションを制御する。【０１２２】  ステップＳ１３にて、プロセッサ３は、ビデオ同期信号による割り込み待ちか否かを判断し、割り込み待ちの状態であればステップＳ１３に戻り、割り込み待ちの状態でない場合は、つまり、ビデオ同期信号による割り込みがあれば、ステップ１５にて、ステップＳ３〜Ｓ１２の処理結果に従って、テレビジョンモニタ１１に表示する画像を更新すると共に、ステップＳ１７にて、効果音等の音声処理を実行して、ステップＳ３に進む。【０１２３】  図９は、図８のステップＳ３の音楽のビートの周期Ｂを抽出する処理の流れを示すフローチャートである。図９を参照して、ステップＳ３１にて、プロセッサ３は、デジタルオーディオプレーヤ９（オーディオ回路５）からのオーディオ信号ＡＵＡをフーリエ変換して、時間領域から周波数領域に変換し、周波数スペクトラムを求める。ステップＳ３３にて、プロセッサ３は、周波数スペクトラムの最大ピーク値（最大波高値）を検出する。ステップＳ３５にて、プロセッサ３は、最大ピーク値の周波数Ｆｐの逆数を、音楽のビートの周期Ｂに設定する。【０１２４】  図１０は、図８のステップＳ５の時間ｔＦをカウントする処理の流れを示すフローチャートである。図１０を参照して、ステップＳ５１にて、プロセッサ３は、時計ｔＦがＢ−１に一致したか否かを判断し、一致した場合時計ｔＦを０に戻すべくステップＳ５３に進み、一致し���い場合ステップＳ５５に進む。Ｂはビートの周期である。ステップＳ５３では、プロセッサ３は、時計ｔＦを０に戻しリターンする。一方、ステップＳ５５では、プロセッサ３は、時計ｔＦを１つインクリメントしてリターンする。【０１２５】  図１１は、図８のステップＳ７の音楽のビートの位相Ｐを検出する処理の流れを示すフローチャートである。図１１を参照して、ステップＳ７１にて、プロセッサ３は、音楽のビートの周期Ｂと同じ数のバッファを内部メモリに用意する。なお、周期Ｂの単位はビデオフレームであり、周期Ｂは自然数として求められる（ステップＳ３）。ステップＳ７３にて、プロセッサ３は、時間ｔＦのオーディオ信号ＡＵＡの移動平均ＭＡを算出する。ステップＳ７５にて、プロセッサ３は、時間ｔＦに対応するバッファに、移動平均ＭＡを格納する。ステップＳ７７にて、プロセッサ３は、バッファに格納された移動平均ＭＡから最大ピーク値を検出する。ステップＳ７９にて、プロセッサ３は、最大ピーク値の時間ｔＦを位相Ｐに設定してリターンする。【０１２６】  図１２は、図８のステップＳ１１のイベント設定時間Ｘを算出する処理の流れを示すフローチャートである。図１２を参照して、ステップＳ９０にて、プロセッサ３は、イベント設定時間Ｘからのカウントダウンを実行するカウンタＣＥが０になったか否かを判断して、０になった場合はステップＳ９１に進み、０でない場合はリターンする。ステップＳ９１にて、プロセッサ３は、到達時間ＴＡ（図１参照）を周期Ｂで割った余り（端数）Ｒを求める。ステップＳ９３にて、プロセッサ３は、式（３）により、イベント設定時間Ｘを求める。【０１２７】  ステップＳ９５にて、プロセッサ３は、Ｘが式（６）に該当するか否かを判断し、該当しない場合ステップＳ９９に進み、該当する場合ステップＳ９７に進む。ステップＳ９７では、プロセッサ３は、式（７）によりＸを補正して、ステップＳ９５に戻る。ステップＳ９９では、プロセッサ３は、Ｘが式（８）に該当するか否かを判断して、該当しない場合は、式（５）を満たすことを意味するので、Ｘを補正せずにリターンし、該当する場合はステップＳ１０１に進む。ステップＳ１０１では、プロセッサ３は、式（９）によりＸを補正してステップＳ９９に戻る。【０１２８】  図１３は、図８のステップＳ１３のイベントＥＶｎを設定する処理の流れを示すフローチャートである。図１３を参照して、ステップＳ１１１にて、プロセッサ３は、イベントフラグをオフにする。イベントフラグのオフは、イベントＥＶｎが設定されていないことに相当する。ステップＳ１１３にて、プロセッサ３は、カウンタＣＥが０になったか否かを判断し、０になっていない場合はステップＳ１１９に進み、０の場合ステップＳ１１５に進む。ステップＳ１１５にて、プロセッサ３は、イベントフラグをオンにしてイベントＥＶｎを設定する。ステップＳ１１７にて、プロセッサ３は、カウンタＣＥに、イベント設定時間Ｘを代入する。ステップＳ１１９にて、プロセッサ３は、カウンタＣＥを１つデクリメントしてリターンする。【０１２９】  図１４は、図９のステップＳ３１の周波数スペクトラム算出処理の流れを示すフローチャートである。図１４を参照して、ステップＳ１３１では、プロセッサ３は、次式を実行する。添え字ｋ＝０〜Ｋ−１であり、Ｋはサンプル数を表す。【０１３０】サイン成分ＳＷ←周波数Ｆｋのｓｉｎθ×オーディオ信号ＡＵＡ  …（１０）【０１３１】  ステップＳ１３３にて、プロセッサ３は、サイン成分ＳＷの移動平均ＭＳを算出する。ステップＳ１３５にて、プロセッサ３は、次式を実行する。【０１３２】コサイン成分ＣＷ←周波数Ｆｋのｃｏｓθ×オーディオ信号ＡＵＡ  …（１１）【０１３３】  ステップＳ１３７にて、プロセッサ３は、コサイン成分ＣＷの移動平均ＭＣを算出する。ステップＳ１３９にて、プロセッサ３は、次式を実行して、振幅ＡＭを求める。【０１３４】振幅ＡＭ←√（ＭＳ２＋ＭＣ２）  …（１２）【０１３５】  ステップＳ１４１にて、プロセッサ３は、振幅ＡＭに補正を施す。この補正は、サンプル周波数Ｆｋごとに定められた係数を振幅ＡＭに乗じるものである。この係数は、高い周波数に対するものよりも、低い周波数に対するものが相対的に大きくなるように定められている。【０１３６】  ステップＳ１４３にて、プロセッサ３は、補正後の振幅ＡＭを周波数Ｆｋの振幅として格納する。ステップＳ１４４にて、プロセッサ３は、変数（添え字）ｋを１つインクリメントする。ステップＳ１４５にて、プロセッサ３は、変数ｋがサンプル数Ｋになったか否かを判断して、ＮＯの場合ステップＳ１３１に戻り、ＹＥＳの場合ステップＳ１４７に進む。ステップＳ１４７では、プロセッサ３は、変数ｋに０を代入してリターンする。【０１３７】  図１５は、図８のステップＳ１２のアニメーション制御処理の流れを示すフローチャートである。図１５を参照して、ステップＳ１６１にて、プロセッサ３は、右のスティック１０４Ｒが動作中の時にオンになる右動作フラグがオンか否かをチェックし、オンの場合ステップＳ１６３に進み、オフの場合ステップＳ１６９に進む。ステップＳ１６３では、プロセッサ３は、スティック１０４Ｒの座標を更新する。なお、スティック１０４Ｒを振り下ろし、太鼓オブジェクト１０６Ｒを叩き、再び、開始位置に戻るまでの画像情報（画像データ及び座標）は予め用意されている。なぜなら、到達時間ＴＡ並びにスティック１０４Ｒの移動距離及び移動速度をそれぞれ一定にしているからである。ステップＳ１６５にて、プロセッサ３は、スティック１０４Ｒが太鼓オブジェクト１０６Ｒに到達して、再び振り下ろし開始位置に戻ったか否かを判断し、戻った場合ステップＳ１６７に進み、戻っていない場合ステップＳ１６９に進む。ステップＳ１６７では、プロセッサ３は、右動作フラグをオフにする。【０１３８】  ステップＳ１６９にて、プロセッサ３は、左のスティック１０４Ｌが動作中の時にオンになる左動作フラグがオンか否かをチェックし、オンの場合ステップＳ１７１に進み、オフの場合ステップＳ１７７に進む。ステップＳ１７１では、プロセッサ３は、スティック１０４Ｌの座標を更新する。なお、スティック１０４Ｌを振り下ろし、太鼓オブジェクト１０６Ｌを叩き、再び、開始位置に戻るまでの画像情報（画像データ及び座標）は予め用意されている。なぜなら、到達時間ＴＡ並びにスティック１０４Ｌの移動距離及び移動速度をそれぞれ一定にしているからである���ステップＳ１７３にて、プロセッサ３は、スティック１０４Ｌが太鼓オブジェクト１０６Ｌに到達して、再び振り下ろし開始位置に戻ったか否かを判断し、戻った場合ステップＳ１７５に進み、戻っていない場合ステップＳ１７７に進む。ステップＳ１７５では、プロセッサ３は、左動作フラグをオフにする。【０１３９】  ステップＳ１７７にて、プロセッサ３は、イベントフラグがオンか否かをチェックして、オンの場合ステップＳ１７９に進み、オフの場合リターンする。ステップＳ１７９では、プロセッサ３は、前回のイベントフラグにより動作を開始したスティックを指し示す交互フラグをチェックし、交互フラグが右のスティック１０４Ｒを指し示している場合はステップＳ１８１に進み、交互フラグが左のスティック１０４Ｌを指し示している場合ステップＳ１８５に進む。【０１４０】  交互フラグが右のスティック１０４Ｒを示している場合において、ステップＳ１８１では、プロセッサ３は、左のスティック１０４Ｌの動作を開始すべく、左動作フラグをオンにする。ステップＳ１８３にて、プロセッサ３は、交互フラグを左のスティック１０４Ｌを示す値にセットしてリターンする。【０１４１】  一方、交互フラグが左のスティック１０４Ｌを示している場合において、ステップＳ１８５では、プロセッサ３は、右のスティック１０４Ｒの動作を開始すべく、右動作フラグをオンにする。ステップＳ１８７にて、プロセッサ３は、交互フラグを右のスティック１０４Ｒを示す値にセットしてリターンする。【０１４２】  ここで、本実施の形態では、一方のスティック１０４が一方の太鼓オブジェクト１０６に到達した時から、他方のスティック１０４が他方の太鼓オブジェクト１０６に到達した時までの時間を音楽のビートに合わせる手法として、到達時間ＴＡ並びにスティック１０４の移動距離及び移動速度をそれぞれ一定とし、スティック１０４の振り下ろし開始タイミングを音楽のビートに応じて決定した。ただし、この場合、スティック１０４の振り下ろし開始位置は、画面外に固定してもよい。また、スティック１０４の画面への出現のタイミングを音楽のビートに応じて決定してもよい。この場合は、到達時間ＴＡは、スティック１０４の画面への出現時から太鼓オブジェクト１０６への到達時までの時間である。【０１４３】  さて、以上のように、本実施の形態によれば、音楽等のオーディオ信号ＡＵＡは外部（上記例では、デジタルオーディオプレーヤ９）から入力される。このため、ユーザは、自分の好きな音楽で映像を楽しんだり、また、飽きた場合は異なる音楽を入力して楽しむことができる。【０１４４】  また、本実施の形態では、外部入力のオーディオ信号ＡＵＡの周期及び位相並びに到達時間ＴＡに基づいて、オーディオ信号ＡＵＡのビートの発生タイミングを予測し、予測結果に基づいてイベントＥＶｎを設定する。このため、リアルタイム処理が可能となって、オーディオ信号を一旦格納し分析した後にオーディオ信号を再生してイベントを設定する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納されたオーディオ信号を再生するための装置は不要であり、コストの削減を図ることができる。なお、入力されたオーディオ信号を一旦格納し���析した後にオーディオ信号を再生してイベントを設定する場合は、格納、分析、再生のために、遅延が発生し、リアルタイム処理と言えない。【０１４５】  なお、本実施の形態では、式（２）及び式（３）により、イベント設定時間Ｘを算出することは、ビートの発生タイミングを予測することに相当する。なぜなら、（イベント設定時間Ｘ＋到達時間ＴＡ）は、予測したビートの発生タイミングを表すからである（図４参照）。【０１４６】  また、外部入力のオーディオ信号ＡＵＡのビートの発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する、外部入力のオーディオ信号ＡＵＡのビートの発生タイミングで、所定の結果、つまり、スティック１０４による太鼓オブジェクト１０６の打撃を引き起こすことができる。【０１４７】  このように、ビートの発生タイミングを予測して、スティック１０４による太鼓オブジェクト１０６の打撃をビートに合わせている。従って、太鼓オブジェクト１０６が打撃されてから隣の太鼓オブジェクト１０６が打撃されるまでの時間は、ビートの周期Ｂに一致する。つまり、当該時間がビートの周期Ｂに一致するように、連続するイベントＥＶｎ及びＥＶｎ＋１が設定される。【０１４８】  また、本実施の形態によれば、オーディオ信号ＡＵＡのビートの速さ（テンポ）に依存することなく、到達時間ＴＡを一定にしている。このため、オーディオ信号ＡＵＡのビートが異なっても、到達時間ＴＡ中及び当該時間経過時のアニメーション（つまり、スティック１０４で太鼓オブジェクト１０６を打撃するアニメーション）、即ち、画像の変化の過程（つまり、スティック１０４を振り下ろすアニメーション）及び所定の結果（つまり、スティック１０４による太鼓オブジェクト１０６の打撃）を共通にでき、オーディオ信号ＡＵＡのビートに依存することなく、アニメーションによる一定した演出ないしは効果を提供できる。【０１４９】  例えば、オーディオ信号ＡＵＡが音楽の場合、楽曲のテンポに関係なく、到達時間ＴＡは一定である。このため、楽曲のテンポが異なっても、到達時間ＴＡ中及び当該時間経過時のアニメーションを共通にでき、楽曲のテンポに依存することなく、アニメーションによる一定した演出ないしは効果を提供できる。【０１５０】  さらに、本実施の形態によれば、オーディオ信号ＡＵＡの位相Ｐの変化に応じて、ビートの発生タイミングの予測結果（イベント設定時間Ｘに相当）を補正する（図５及び図６参照）。つまり、位相Ｐが変化せず、誤差Ｅが０の場合は、式（４）により、イベント設定時間Ｘを算出すれば足りるが、誤差Ｅが０でない場合は、式（３）により、周期Ｂに誤差Ｅを加えた値を、イベント設定時間Ｘとしている。【０１５１】  このように、位相Ｐの変化に応じて、ビートの発生タイミングの予測結果を補正するので、一連のオーディオ信号ＡＵＡの途中（例えば、ある楽曲の途中）で位相Ｐが変化した場合であっても、その変化に応じて予測結果が補正されるので、位相Ｐのずれに基づく予測結果への影響を回避できる。【０１５２】  さらに、本実施の形態によれば、今回予測したビートの発生タイミングと、前回予測したビートの発生タイミングと、の差の絶対値が、周期Ｂに第１の所定数（０より大きく１より小さい値）を乗じた値より小さい場合、今回予測したビートの発生タイミングを、より遅いタイミングに補正する（図７（ｌ）〜図７（ｏ）参照）。【０１５３】  また、今回予測したビートの発生タイミングと、前回予測したビートの発生タイミングと、の差の絶対値が、周期Ｂに第２の所定数（１より大きく２より小さい値）を乗じた値より大きい場合、今回予測したビートの発生タイミングを、より早いタイミングに補正する（図７（ｈ）〜図７（ｋ）参照）。【０１５４】  その結果、今回予測したビートの発生タイミングと、前回予測したビートの発生タイミングと、の差が、周期Ｂよりも、極端に短い場合や長い場合に、適切に発生タイミングを補正できる。【０１５５】  ここで、今回予測したビートの発生タイミングと、前回予測したビートの発生タイミングと、の差の絶対値は、イベント設定時間Ｘに相当する。なぜなら、イベント設定時間Ｘは、イベントＥＶｎを設定してから次のイベントＥＶｎ＋１を設定するまでの時間であり（図４参照）、また、イベントの設定から、一定である到達時間ＴＡの経過時が、予測したビートの発生タイミングだからである。【０１５６】  より具体的には、今回予測したビートの発生タイミング（図７（ｍ）の逆三角形ＡＴ）と、前回予測したビートの発生タイミング（図７（ｃ）の逆三角形ＡＴ）と、の差の絶対値が、周期Ｂに０．５を乗じた値より小さい場合、即ち、今回予測したビートの発生タイミングが、今回の予測により本来太鼓オブジェクト１０６が打撃されるべきタイミング（図７（ａ）のビートＹ＋１）よりも、前回の予測により太鼓オブジェクト１０６が打撃されるタイミング（図７（ａ）のビートＹ）に近くなる場合、式（７）により、今回予測したビートの発生タイミングを、周期Ｂに等しい時間だけ遅いタイミングに補正することにより、今回予測したビートの発生タイミングを、今回の予測により本来太鼓オブジェクト１０６が打撃されるべきタイミングに一致又は近づけることができる（図７（ｌ）〜図７（ｏ）参照）。【０１５７】  また、今回予測したビートの発生タイミング（図７（ｈ）の逆三角形ＡＴ）と、前回予測したビートの発生タイミング（図７（ｃ）の逆三角形ＡＴ）と、の差の絶対値が、周期Ｂに１．５を乗じた値より大きい場合、即ち、今回予測したビートの発生タイミングが、今回の予測により本来太鼓オブジェクト１０６が打撃されるべきタイミング（図７（ａ）のビートＹ＋１）よりも、次回の予測により太鼓オブジェクト１０６が打撃されるタイミング（図７（ａ）のビートＹ＋２）に近くなる場合、式（９）により、今回予測したビートの発生タイミングを、周期Ｂに等しい時間だけ早いタイミングに補正することにより、今回予測したビートの発生タイミングを、今回の予測により本来太鼓オブジェクト１０６が打撃されるべきタイミングに一致又は近づけることができる（図７（ｈ）〜図７（ｋ）参照）。【０１５８】  （実施の形態２）【０１５９】  図１を参照して、本実施の形態によるオーディオビジュアルシステムは、キャラクタ１０２が、左右のスティック１０４で、左右の太鼓オブジェクト１０６を交互に打撃するアニメーションを表示する。この場合、オーディオビジュ���ルシステムは、外部から入力されるオーディオ信号ＡＬＲを解析して、そのオーディオ信号ＡＬＲが表す音楽のビート（ないしはリズム）に合わせて、スティック１０４で太鼓オブジェクト１０６を打撃するアニメーションを表示する。【０１６０】  この場合、スティック１０４が太鼓オブジェクト１０６に到達するタイミングを音楽のビートと合わせる。従って、スティック１０４Ｌが太鼓オブジェクト１０６Ｌに到達した時から、スティック１０４Ｒが太鼓オブジェクト１０６Ｒに到達した時までの時間が、音楽のビートの周期に一致する。この点、実施の形態１と同じである。【０１６１】  ただし、本実施の形態では、キャラクタ１０２がスティック１０４を振り上げた状態から、スティック１０４を振り下ろして、太鼓オブジェクト１０６に到達するまでの時間Ｔｄを、音楽のビート間隔（隣り合うビート同士の間隔）に一致させる。ちなみに、実施の形態１では、到達時間は一定ＴＡである。【０１６２】  一般に、同じ楽曲であっても、音楽のビート間隔は、厳密に一定値になることはなく、変動する。従って、都度、ビート間隔を検出し、到達時間Ｔｄを修正する必要がある。到達時間Ｔｄを修正する方法として、いくつか例を挙げる。【０１６３】  例えば、スティック１０４の振り下ろし開始位置から太鼓オブジェクト１０６までの移動距離が一定の場合、スティック１０４の移動速度及び／又は加速度をビート間隔に応じて修正して、到達時間Ｔｄを修正する（第１の例）。例えば、スティック１０４の移動速度が一定の場合、スティック１０４の振り下ろし開始位置から太鼓オブジェクト１０６までの移動距離（スティック１０４の振り下ろし開始位置及び／又は太鼓オブジェクト１０６の位置）をビート間隔に応じて修正して、到達時間Ｔｄを修正する（第２の例）。なお、ビート間隔が大きい場合、スティック１０４の振り下ろし開始位置が画面外になることもある。また、例えば、スティック１０４の振り下ろし開始位置及び太鼓オブジェクト１０６の位置が固定の場合、スティック１０４の軌道をビート間隔に応じて修正して、到達時間Ｔｄを修正する（第３の例）。また、これらの例を任意に組み合わせることにより、ビート間隔に応じて、到達時間Ｔｄを修正することもできる（第４の例）。なお、これらの例において、スティック１０４の振り下ろし開始位置は、画面外であってもよい。【０１６４】  以下、詳細に説明していく。また、到達時間Ｔｄを修正する方法として、上記の第２の例を挙げる。【０１６５】  図１６は、本発明の実施の形態２によるオーディオビジュアルシステムの電気的構成を示す図である。図１６を参照して、このオーディオビジュアルシステムは、オーディオビジュアル装置２及びそれに接続されるテレビジョンモニタ１１を備える。オーディオビジュアル装置２は、プロセッサ３、外部メモリ７、ＭＣＵ（Ｍｉｃｒｏ  Ｃｏｎｔｒｏｌｅｒ  Ｕｎｉｔ）３５、ローパスフィルタ（ＬＰＦ）３９、並びに、ミキシング回路４１Ｌ，４１Ｒ及び４３を含む。【０１６６】  プロセッサ３には、外部メモリ７が接続される。外部メモリ７は、例えば、フラッシュメモリ、ＲＯＭ、及び／又はＲＡＭ等により構成される。外部メモリ７は、プログラム領域、画像データ���域、および音声データ領域を含む。プログラム領域には、後述のフローチャートに示す各種処理をプロセッサ３に実行させる制御プログラムが格納される。画像データ領域には、テレビジョンモニタ１１に表示される画面を構成するすべての画像データや、他の必要な画像データが格納されている。音声データ領域には、効果音等ための音声データが格納されている。プロセッサ３は、プログラム領域の制御プログラムを実行して、画像データ領域の画像データ及び音声データ領域の音声データを読み出し、必要な処理を施して、ビデオ信号ＶＤ並びにオーディオ信号ＡＬＩ及びＡＲＩを生成する。ビデオ信号ＶＤは、ＡＶケーブル（図示せず）を通して、テレビジョンモニタ１１に与えられる。オーディオ信号ＡＬＩ及びＡＲＩは、それぞれ、ミキシング回路４１Ｌ及び４１Ｒに与えられる。【０１６７】  プロセッサ３は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、グラフィックスプロセサ、サウンドプロセサおよびＤＭＡコントローラ等の各種機能ブロックを含むとともに、アナログ信号を取り込むときに用いられるＡ／Ｄコンバータ、赤外線信号やキー操作信号のような入力デジタル信号を受けかつ出力デジタル信号を外部機器に与える入出力制御回路、及び内部メモリ等を含む。【０１６８】  ＣＰＵは、外部メモリ７に格納された制御プログラムを実行する。Ａ／Ｄコンバータからのデジタル信号および入出力制御回路からのデジタル信号はＣＰＵに与えられ、ＣＰＵは、制御プログラムに従って、それらの信号に応じて必要な演算を実行する。グラフィックスプロセサは、外部メモリ７に格納された画像データに対して、ＣＰＵの演算結果によって必要になったグラフィック処理を実行して、テレビジョンモニタ１１に表示する画像を表すビデオ信号ＶＤを生成する。サウンドプロセサは、外部メモリ７に格納された音声データに対して、ＣＰＵの演算結果によって必要になったサウンド処理を実行して、効果音等を表すオーディオ信号ＡＬＩ及びＡＲＩを生成する。内部メモリは、例えば、ＲＡＭにより構成され、ワーキング領域、カウンタ領域、レジスタ領域、テンポラリデータ領域、及び／又はフラグ領域等として利用される。【０１６９】  ＭＣＵ３５は、デジタル信号処理の演算を高速に行うためのＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）を有する。デジタルオーディオプレーヤ９からのオーディオ信号ＡＬＥ０及びＡＲＥ０は、ＭＣＵ３５に与えられる。ＭＣＵ３５は、アナログのオーディオ信号ＡＬＥ０及びＡＲＥ０をデジタル信号に変換して、パルス幅変調（ＰＷＭ：Ｐｕｌｓｅ  Ｗｉｄｔｈ  Ｍｏｄｕｌａｔｉｏｎ）を行い、ＰＷＭ信号としてオーディオ信号ＡＬＥ１及びＡＲＥ１を生成し、ローパスフィルタ３９に出力する。ＭＣＵ３５は、パルス幅変調を行う際に、プロセッサ３からの要求に応じて、ボリューム調整を行う。【０１７０】  ＰＷＭ信号であるオーディオ信号ＡＬＥ１及びＡＲＥ１は、ローパスフィルタ３９によって、アナログのオーディオ信号ＡＬＥ２及びＡＲＥ２に変換され、それぞれ、ミキシング回路４１Ｌ及び４１Ｒに与えられる。【０１７１】  ミキシング回路４１Ｌは、プロセッサ３からのオーディオ信号ＡＬＩとローパスフィルタ３９からのオーディオ信号ＡＬＥ２（デジタルオーディオプレーヤ９から入力されたオーディオ信号ＡＬＥ０に相当）とをミキシングして、オーディオ信号ＡＬＭとして出力する。ミキシング回路４１Ｒは、プロセッサ３からのオーディオ信号ＡＲＩとローパスフィルタ３９からのオーディオ信号ＡＲＥ２（デジタルオーディオプレーヤ９から入力されたオーディオ信号ＡＲＥ０に相当）とをミキシングして、オーディオ信号ＡＲＭとして出力する。オーディオ信号ＡＬＭ及びＡＲＭは、ＡＶケーブル（図示せず）によりテレビジョンモニタ１１に与えられる。【０１７２】  ミキシング回路４３は、デジタルオーディオプレーヤ９からのオーディオ信号ＡＬＥ０とＡＲＥ０とをミキシングして、オーディオ信号ＡＬＲとして、ＭＣＵ３５に与える。ＭＣＵ３５は、アナログのオーディオ信号ＡＬＲをデジタル信号に変換して、その解析を行う。具体的には、ＭＣＵ３５は、オーディオ信号ＡＬＲのビート（外部ビート）を検出し、新たにビート（内部ビート）を生成する。なお、一般に、ビートは、拍と呼ばれる。また、ＭＣＵ３５は、オーディオ信号ＡＬＲに対して、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を実行し、パワースペクトルを求める。さらに、ＭＣＵ３５は、所定時間（以下、この１所定時間を１フレームと呼ぶ。）におけるオーディオ信号ＡＬＲの最大値を検出する。なお、本実施の形態では、例えば、１フレームを１／６０秒とする。また、本実施の形態では、例えば、１ビデオフレームを１／６０秒とする。このように、本実施の形態では、ＭＣＵ３５における１フレームとプロセッサ３における１ビデオフレームとを一致させている。このため、両者を区別する必要がない場合は、双方を単にフレームと呼ぶこともある。【０１７３】  ＭＣＵ３５は、プロセッサ３からの要求に応じて、１フレーム毎に、音声関連データをプロセッサ３に送信する。音声関連データは、ビートビット、パワー及び１フレームにおけるオーディオ信号ＡＬＲの最大値を含む。ビートビットは、内部ビート生成時に「１」にセットされ、それ以外では「０」にセットされる。従って、ビートビットの「１」から次の「１」までの時間が、内部ビートの間隔になる。なお、一般に、ビート間隔は、テンポと呼ばれる。また、パワーは、パワースペクトルのうち、プロセッサ３が要求した周波数のパワーである。【０１７４】  次に、図面を参照しながら、ＭＣＵ３５によるオーディオ信号ＡＬＲの解析方法を説明する。【０１７５】  ＭＣＵ３５は、例えば、サンプリング周波数５０ｋＨｚでオーディオ信号ＡＬＲを取り込む。そして、ＭＣＵ３５は、１フレームにおけるオーディオ信号ＡＬＲの最大値をフレーム毎に取得する。さらに、ＭＣＵ３５は、今回のフレームにおけるオーディオ信号ＡＬＲの最大値から、前回のフレームにおけるオーディオ信号ＡＬＲの最大値を減算し、差分音声信号Ｄｆを得る。ただし、得られた差分音声信号Ｄｆのレベルが０以下の場合は、その差分音声信号Ｄｆは０に設定される。従って、前フレームと比較して、オーディオ信号ＡＬＲのレベルが上昇した場合にのみ、差分音声信号Ｄｆのレベルは０より大きくなる。【０１７６】  図１７（ａ）は、図１���のＭＣＵ３５に入力される音声信号ＡＬＲの波形図である。図１７（ａ）を参照して、縦軸はデジタルオーディオプレーヤ９から入力されたオーディオ信号ＡＬＲのレベルを示し、横軸は時間ｔを示す。時間ｔの単位はフレームである。ただし、図示のオーディオ信号ＡＬＲは、１フレームにおける最大値である。図１７（ｂ）は、図１７（ａ）の波形から得られた差分音声信号Ｄｆの波形図である。図１７（ｂ）を参照して、縦軸は差分音声信号Ｄｆのレベルを示し、横軸は時間ｔを示す。時間ｔの単位はフレームである。【０１７７】  図１７（ａ）に示すように、ＭＣＵ３５は、オーディオ信号ＡＬＲを所定時間Ｔｃ（例えば、８０フレーム）単位で解析する。すなわち、図１７（ｂ）に示すように、ＭＣＵ３５は、所定時間Ｔｃで得られた差分音声信号Ｄｆのうち、最大レベルの差分音声信号Ｄｆの時刻ＰＶ１（単位はフレーム）と第２番目に大きいレベルの差分音声信号Ｄｆの時刻ＰＶ２（単位はフレーム）との差の絶対値Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…を算出する。この場合、第２番目に大きいレベルの差分音声信号Ｄｆの時刻ＰＶ２は、所定時間Ｔｃ中、最大レベルの差分音声信号Ｄｆの時刻ＰＶ１を中心とした±Ｂ（例えば５）フレームの範囲外から取得される。【０１７８】  このようにして、ＭＣＵ３５は、所定時間Ｔｃ中の最大レベルの差分音声信号Ｄｆと第２番目に大きいレベルの差分音声信号Ｄｆとをオーディオ信号ＡＬＲのビートとみなしている。このように、分析の結果得られたオーディオ信号ＡＬＲのビートを「外部ビート」と呼ぶ。また、外部ビート及び後述の内部ビートを、オーディオ信号ＡＬＲの本来のビートと区別するために、オーディオ信号ＡＬＲの本来のビートを「オリジナルビート」と呼ぶこともある。【０１７９】  従って、絶対値Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…の各々は、外部ビートの間隔、つまり、外部ビートのテンポである。外部ビート間隔Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…を包括して、外部ビート間隔Ｔｖと呼ぶ。【０１８０】  そして、外部ビート間隔Ｔｖを検出する度に、つまり、所定時間Ｔｃごとに、ＭＣＵ３５は、図１８（ａ）に示す発生頻度テーブルを更新する。つまり、ＭＣＵ３５は、外部ビート間隔Ｔｖを検出する度に、発生頻度テーブルにおいて、検出した外部ビート間隔Ｔｖに１ポイントを投票（加算）する。従って、発生頻度テーブルの投票数（ポイント数）は、各外部ビート間隔Ｔｖの発生頻度を表す。発生頻度テーブルをグラフ化すると、図１８（ｂ）のようになる。このグラフにより、外部ビート間隔Ｔｖの発生頻度の分布が容易に認識できる。【０１８１】  ＭＣＵ３５は、発生頻度テーブルにおいて、最も発生頻度が高い、つまり、最も投票数（ポイント数）が多い外部ビート間隔Ｔｖを暫定内部ビート間隔Ｔｕとする。このように、外部ビート間隔Ｔｖを統計処理して求めた暫定内部ビート間隔Ｔｕを、暫定的にオーディオ信号ＡＬＲのオリジナルビートの間隔とみなす。そして、ＭＣＵ３５は、暫定内部ビート間隔Ｔｕに基づいて、直近の将来発生するオリジナルビートの発生時を予測する。ＭＣＵ３５は、このようにして予測したオリジナルビートの発生時に、内部ビートを生成する。このように、内部ビートは、ＭＣＵ３５によ���て予測された時刻に生成されるビートである。【０１８２】  図１９は、内部ビートの生成方法の詳細な説明図である。なお、時間ｔの単位はフレームである。また、暫定内部ビート間隔Ｔｕは、暫定内部ビート間隔Ｔｕ（ｊ），Ｔｕ（ｊ＋１），…を包括した表記である。図１９を参照して、ＭＣＵ３５が、時刻ｔ０から、暫定内部ビート間隔Ｔｕ（ｊ）が経過した時刻ｔ１に内部ビートを生成したとする。この場合、ＭＣＵ３５は、内部ビートを生成した時刻ｔ１を中心とした±Ａ（例えば５）フレームの範囲から、差分音声信号Ｄｆの最大レベルを検出する。そして、ＭＣＵ３５は、最大レベルの差分音声信号Ｄｆの時刻ｔ２から、その時の最新の暫定内部ビート間隔Ｔｕ（ｊ＋１）が経過した時刻ｔ３に内部ビートを生成する。従って、時刻ｔ１での内部ビートの生成時から、時刻ｔ３での内部ビートの生成時までの時間は、暫定内部ビート間隔Ｔｕと一致しないことがある。内部ビートの生成時から、次の内部ビートの生成時までの時間を、内部ビート間隔Ｔｔと呼ぶ。【０１８３】  このように、内部ビートの生成の度に、暫定内部ビート間隔Ｔｕの起点を調整することにより、最終的な内部ビート間隔Ｔｔを決定し、内部ビートとオリジナルビートとの間に生じる誤差の蓄積を除去する。また、ＭＣＵ３５は、時刻ｔ１の内部ビートの生成時に、次の内部ビートの生成時刻ｔ３を決定している。すなわち、ＭＣＵ３５は、時刻ｔ１の内部ビート生成時の最新の暫定内部ビート間隔Ｔｕを調整した内部ビート間隔Ｔｔをオリジナルビートの間隔とみなして、内部ビートの生成時ｔ１から内部ビート間隔Ｔｔが経過した時点ｔ３を、直近の将来発生するオリジナルビートの発生時であると予測し、時刻ｔ３で次の内部ビートを生成している。【０１８４】  次に、フローチャートを用いて、ＭＣＵ３５の処理の流れを説明する。【０１８５】  図２０は、図１６のＭＣＵ３５による音声データ取得処理の流れを示すフローチャートである。図２０を参照して、ステップＳ３００にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３０２にて、ＭＣＵ３５は、図１６のミキシング回路４３が出力したオーディオ信号ＡＬＲを取り込む（サンプリング）。ステップＳ３０４にて、ＭＣＵ３５は、取り込んだオーディオ信号ＡＬＲのレベルと現在の最大音声データＡｔｍｘのレベルとを比較する。ステップＳ３０６にて、ＭＣＵ３５は、オーディオ信号ＡＬＲのレベルが最大音声データＡｔｍｘのレベルより大きい場合はステップＳ３０８に進み、それ以外はステップＳ３１０に進む。ステップＳ３０８では、ＭＣＵ３５は、最大音声データＡｔｍｘに、オーディオ信号ＡＬＲを代入する。【０１８６】  ステップＳ３１０にて、ＭＣＵ３５は、１フレームが経過したか否かを判断し、経過していない場合は、つまり、タイマから通知を受けていない場合は、ステップＳ３０２に戻り、経過した場合は、つまり、タイマから通知を受けた場合は、ステップＳ３１２に進む。ここで、ステップＳ３１０で１フレームが経過したと判断された時の最大音声データＡｔｍｘは、１フレーム間におけるオーディオ信号ＡＬＲの最大値である。【０１８７】  ステップＳ３１０で��ＹＥＳ」が判断された後、ステップＳ３１２にて、ＭＣＵ３５は、変数Ａｆｍｘに、最大音声データＡｔｍｘを格納する。ステップＳ３１４にて、ＭＣＵ３５は、１フレーム間のオーディオ信号ＡＬＲに対して、ＦＦＴを実行し、パワースペクトルを求め、ステップＳ３０２に戻る。【０１８８】  図２１は、図１６のＭＣＵ３５による外部ビート検出処理の流れを示すフローチャートである。図２１を参照して、ステップＳ３３０にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３３２にて、ＭＣＵ３５は、変数ｋ，ｎ及びｍに「０」を代入する。ステップＳ３３４にて、ＭＣＵ３５は、１フレームが経過した場合（タイマから通知を受けた場合）ステップＳ３３６に進み、経過していない場合（タイマから通知を受けていない場合）ステップＳ３３４に戻る。【０１８９】  ステップＳ３３６にて、ＭＣＵ３５は、最新の変数Ａｆｍｘの値（最新の１フレーム中の最大音声データＡｔｍｘ）から、前回の変数Ａｆｍｘの値（前回の１フレーム中の最大音声データＡｔｍｘ）を減算し、減算結果を変数（差分）Ｄｆに格納する。ステップＳ３３８にて、ＭＣＵ３５は、差分Ｄｆが０より小さいか否かを判断し、小さい場合はステップＳ３４０に進み、それ以外はステップＳ３４４に進む。ステップＳ３４０では、ＭＣＵ３５は、差分Ｄｆに「０」を代入する。【０１９０】  ステップＳ３４４にて、ＭＣＵ３５は、今回の差分Ｄｆと前回の差分Ｄｆとを比較する。そして、ステップＳ３４６にて、今回の差分Ｄｆが前回の差分Ｄｆより大きい場合はステップＳ３４８に進み、それ以外はステップＳ３５２に進む。ステップＳ３４８にて、ＭＣＵ３５は、変数Ｄｍｘ［ｎ］に今回の差分Ｄｆを代入する。ステップＳ３５０では、ＭＣＵ３５は、変数Ｋ［ｎ］に変数ｋの値を代入する。【０１９１】  ステップＳ３５２にて、ＭＣＵ３５は、変数ｍ及びｋをそれぞれ１つインクリメントする。ステップＳ３５４にて、ＭＣＵ３５は、変数ｍが１０に到達したか否かを判断し、到達した場合ステップＳ３５６に進み、到達していない場合ステップＳ３３６に進む。ステップＳ３５６では、ＭＣＵ３５は、変数ｍに「０」を代入する。ステップＳ３５８にて、ＭＣＵ３５は、変数ｎを１つインクリメントする。【０１９２】  ステップＳ３６０にて、ＭＣＵ３５は、変数ｋの値が「８０」に到達したか否かを判断し、到達した場合はステップＳ３６２に進み、到達していない場合はステップＳ３３６に進む。ステップＳ３６２では、ＭＣＵ３５は、変数ｎ及びｋにそれぞれ「０」を代入する。【０１９３】  ステップＳ３６４にて、ＭＣＵ３５は、変数Ｄｍｘ［０］〜Ｄｍｘ［９］から最大値と二番目に大きい値を検出し、最大値に対応する変数Ｋ［］の値ＰＶ１と、二番目に大きい値に対応する変数Ｋ［］の値ＰＶ２と、の差の絶対値、つまり、外部ビート間隔Ｔｖを算出する。例えば、最大値がＤｍｘ［２］で、二番目に大きい値がＤｍｘ［６］の場合、差（Ｋ［２］−Ｋ［６］）の絶対値が、外部ビート間隔Ｔｖである。ステップＳ３６６にて、ＭＣＵ３５は、発生頻度テーブル（図１８（ａ）参照）において、ステップＳ３６４で算出した外部ビート間隔Ｔｖに１ポイ��トを投票し、ステップＳ３３４に戻る。【０１９４】  上記ステップＳ３５４の補足説明を行う。このステップは、１０フレーム間の差分Ｄｆの最大値を求め（ステップＳ３４６）、変数Ｄｍｘ［ｎ］に格納すると共に、その時の変数ｋの値（つまり、フレーム時間）を変数Ｋ［ｎ］に格納するために設けられる。このため、変数ｎは１０フレームごとにインクリメントされ（ステップＳ３５８）、変数ｍは１０フレームごとにリセットされる（ステップＳ３５６）。【０１９５】  上記ステップＳ３６０の補足説明を行う。このステップは、８０フレームごとに、つまり、時間Ｔｃごとに（図１７参照）、外部ビート間隔Ｔｖを求めるために設けられる（ステップＳ３６４）。このため、変数ｎ及びｋは８０フレームごとにリセットされる（ステップＳ３６２）。【０１９６】  ところで、ステップＳ３５４を設けて、１０フレーム単位で差分Ｄｆの最大値を求めるのは、次の理由による。時間Ｔｃにおける差分Ｄｆの最大値と二番目に大きい値を求める必要がある（図１７参照）。この場合、上記のように、第２番目に大きいレベルの差分Ｄｆの時刻ＰＶ２は、最大レベルの差分Ｄｆの時刻ＰＶ１を中心とした±Ｂフレームの範囲外から取得する。このフローでは、Ｂ＝５としている。このため、１０フレーム単位で差分Ｄｆの最大値を取得し、８０フレーム分の差分Ｄｆの最大値Ｄｍｘ［０］〜Ｄｍｘ［９］が取得できたところで、ステップＳ３６４において、その中から、最大値と二番目に大きい値を求めるのである。【０１９７】  図２２は、図１６のＭＣＵ３５による内部ビート生成処理の流れを示すフローチャートである。図２２を参照して、ステップＳ３８０にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３８２にて、ＭＣＵ３５は、発生頻度テーブル（図１８（ａ）参照）から、最も投票数の多い（最もポイントの高い）外部ビート間隔Ｔｖを取得し、暫定内部ビート間隔Ｔｕに設定する。なお、外部ビート間隔Ｔｖ及び暫定内部ビート間隔Ｔｕの単位はフレームである。【０１９８】  ステップＳ３８４にて、ＭＣＵ３５は、カウンタＣｂがステップＳ３８２で設定した暫定内部ビート間隔Ｔｕに一致したか否かを判断し、一致した場合ステップＳ３８６に進み、不一致の場合ステップＳ３９０に進む。ステップＳ３８６では、ＭＣＵ３５は、ビートフラグを「１」にセットする。ステップＳ３８８にて、ＭＣＵ３５は、カウンタＣｂを「０」にする。一方、ステップＳ３９０では、ＭＣＵ３５は、ビートフラグを「０」にセットする。【０１９９】  ステップＳ３９２にて、ＭＣＵ３５は、１フレームが経過した場合（タイマから通知を受けた場合）ステップＳ３９４に進み、経過していない場合（タイマから通知を受けていない場合）ステップＳ３９２に戻る。ステップＳ３９４にて、ＭＣＵ３５は、ビートビットをビートフラグの値にセットする。この場合、ビートフラグの値が「１」でビートビットに「１」が設定されることは、内部ビートの生成を意味する。ステップＳ３９６にて、ＭＣＵ３５は、カウンタＣｂを１つインクリメントする。【０２００】  ステップＳ４００にて、ＭＣＵ３５は、カウンタＣｂが定数Ａに一致したか否か���判断し、一致した場合ステップＳ４０２に進み、それ以外はステップＳ３８２に進む。ステップＳ４０２では、ＭＣＵ３５は、最新の内部ビートの生成時を中心とした±Ａフレームの範囲から、最も大きい差分Ｄｆの時刻ｔｍｘを検出する（図１９参照）。【０２０１】  ここで、時刻ｔｍｘの単位はフレームである。また、最新の内部ビートの生成時を「０」として、正方向の時刻を、１，２，…Ａとし、負方向の時刻を、−１，−２，…−Ａとする。従って、時刻ｔｍｘは、正負の符号付きの値である。【０２０２】  そして、ステップＳ４０４にて、ＭＣＵ３５は、現在のカウンタＣｂの値から時刻ｔｍｘを減算して、ステップＳ３８２に戻る。このように、内部ビートの生成の度に、カウンタＣｂの値を修正して、上述したように、暫定内部ビート間隔Ｔｕの起点を調整し、内部ビートとオリジナルビートとの間に生じる誤差の蓄積を除去する。このような調整によって、結果的に、内部ビート間隔Ｔｔで、内部ビートが生成されることになる。なお、もちろん、カウンタＣｂを調整する代わりに、暫定内部ビート間隔Ｔｕに時刻ｔｍｘを加算することにより、内部ビート間隔Ｔｔを求めてもよい。【０２０３】  次に、フローチャートを用いて、プロセッサ３の処理の流れを説明する。【０２０４】  図２３は、図１６のプロセッサ３による処理の流れを示すフローチャートである。図２３を参照して、ステップＳ５００にて、プロセッサ３は、システムの初期化を実行する。このステップＳ５００において、変数、カウンタ、タイマ及びフラグ等が初期化される。【０２０５】  ステップＳ５０２にて、プロセッサ３は、ＭＣＵ３５から取得した音声関連データに従って、イベントを設定する。ステップＳ５０４にて、プロセッサ３は、ステップＳ５０２でのイベントの設定に従って、キャラクタ１０２がスティック１０４を振るアニメーションを制御する。【０２０６】  ステップＳ５０６にて、プロセッサ３は、ビデオ同期信号による割り込み待ちか否かを判断し、割り込み待ちの状態であればステップＳ５０６に戻り、割り込み待ちの状態でない場合は、つまり、ビデオ同期信号による割り込みがあれば、ステップ５０８にて、ステップＳ５０２及びＳ５０４の処理結果に従って、テレビジョンモニタ１１に表示する画像を更新すると共に、ステップＳ５１０にて、効果音等の音声処理を実行して、ステップＳ５０２に進む。【０２０７】  図２４は、図２３のステップＳ５０２の処理の流れを示すフローチャートである。図２４を参照して、ステップＳ５３０にて、プロセッサ３は、ＭＣＵ３５から音声関連データを取得する。上述のように、音声関連データは、ビートビット、パワー及び１フレームにおけるオーディオ信号ＡＬＲの最大値を含む。ステップＳ５３２にて、プロセッサ３は、ビートビットの値をチェックする。ステップＳ５３４にて、プロセッサ３は、ビートビットが「１」の場合、つまり、内部ビートが生成された場合、ステップＳ５３６に進み、「０」の場合ステップＳ５４２に進む。【０２０８】  ステップＳ５３６では、プロセッサ３は、イベントフラグをオンにして、イベントを設定する。ステップＳ５３８では、プロセッサ３は、内部ビート間隔ＴｔをカウンタＣＢの値に設定する。こ���ように、カウンタＣＢは、ビートビットが「１」になってから、次に「１」になるまでの時間（単位はフレーム）、つまり、内部ビート間隔Ｔｔを計数するカウンタである。従って、ステップＳ５３８でのカウンタＣＢの値は、前回ビートビットが「１」になってから今回ビートビットが「１」になるまでの時間である。【０２０９】  ステップＳ５４０にて、プロセッサ３は、カウンタＣＢに「０」を代入して、リターンする。一方、ステップＳ５４２では、プロセッサ３は、カウンタＣＢを１つインクリメントして、リターンする。【０２１０】  図２５は、図２３のステップＳ５０４の処理の流れを示すフローチャートである。図２５を参照して、ステップＳ５６０にて、プロセッサ３は、スティック１０４Ｒのｘｙ座標を更新する。ステップＳ５６２では、プロセッサ３は、スティック１０４Ｌのｘｙ座標を更新する。【０２１１】  ステップＳ５７４にて、プロセッサ３は、イベントフラグがオンか否かをチェックして、オンの場合ステップＳ５６６に進み、オフの場合リターンする。ステップＳ５６６では、プロセッサ３は、前回のイベントにより動作を開始したスティックを指し示す交互フラグをチェックし、交互フラグが右のスティック１０４Ｒを指し示している場合はステップＳ５６８に進み、交互フラグが左のスティック１０４Ｌを指し示している場合ステップＳ５７６に進む。【０２１２】  交互フラグが右のスティック１０４Ｒを示している場合において、ステップＳ５６８にて、プロセッサ３は、交互フラグを左のスティック１０４Ｌを示す値にセットする。そして、ステップＳ５７０にて、プロセッサ３は、スティック１０４Ｌの移動速度Ｖｓに内部ビート間隔Ｔｔを乗じて、移動距離ＬＤを算出する。本実施の形態では、移動速度Ｖｓは、ビートに依存することなく、一定である。従って、移動距離ＬＤを、ビートに応じて調整して、スティック１０４Ｌによる太鼓オブジェクト１０６Ｌの打撃をビートに合わせている。ステップＳ５７２にて、プロセッサ３は、移動距離ＬＤに基づき、スティック１０４Ｌの振り下ろし開始座標を算出し、設定する。【０２１３】  一方、交互フラグが左のスティック１０４Ｌを示している場合において、ステップＳ５７６にて、プロセッサ３は、交互フラグを右のスティック１０４Ｒを示す値にセットする。そして、ステップＳ５７８にて、プロセッサ３は、スティック１０４Ｒの移動速度Ｖｓに内部ビート間隔Ｔｔを乗じて、移動距離ＲＤを算出する。本実施の形態では、移動速度Ｖｓは、ビートに依存することなく、一定である。従って、移動距離ＲＤを、ビートに応じて調整して、スティック１０４Ｒによる太鼓オブジェクト１０６Ｒの打撃をビートに合わせている。ステップＳ５８０にて、プロセッサ３は、移動距離ＲＤに基づき、スティック１０４Ｒの振り下ろし開始座標を算出し、設定する。【０２１４】  さて、以上のように、本実施の形態によれば、音楽等のオーディオ信号ＡＬＲは外部（上記例では、デジタルオーディオプレーヤ９）から入力される。このため、ユーザは、自分の好きな音楽で映像を楽しんだり、また、飽きた場合は異なる音楽を入力して楽しむことができる。【０２１５】  また、本実施の形態では、外部入力のオーディオ信��ＡＬＲのビートの発生タイミングを予測し、予測結果に基づいてイベントを設定するので、リアルタイム処理が可能となって、オーディオ信号ＡＬＲを一旦格納し分析した後にオーディオ信号ＡＬＲを再生してイベントを設定する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納されたオーディオ信号ＡＬＲを再生するための装置は不要であり、コストの削減を図ることができる。なお、入力されたオーディオ信号ＡＬＲを一旦格納し分析した後にオーディオ信号ＡＬＲを再生してイベントを設定する場合は、格納、分析、再生のために、遅延が発生し、リアルタイム処理と言えない。【０２１６】  なお、本実施の形態では、内部ビートの生成は（図２２参照）、オーディオ信号ＡＬＲのビートの発生タイミングを予測することに相当する。なぜなら、内部ビートの生成時から（図２２のステップＳ３８８）、発生頻度テーブルに基づいて求めた暫定内部ビート間隔Ｔｕ（図２２のステップＳ３８２）の経過時に、オーディオ信号ＡＬＲのビートが発生すると予測して（みなして）、予測した当該ビートの発生を、当該暫定内部ビート間隔Ｔｕの経過時に生成する内部ビートで（図２２のステップＳ３８６，Ｓ３９４）、プロセッサ３に通知しているからである。【０２１７】  ただし、実質的には、内部ビートの生成時から内部ビート間隔Ｔｔの経過時に、オーディオ信号ＡＬＲのビートが発生すると予測して、予測した当該ビートの発生を、当該内部ビート間隔Ｔｔの経過時に生成する内部ビートで、プロセッサ３に通知していることになる。なぜなら、図２２のステップＳ４０２及びＳ４０４でカウンタＣｂを補正しているからである。【０２１８】  そして、イベントは、内部ビートの生成時、つまり、ビートビットが「１」の時に設定される（図２４のステップＳ５３６）。内部ビートの生成は、オーディオ信号ＡＬＲのビートの発生タイミングを予測することに相当するので、イベントは、オーディオ信号ＡＬＲのビートの発生タイミングの予測結果に基づいて設定されると言える。【０２１９】  また、外部入力のオーディオ信号ＡＬＲのビートの発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する、外部入力のオーディオ信号ＡＬＲのビートで、所定の結果、つまり、スティック１０４による太鼓オブジェクト１０６の打撃を引き起こすことができる。【０２２０】  このように、ビートの発生タイミングを予測して、スティック１０４による太鼓オブジェクト１０６の打撃をビートに合わせている。従って、太鼓オブジェクト１０６が打撃されてから隣の太鼓オブジェクト１０６が打撃されるまでの時間は、ビートの周期に一致する。つまり、当該時間がビートの周期に一致するように、連続するイベントが設定される。【０２２１】  また、本実施の形態では、イベントの設定時から、スティック１０４が太鼓オブジェクト１０６を打撃する時までの時間、つまり、到達時間Ｔｄが、オーディオ信号ＡＬＲのビートの周期、つまり、内部ビート間隔Ｔｔに一致するように、イベントを設定する（図２５のステップＳ５７０，Ｓ５７２，Ｓ５７８，Ｓ５８０）。この場合のイベントの設定は、イベントフラグのオンに加えて、ステップＳ５７２及びＳ５��０での設定を含む意味である。【０２２２】  このため、到達時間Ｔｄは、オーディオ信号ＡＬＲのビートの速さ（テンポ）に依存して異なってくる。従って、オーディオ信号ＡＬＲのビートが異なると、到達時間Ｔｄ中のアニメーションも異なり、オーディオ信号ＡＬＲに依存して、アニメーションによる、異なる演出ないしは効果を提供できる。【０２２３】  例えば、オーディオ信号ＡＬＲが音楽の場合、到達時間Ｔｄは、楽曲のテンポに依存する。このため、楽曲のテンポが異なると、到達時間Ｔｄ中のアニメーションも異なり、アニメーションによる、楽曲ごとに異なる演出ないしは効果を提供できる。【０２２４】  さらに、本実施の形態では、オーディオ信号ＡＬＲ（差分音声信号Ｄｆ）の振幅に基づいて、オーディオ信号ＡＬＲのビートを検出するので（図１７参照）、周波数分析を行って検出する場合と比較して、処理負荷を軽減でき、ひいては、ソフトウェア及び／又はハードウェアの削減が可能となる。【０２２５】  さらに、本実施の形態によれば、オーディオ信号ＡＬＲ（差分音声信号Ｄｆ）の振幅に基づいて、オーディオ信号ＡＬＲのビートからビートまでの時間、つまり、外部ビート間隔Ｔｖを検出し（図１７参照）、検出される外部ビート間隔Ｔｖの発生頻度に基づいて、暫定内部ビート間隔Ｔｕ、ひいては、内部ビート間隔Ｔｔを決定する（図１８、図１９参照）。【０２２６】  このように、検出される外部ビート間隔Ｔｖの発生頻度、つまり、統計結果に基づいて、オーディオ信号ＡＬＲの周期、つまり、内部ビート間隔Ｔｔが決定される。このため、信頼性の高い安定した周期を決定できる。【０２２７】  さらに、本実施の形態によれば、前回予測したオーディオ信号ＡＬＲのビート（つまり、前回生成した内部ビート）を含む所定範囲内に存在するオーディオ信号ＡＬＲ（差分音声信号Ｄｆ）のうち、最も大きい振幅の発生時を起点として、今回予測したオーディオ信号ＡＬＲのビート（つまり、今回生成する内部ビート）の発生タイミングを補正する（図１９参照）。【０２２８】  このため、前回予測したオーディオ信号ＡＬＲのビートの発生タイミングと、オーディオ信号ＡＬＲの実際のビートの発生タイミングと、のずれ（誤差）を、今回の予測で補正するので、当該ずれの蓄積を極力除去できる。【０２２９】  なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。【０２３０】  （１）実施の形態の説明で明らかであるが、オーディオビジュアル装置１，２は、タイミング制御装置と呼ぶこともできる。なぜなら、将来発生する音楽のビートに合うように、イベントを設定し、所定の結果を引き起こすからである。なお、所定の結果とは、制御対象が所定状態に達することである。所定状態は、所定形態、所定位置及び所定音等を含む意味である。【０２３１】  （２）上記では、外部から入力する音声（ａｕｄｉｏ）の例として、音楽を挙げた。ただし、音楽に限らず、音響、ボイス及びサウンド等、その他の音でもよい。ただし、それらがビート（拍）を有することが好ましい。【０２３２】  また、上記では、外部からのオーディオ信号は、デ���タルオーディオプレーヤ９から入力された。ただし、ＣＤプレーヤやＤＶＤプレーヤ等の他の記録媒体から入力することもできる。また、マイクロフォンにより、音声を電気信号に変換したものを、外部からの入力オーディオ信号とすることもできる。さらに、外部からのオーディオ信号は、ＬＡＮやインターネット等の通信回線を介して与えられるものでもよい。【０２３３】  （３）上記では、設定されたイベントに応答して、所定画像、つまり、スティック１０４の変化を制御し、予測されたビートの発生タイミングで、所定の結果、つまり、スティック１０４の太鼓オブジェクト１０６への到達を引き起した。ただし、制御対象たる所定画像は、スティック１０４に限定されず、任意の画像を制御対象にすることができる。また、制御対象たる所定画像の数は、２つに限定されず、１つでもよいし、２以外の複数でもよい。【０２３４】  所定画像が複数の場合は、オーティオ信号のビートの周期の長短に関係なく、所定の結果を引き起こす時をビートに合わせることができる。例えば、全てのイベントに共通に、１つの所定画像を使用する場合を想定する。ビートの周期が短すぎる場合、イベントから次のイベントまでの時間も短くなり、そうなれば、あるイベントに対応する所定の結果が引き起こされる前に、次のイベントが設定されてしまうことも発生する。つまり、あるイベントに対して所定画像が所定の結果を引き起こす前に、所定画像は当該次に設定されたイベントに応答した制御を開始されなければならい。その結果、ビートのタイミングで所定の結果を引き起こすことができなくなる。【０２３５】  上記では、２本のスティック１０４を繰り返し交互に動かし、これらは常に画面に表示されていた。ただし、予測結果に基づいて順次設定されるイベントごとに、新たに制御対象たる所定画像を用意し、それらの所定画像が所定の結果を引き起こしても、元の位置に戻らず、消滅等させ、それぞれ１回限り使用することもできる。この場合は、オーティオ信号のビートの周期の長短に関係なく、所定の結果を引き起こす時を、ビートに合わせることができる。例えば、全てのイベントに共通に、１つの所定画像を使用する場合を想定する。ビートの周期が短すぎる場合、イベントから次のイベントまでの時間も短くなり、そうなれば、あるイベントに対応する所定の結果が引き起こされる前に、次のイベントが設定されてしまうことも発生する。つまり、あるイベントに対して所定画像が所定の結果を引き起こす前に、所定画像は当該次に設定されたイベントに応答した制御を開始されなければならい。その結果、ビートのタイミングで所定の結果を引き起こすことができなくなる。【０２３６】  例えば、イベントの設定に応答して、画面の下端に向かって、垂直に下降する所定画像を制御対象とすることができる。この場合、予測されたビートの発生タイミングで、その所定画像が所定の垂直座標（以下、移動経路上の所定の垂直座標の位置を「タイミング位置」と呼ぶ。）へ到達するように、イベントが設定される。そして、所定画像は画面の下端で消滅する。この例において、下降する所定画像の移動経路（この例では垂直に延びる直線（非表示））は、１本に限られず、複数本とすることができる��【０２３７】  この例において、さらに、タイミング位置に、ユーザの操作に応答する画像（以下、「応答画像」と呼ぶ。）を表示することもできる。この場合、例えば、ユーザは、応答画像に所定画像が到達するタイミングで、応答画像を操作することにより、所定画像を弾き返すことができる。所定画像がタイミング位置に到達するタイミングは、音楽のビートに合っているので、ユーザが、応答画像に所定画像が到達するタイミングで、応答画像を操作すれば、その操作は、音楽のビートに合うことになり、音楽のビートに合った操作を楽しむことができる。【０２３８】  以下、この例において、応答画像の操作手段をいくつか説明する。例えば、ジョイスティックや方向キー等を備えた一般的なゲーム機用コントローラで、応答画像を操作することもできる。また、例えば、各々ユーザの入力操作を検出する所定数の入力部（例えばスイッチ）を有し、各入力部からの操作信号を受け付け、それらをプロセッサ３に与えるコントローラを使用することができる。プロセッサ３は、このコントローラからの各入力部の操作信号に応答する応答画像を表示する。この場合、例えば、水平一列に４つの応答画像をタイミング位置に配置し、それぞれに対応する４つの入力部を用意する。各応答画像は、対応する入力部の操作にだけ応答する。なお、このようなコントローラは、ユーザが、各入力部を手で操作するものであってもよいし、マット型にして足で踏み込んで操作するものであってもよい。【０２３９】  また、例えば、コントローラに加速度センサを内蔵し、ユーザが動かしたコントローラの加速度が所定値を超えたことをトリガとして、応答画像を変化（応答）させてもよい。【０２４０】  上記の例では、応答画像は、タイミング位置に配置した。ただし、応答画像をカーソルのように、ユーザの操作に連動させることもできる。この場合、ユーザは、タイミング位置に所定画像が到達するタイミングで、応答画像を所定画像に合わせることにより、音楽に合った操作を楽しむことができる。この場合は、タイミング位置には、ユーザの操作の便宜のため、何らかの画像を表示することが好ましい。【０２４１】  以下、この例において、応答画像の操作手段をいくつか説明する。例えば、ジョイスティックや方向キー等を備えた一般的なゲーム機用コントローラで、応答画像を操作することもできる。また、例えば、ＣＣＤやイメージセンサ等の撮像装置で、ユーザの動きを撮影し、その画像を解析して、ユーザの動きを検出し、その動きに、応答画像を連動させる。この場合、ユーザに再帰反射部材を把持又は装着し、これに、発光装置（例えば赤外発光ダイオード）により間欠的に光（例えば赤外光）を照射し、光点灯時画像と消灯時画像との差分画像に基づいて（差分処理）、再帰反射部材、つまり、ユーザの動きを検出することもできる。ただし、再帰反射部材に代えて、赤外発光ダイオードのような自発光装置を搭載した装置をユーザに装着又は把持させることもできる。この場合は、差分処理を行わないので、上記の差分処理のための発光装置は不要である。【０２４２】  なお、上記のストロボ撮影（発光装置の点滅）及び差分処理は、好適な例を示しただけであって、必須の要素ではない。つまり��発光装置は、点滅させなくてもよいし、また、発光装置がなくてもよい。照射する光は赤外光に限られない。また、再帰反射部材は必須の要素ではなく、撮像画像を解析して、ユーザが把持等する入力装置あるいは身体の特定部位（例えば手や足など）が検知できればよい。【０２４３】  さらに、例えば、ユーザに撮像装置を備えた電子機器を持たせて、応答画像を操作するための入力装置とすることもできる。この場合、テレビジョンモニタの画面の縁に沿って複数のマーカを取り付ける。このマーカを入力装置の撮像装置で撮影し、プロセッサは、ユーザが画面のどこを指し示しているかを判断し、そこに応答画像を表示する。マーカは、例えば、赤外発光ダイオード等の発光装置である。また、マーカを再帰反射部材とすることもできる。この場合は、入力装置に、発光装置を取り付ける。さらに、発光装置を点滅させて、差分画像を処理することもできる。【０２４４】  （４）上記では、イベントに応答して、制御対象たる所定画像（スティック１０４）の位置を変化させた（振り下ろし、振り上げ）。ただし、位置の変化である移動に限らず、制御対象たる所定画像の形態を、イベントに応答して変化させてもよい。「形態」とは、形状、模様及び色彩を含む意味である。【０２４５】  （第１変形例）例えば、イベントに応答して、画面上の所定位置又は任意の位置に、所定形状の所定画像を出現させると共に、その所定画像と相似な図形をタイミング指示オブジェクトとして中心位置を同一にして表示する。同時に、所定画像をタイミング指示オブジェクトに向かって変化させる。この場合、タイミング指示オブジェクトが所定画像より大きい場合は、所定画像を拡大していき、小さい場合は縮小していく。この場合、所定画像がタイミング指示オブジェクトに達したタイミングが、音楽のビートに合うように、イベントが設定される。【０２４６】  （第２変形例）また、例えば、イベントに応答して、画面上の所定位置又は任意の位置に、第１所定模様の所定画像を出現させると共に、その所定画像に近接して第２所定模様のタイミング指示オブジェクトを表示する。同時に、所定画像の模様を第１所定模様から第２所定模様に向かって変化させる。この場合、所定画像の模様がタイミング指示オブジェクトの模様、つまり、第２所定模様に達したタイミングが、音楽のビートに合うように、イベントが設定される。【０２４７】  （第３変形例）所定画像の色彩を変化させることもできる。この場合は、所定画像の模様を変化させる場合と同様の例を適用できる。つまり、上記模様の例において、「模様」を「色彩」と読みかえればよい。【０２４８】  （第４変形例）【０２４９】  第１〜第３の変形例においても、上記のような応答画像を表示することもできる。この場合、応答画像の操作は、上記した手段で行うことができる。【０２５０】  （５）上記では、制御対象は、所定画像（スティック１０４）であった。ただし、制御対象は、画像に限定されない。例えば、制御対象として、音、外部機器、外部コンピュータプログラム、物体、又は、物質（固体、液体、気体）等を選択できる。【０２５１】  （制御対象が音）【０２５２】  タイミング制御装置１，２は、オーディオ信号のビートの発生タイミングを予測して、予測結果に基づいてイベントを設定する。例えば、予測したビートの発生タイミングに基づいて、所定音の発生開始タイミング及び変化開始タイミングのうち少なくとも１つを決定し、決定結果に基づいて、イベントを設定する。そして、タイミング制御装置１，２は、イベントに応答して、所定音を制御し、予測されたビートの発生タイミングで、所定音に所定の結果を引き起こす。このように、ビートの発生タイミングを予測するので、リアルタイム処理を行いながらも、将来発生する、オーディオ信号のビートのタイミングで、所定音に所定の結果を引き起こすことができる。所定音の制御は、例えば、所定音の振幅（音量）、波形（音色）及び／又は周期（音の高さ）といった要素の制御である。従って、所定の結果は、音の要素が、所定のものになることである。【０２５３】  （制御対象が所定物体又は所定物質）【０２５４】  タイミング制御装置１，２は、オーディオ信号のビートの発生タイミングを予測して、予測結果に基づいてイベントを設定する。例えば、予測したビートの発生タイミングに基づいて、所定物体又は所定物質の変化開始タイミング、出現タイミング、変化開始位置、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、イベントを設定する。そして、タイミング制御装置１，２は、イベントに応答して、所定物体又は所定物質の変化を制御し、予測したビートの発生タイミングで、所定の結果を引き起こす。所定物体又は所定物質の変化は、位置及び／又は形態の変化を含む。このように、ビートの発生タイミングを予測するので、リアルタイム処理を行いながらも、将来発生する、オーディオ信号のビートのタイミングで、所定物体又は所定物質に所定の結果を引き起こすことができる。なお、所定物質が気体の場合、例えば、その気体を容器等に封入して制御する。【０２５５】  例えば、制御対象を水滴とし、第１所定位置から第２所定位置まで落下させる。この場合、水滴が第２所定位置に到達した時が、音楽のビートと一致するように、イベントを設定する。この場合、イベントの設定に応答して、第１所定位置から水滴を落下させる。この例において、例えば、水滴を玉と読み替えたり、気体を封入した容器と読み替えたりできる。また、例えば、制御対象を噴水とする場合、噴水が上昇し、下降して、液面に到達した時が、音楽のビートに一致するように、イベントを設定する。この場合、イベントの設定に応答して、噴水の出射を行う。【０２５６】  水滴や噴水等は、直接制御されるものではなく、イベントに応答して、直接的には、電磁弁やバルブの開閉等、機構が制御される。それら以外の所定物体や所定物質の制御についても、同様であり、直接それらを制御するのではなく、それらをコントロールする機構、機械、機器及び／又はコンピュータプログラム等を、イベントに応答して駆動・制御することになる。【０２５７】  （制御対象が外部機器及び／又は外部のコンピュータプログラム）【０２５８】  タイミング制御装置１，２は、オーディオ信号のビートの発生タイミングを予測して、予測結果に基づいてイベントを設定する。この点、上記と同じである。そして、タイミング制御装置１，２は、イベントに応答して、外部機器及び／又は外部のコンピュータプログラムを制御し、予測したビートの発生タイミングで、所定の結果を引き起こす。このように、ビートの発生タイミングを予測するので、リアルタイム処理を行いながらも、将来発生する、オーディオ信号のビートのタイミングで、外部機器及び／又は外部のコンピュータプログラムに所定の結果を引き起こさせることができる。【０２５９】  （６）上記では、外部からオーディオ信号を入力し、これを周波数分析して、将来のビートの発生タイミングを予測した。ただし、外部から入力される信号は、オーディオ信号に限られない。例えば、外部から入力される信号は、スイッチの操作信号でもよい。スイッチは、例えば、ゲーム機用コントローラ等の手入力型コントローラのスイッチ、フットスイッチ等の足入力型のスイッチ、キーボードのスイッチ等である。【０２６０】  また、例えば、外部から入力される信号は、所定の条件を満足した時に発生するトリガ信号であってもよい。トリガ信号は、例えば、入力装置の動きが所定の条件を満足した時に発生する信号である。所定の条件は、例えば、入力装置の加速度が所定値を超えたことである。この場合、入力装置は、加速度センサを内蔵する。【０２６１】  （７）オーディオビジュアル装置１，２は、被写体を撮像するイメージセンサ等の撮像手段を備えることもできる。この場合、プロセッサ３は、撮像画像を解析して、被写体の動きを検出する。従って、この場合、周波数分析の対象は、外部から入力されるオーディオ信号ではなく、被写体の像が所定の条件を満足した時に発生するトリガ信号とすることができる。【０２６２】  （８）実施の形態２では、プロセッサ３が、図２４の処理を行った。ただし、この処理に代えて、ＭＣＵ３５が、内部ビート間隔Ｔｔを算出して、ビートビットと共に、内部ビート間隔Ｔｔをプロセッサ３に与えることもできる。プロセッサ３に「１」を示すビートビット（内部ビート）が与えられたことは、イベントの発生に相当する。また、上記のプロセッサ３及びＭＣＵ３５の処理は、いずれか一方で行うこともできる。【０２６３】  以上、本発明を実施例により詳細に説明したが、当業者にとっては、本発明が本願中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。
【図１】
2008129837.tif 000003
【図２】
2008129837.tif 000004
【図３】
2008129837.tif 000005
【図４】
2008129837.tif 000006
【図５】
2008129837.tif 000007
【図６】
2008129837.tif 000008
【図７】
2008129837.tif 000009
【図８】
2008129837.tif 000010
【図９】
2008129837.tif 000011
【図１０】
2008129837.tif 000012
【図１１】
2008129837.tif 000013
【図１２】
2008129837.tif 000014
【図１３】
2008129837.tif 000015
【図１４】
2008129837.tif 000016
【図１５】
2008129837.tif 000017
【図１６】
2008129837.tif 000018
【図１７】
2008129837.tif 000019
【図１８】
2008129837.tif 000020
【図１９】
2008129837.tif 000021
【図２０】
2008129837.tif 000022
【図２１】
2008129837.tif 000023
【図２２】
2008129837.tif 000024
【図２３】
2008129837.tif 000025
【図２４】
2008129837.tif 000026
【図２５】
2008129837.tif 000027
【国際調査報告】
2008129837.tif 000028
2008129837.tif 000029
2008129837.tif 000030
2008129837.tif 000031