(57)【要約】【課題】音声データなどのコンテンツの所定の再生時点に、開始から終了までにある程度の時間が必要である種々の事象の終了点を位置付けるようにして当該事象を再生できるようにする。【解決手段】再生音声データのメタデータを制御部１０を通じて取得し、当該メタデータに基づいて音声データの再生に応じて再生する目的とする事象の終了時点を特定する。制御部１０において、目的とする事象の開始から終了までの時間を特定する。これら特定した報に基づいて、再生対象の音声データに対する目的とする当該事象の開始時点を特定し、再生対象の音声データが当該開始時点まで再生されると、目的とする当該事象の再生を開始し、当該事象を特定した終了時点において終了するように制御する。【選択図】図１
2006202422.tif 000002
【特許請求の範囲】
【請求項１】
音声データの再生に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御装置であって、
前記音声データの再生処理を行う再生処理手段と、
前記音声データに対応して設けられ、前記音声データの目的とする再生区間を特定するための再生区間情報を取得する取得手段と、
前記取得手段により取得された前記再生区間情報に基づいて、前記音声データに対する目的とする前記事象の終了時点を特定する終了時点特定手段と、
目的とする前記事象の開始から終了までの時間を特定する時間特定手段と、
前記終了時点特定手段により特定された終了時点と、前記時間特定手段により特定された前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定手段と、
前記音声データの再生状況を監視し、前記開始時点特定手段により特定された前記音声データについての前記開始時点において、目的とする前記事象を開始させるように制御する制御手段と
を備えることを特徴とする制御装置。
【請求項２】
映像データの再生に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御装置であって、
前記映像データの再生処理を行う再生処理手段と、
前記映像データに対応して設けられ、前記映像データの目的とする再生区間を特定するための再生区間情報を取得する取得手段と、
前記取得手段により取得された前記再生区間情報に基づいて、前記映像データに対する目的とする前記事象の終了時点を特定する終了時点特定手段と、
目的とする前記事象の開始から終了までの時間を特定する時間特定手段と、
前記終了時点特定手段により特定された終了時点と、前記時間特定手段により特定された前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定手段と、
前記映像データの再生状況を監視し、前記開始時点特定手段により特定された前記映像データについての前記開始時点において、目的とする前記事象を開始させるように制御する制御手段と
を備えることを特徴とする制御装置。
【請求項３】
請求項１に記載の制御装置であって、
前記再生区間情報は、前記音声データのテンポに応じた再生区間情報、コード進行に応じた再生区間情報、音高に応じた再生区間情報、音長に応じた再生区間情報、拍子に応じた再生区間情報、楽曲の構造情報に応じた再生区間情報、楽器の種類に応じた再生区間情報、音量の変化に応じた再生区間情報のうち少なくとも一つを含むことを特徴とする制御装置。
【請求項４】
請求項３に記載の制御装置であって、
前記構造情報は、前記音声コンテンツデータの繰り返しパターン、イントロ部分、サビ部分、Ａメロ部分、Ｂメロ部分、リフ部分を示す時間情報を含んだものであることを特徴とする制御装置。
【請求項５】
請求項２に記載の制御装置であって、
前記再生区間情報は、前記映像データのシーンチェンジ点、カットチェンジ点、目的とするシーンの開始点及び／または終了点であることを特徴とする制御装置。
【請求項６】
請求項１または請求項２に記載の制御装置であって、
前記取得手段は、前記再生処理手段において再生処理よりも時間的に先の部分の前記再生区間情報を取得するものであることを特徴とする制御装置。
【請求項７】
請求項１または請求項２に記載の制御装置であって、
前記再生区間情報は、前記音声データあるいは前記映像データとは異なる経路で取得することが可能であることを特徴とする制御装置。
【請求項８】
請求項７に記載の制御装置であって、
前記再生区間情報は、対応するコンテンツデータを特定するための識別子を含むことを特徴とする制御装置。
【請求項９】
目的とする物体の動作状況に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御装置であって、
前記目的とする物体を駆動させるようにする駆動手段と、
前記目的とする物体の一連の動作に対応して設けられ、前記目的とする物体の目的とする動作区間を特定するための動作区間情報を取得する取得手段と、
前記取得手段により取得された前記動作区間情報に基づいて、前記目的とする物体の一連の動作に対する目的とする前記事象の終了時点を特定する終了時点特定手段と、
目的とする前記事象の開始から終了までの時間を特定する時間特定手段と、
前記終了時点特定手段により特定された終了時点と、前記時間特定手段により特定された前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定手段と、
前記目的とする物体の動作状況を監視し、前記開始位時点定手段により特定された前記開始時点において、目的とする前記事象を開始させるように制御する制御手段と
を備えることを特徴とする制御装置。
【請求項１０】
請求項９に記載の制御装置であって、
前記取得手段は、前記駆動手段による前記目的とする物体の実際の駆動処理よりも時間的に先の部分の前記動作区間情報を取得するものであることを特徴とする制御装置。
【請求項１１】
請求項９または請求項１０に記載の制御装置であって、
前記動作区間情報は、前記目的とする物体の制御情報とは異なる経路で取得することが可能であることを特徴とする制御装置。
【請求項１２】
請求項１１に記載の制御装置であって
前記動作区間情報は、目的とする物体の動作に関する制御情報を特定するための識別子を含むことを特徴とする制御装置。
【請求項１３】
音声データの再生に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御方法であって、
前記音声データの再生処理を行う再生処理ステップと、
前記音声データに対応して設けられ、前記音声データの目的とする再生区間を特定するための再生区間情報を取得する取得ステップと、
前記取得ステップにおいて取得した前記再生区間情報に基づいて、前記音声データに対する目的とする前記事象の終了時点を特定する終了時点特定ステップと、
目的とする前記事象の開始から終了までの時間を特定する時間特定ステップと、
前記終了時点特定ステップにおいて特定した終了時点と、前記時間特定ステップにおいて特定した前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定ステップと、
前記音声データの再生状況を監視し、前記開始時点特定ステップにおいて特定した前記音声データについての前記開始時点において、目的とする前記事象を開始させるように制御する制御ステップと
を有することを特徴とする制御方法。
【請求項１４】
映像データの再生に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御方法であって、
前記映像データの再生処理を行う再生処理ステップと、
前記映像データに対応して設けられ、前記映像データの目的とする再生区間を特定するための再生区間情報を取得する取得ステップと、
前記取得ステップにおいて取得した前記再生区間情報に基づいて、前記映像データに対する目的とする前記事象の終了時点を特定する終了時点特定ステップと、
目的とする前記事象の開始から終了までの時間を特定する時間特定ステップと、
前記終了時点特定ステップにおいて特定した終了時点と、前記時間特定ステップにより特定された前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定ステップと、
前記映像データの再生状況を監視し、前記開始時点特定ステップにおいて特定した前記映像データについての前記開始時点において、目的とする前記事象を開始させるように制御する制御ステップと
を有することを特徴とする制御方法。
【請求項１５】
請求項１３に記載の制御方法であって、
前記再生区間情報は、前記音声データのテンポに応じた再生区間情報、コード進行に応じた再生区間情報、音高に応じた再生区間情報、音長に応じた再生区間情報、拍子に応じた再生区間情報、楽曲の構造情報に応じた再生区間情報、楽器の種類に応じた再生区間情報、音量の変化に応じた再生区間情報のうち少なくとも一つを含むことを特徴とする制御方法。
【請求項１６】
請求項１５に記載の制御方法であって、
前記構造情報は、前記音声コンテンツデータの繰り返しパターン、イントロ部分、サビ部分、Ａメロ部分、Ｂメロ部分、リフ部分を示す時間情報を含んだものであることを特徴とする制御方法。
【請求項１７】
請求項１４に記載の制御方法であって、
前記再生区間情報は、前記映像データのシーンチェンジ点、カットチェンジ点、目的とするシーンの開始点及び／または終了点であることを特徴とする制御方法。
【請求項１８】
請求項１３または請求項１４に記載の制御方法であって、
前記取得ステップにおいては、前記再生処理ステップにおいての再生処理よりも時間的に先の部分の前記再生区間情報を取得することを特徴とする制御方法。
【請求項１９】
請求項１３または請求項１４に記載の制御方法であって、
前記再生区間情報は、前記音声データあるいは前記映像データとは異なる経路で取得することが可能であることを特徴とする制御方法。
【請求項２０】
請求項１９に記載の制御方法であって、
前記再生区間情報は、対応するコンテンツデータを特定するための識別子を含むことを特徴とする制御方法。
【請求項２１】
目的とする物体の動作状況に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御方法であって、
前記目的とする物体を駆動させるようにする駆動ステップと、
前記目的とする物体の一連の動作に対応して設けられ、前記目的とする物体の目的とする動作区間を特定するための動作区間情報を取得する取得ステップと、
前記取得ステップにおいて取得した前記動作区間情報に基づいて、前記目的とする物体の一連の動作に対する目的とする前記事象の終了時点を特定する終了時点特定ステップと、
目的とする前記事象の開始から終了までの時間を特定する時間特定ステップと、
前記終了時点特定ステップにおいて特定した終了時点と、前記時間特定ステップにおいて特定した前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定ステップと、
前記目的とする物体の動作状況を監視し、前記開始時点特定ステップにおいて特定した前記開始時点において、目的とする前記事象を開始させるように制御する制御ステップと
を備えることを特徴とする制御方法。
【請求項２２】
請求項２１に記載の制御方法であって、
前記取得ステップにおいては、前記駆動ステップにおいての前記目的とする物体の実際の駆動処理よりも時間的に先の部分の前記動作区間情報を取得することを特徴とする制御方法。
【請求項２３】
請求項２１または請求項２２に記載の制御方法であって、
前記動作区間情報は、前記目的とする物体の制御情報とは異なる経路で取得することが可能であることを特徴とする制御方法。
【請求項２４】
請求項２３に記載の制御方法であって
前記動作区間情報は、目的とする物体の動作に関する制御情報を特定するための識別子を含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、音声、映像、物の動きなどの主に再生・作動すべきコンテンツに対応して、他の音声、映像、物の動きなどのコンテンツを所定の関連性をもって再生・作動できるようにする装置および方法に関する。
【背景技術】
【０００２】
従来からＣＤプレーヤやＭＤプレーヤなどの音楽再生専用装置が広く用いられている。しかし、近年においては、パーソナルコンピュータ、ＤＶＤ（Digital Versatile Disc）プレーヤ、ハードディスク録画機などの音声データと映像データとの両方の処理が可能な複合機が広く用いられるようになってきており、音楽の再生をテレビ受像機などのモニタ受像機が接続されている環境で行われる機会が増加している。そのため、接続されているモニタ受像機に対して、音楽再生時において何らかの映像を表示するようにしたいとする要求がある。
【０００３】
このような要求に対応するため、現状では音楽などの音声データの再生時において、当該音声データのスペクトラム解析を行って解析結果を得て、この解析結果と当該音声データの音量情報とに基づいて、当該音声データの再生とリアルタイムに幾何学的な図形を形成し、これをモニタ受像機の表示画面に表示するようにする、いわゆるビジュアライザを用いるようにすることが行われている。
【０００４】
例えば、後に記す特許文献１には、画像を音声と関連付けて表示する情報処理装置（ビジュアライザ）であって、音声の変化に基づいて選択画像を切り替えるとともに、音声の変化に基づいて周波数解析画像と選択画像の合成方法を変更するようにする技術が開示されている。この技術を用いることによって、画像を音声と関連付けてユーザーに提示することができるようにされる。
【特許文献１】特開２００１−０９２４３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のいわゆるビジュアライザの場合、上述したように、音声データのスペクトラム解析結果や音量情報に基づいて幾何学的な模様などを形成するようにしているが、見ていて飽きない多彩な表現をすることが困難である。また、音声データを読み込んでから初めてその音声データの解析が開始されるため、前もって準備が必要な表現はできないという本質的な問題がある。
【０００６】
例えば、コンピュータグラフィックスにより形成した映像と音楽との再生タイミングが一致するように合わせ込む（作り込む）ことはよく行われていることであり、時間をかけることによって、異なる時間に収録された、あるいは、生成された映像データと音声データとを同時に収録したかのように作り込むことは可能である。
【０００７】
しかしながら、実際に自然法則に従って運動する物体を時間的に前もって制御し、音声データの目的とする再生タイミングで同期して他の物体に衝突させるように表現するなどといったことはほぼ不可能である。このように、例えば音声と画像とをいわゆる作りこみではなく、一定の関係を持って、しかもその関係がユーザーにも理解できるような態様でリアルタイムに再生できるようにすることは難しい。
【０００８】
以上のことにかんがみ、この発明は、音声、映像、物の動きなどの主に再生すべきコンテンツの所定の再生時点に、開始から終了までにある程度の時間が必要である種々の事象の終了点を位置付ける（作動タイミングを合わせる）ようにして当該事象を再生・作動できるようにする装置、方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１に記載の発明の制御装置は、
音声データの再生に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御装置であって、
前記音声データの再生処理を行う再生処理手段と、
前記音声データに対応して設けられ、前記音声データの目的とする再生区間を特定するための再生区間情報を取得する取得手段と、
前記取得手段により取得された前記再生区間情報に基づいて、前記音声データに対する目的とする前記事象の終了時点を特定する終了時点特定手段と、
目的とする前記事象の開始から終了までの時間を特定する時間特定手段と、
前記終了時点特定手段により特定された終了時点と、前記時間特定手段により特定された前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定手段と、
前記音声データの再生状況を監視し、前記開始時点特定手段により特定された前記音声データについての前記開始時点において、目的とする前記事象を開始させるように制御する制御手段と
を備えることを特徴とする。
【００１０】
この請求項１に記載の発明の制御装置によれば、音声データが主に再生すべきコンテンツデータであり、この音声データには目的とする再生区間を特定するための再生区間情報がメタデータとして設けられている。音声データは再生処理手段により再生されるが、この場合に、再生対象の当該音声データに対応して設けられている目的とする再生区間を特定するための再生区間情報が取得手段により取得される。
【００１１】
取得手段を通じて取得された再生区間情報に基づいて、終了時点特定手段により、音声データの再生に応じて再生するようにされる目的とする事象の終了時点が特定される。また、時間特定手段により、目的とする当該事象の開始から終了までの時間が特定される。これら特定された目的とする事象の開始から終了までの時間と、再生対象の音声データに対する目的とする当該事象の終了時点とに基づいて、開始時点特定手段により、再生対象の音声データに対する目的とする当該事象の開始時点が特定される。
【００１２】
そして、制御手段の制御により、再生対象の音声データの再生が、開始時点特定手段により特定された開始時点にまで到達した場合に、目的とする当該事象が開始するようにされ、当該事象が終了時点特定手段によって特定された終了時点において終了（完結）するようにされる。
【００１３】
これにより、音声データの目的とする再生区間において、目的とする事象が完結するように再生することができるようにされる。すなわち、ボールが投げられて、目的とするものにあたるまでの動画像が、音声データにおいての目的とする終了時点において完結するように（目的とするものにあたるように）再生することができるようにされる。従って、音声と映像（画像）などにより表現される事象とが合致するように作り込む作業を行うことなく、音声データの再生とリアルタイムに映像などによって表現される種々の事象を表現することができるようにされる。
【００１４】
また、請求項２に記載の発明の再生制御装置は、
映像データの再生に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御装置であって、
前記映像データの再生処理を行う再生処理手段と、
前記映像データに対応して設けられ、前記映像データの目的とする再生区間を特定するための再生区間情報を取得する取得手段と、
前記取得手段により取得された前記再生区間情報に基づいて、前記映像データに対する目的とする前記事象の終了時点を特定する終了時点特定手段と、
目的とする前記事象の開始から終了までの時間を特定する時間特定手段と、
前記終了時点特定手段により特定された終了時点と、前記時間特定手段により特定された前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定手段と、
前記映像データの再生状況を監視し、前記開始時点特定手段により特定された前記映像データについての前記開始時点において、目的とする前記事象を開始させるように制御する制御手段と
を備えることを特徴とする。
【００１５】
この請求項２に記載の発明の制御装置によれば、映像データが主に再生すべきコンテンツデータであり、この映像データには目的とする再生区間を特定するための再生区間情報がメタデータとして設けられている。映像データは再生処理手段により再生されるが、この場合に、再生対象の当該音声データに対応して設けられている目的とする再生区間を特定するための再生区間情報が取得手段により取得される。
【００１６】
取得手段を通じて取得された再生区間情報に基づいて、終了時点特定手段により、映像データの再生に応じて再生するようにされる目的とする事象の終了時点が特定される。また、時間特定手段により、目的とする当該事象の開始から終了までの時間が特定される。これら特定された目的とする事象の開始から終了までの時間と、再生対象の映像データに対する目的とする当該事象の終了時点とに基づいて、開始時点特定手段により、再生対象の映像データに対する目的とする当該事象の開始時点が特定される。
【００１７】
そして、制御手段の制御により、再生対象の映像データの再生が、開始時点特定手段により特定された開始時点にまで到達した場合に、目的とする当該事象が開始するようにされ、当該事象が終了時点特定手段によって特定された終了時点において終了（完結）するようにされる。
【００１８】
これにより、映像データの目的とする再生区間において、目的とする事象が完結するように再生することができるようにされる。すなわち、映像データにおいての目的とする終了時点において完結するように再生することができるようにされる。従って、映像と音声などにより表現される事象とが合致するように作り込む作業を行うことなく、映像データの再生とリアルタイムに音声などによって表現される種々の事象を表現することができるようにされる。
【００１９】
また、請求項９に記載の発明の制御装置は、
目的とする物体の動作状況に応じて、音声、映像、物体の動きの内のいずれかによって表現される事象を制御するようにする制御装置であって、
前記目的とする物体を駆動させるようにする駆動手段と、
前記目的とする物体の一連の動作に対応して設けられ、前記目的とする物体の目的とする動作区間を特定するための動作区間情報を取得する取得手段と、
前記取得手段により取得された前記動作区間情報に基づいて、前記目的とする物体の一連の動作に対する目的とする前記事象の終了時点を特定する終了時点特定手段と、
目的とする前記事象の開始から終了までの時間を特定する時間特定手段と、
前記終了時点特定手段により特定された終了時点と、前記時間特定手段により特定された前記事象の開始から終了までの時間とに基づいて、目的とする前記事象の開始時点を特定する開始時点特定手段と、
前記目的とする物体の動作状況を監視し、前記開始位時点定手段により特定された前記開始時点において、目的とする前記事象を開始させるように制御する制御手段と
を備えることを特徴とする。
【００２０】
この請求項９に記載の発明の制御装置によれば、例えばロボットなどの目的とする物体の動作がいわば主に再生すべきコンテンツであり、この目的とする物体の一連の動作に対しては、目的とする動作タイミングを特定するための動作区間情報がメタデータとして設けられるようにされている。目的とする物体は駆動手段により駆動されるが、この場合に、当該物体の目的とする動作位置（動作タイミング）を特定するための動作区間情報が取得手段により取得される。
【００２１】
取得手段により取得された動作区間情報に基づいて、終了時点特定手段により、目的とする物体の一連の動作においての目的とする事象の終了時点が特定される。また、時間特定手段により、目的とする当該事象の開始から終了までの時間が特定される。これら特定された目的とする事象の開始から終了までの時間と、目的とする物体の一連の動作における目的とする当該事象の終了時点とに基づいて、開始時点特定手段により、目的とする物体の一連の動作においての目的とする当該事象の開始時点が特定される。
【００２２】
そして、目的とする物体の一連の動作において、開始時点特定手段により特定された開始時点（開始タイミング）にまで到達した場合に、目的とする当該事象が開始するようにされ、当該事象が終了時点特定手段によって特定された終了時点（終了タイミング）において終了（完結）するように、制御手段によって制御される。
【００２３】
これにより、目的とする物体の目的とする終了時点において、目的とする事象が完結するように再生することができるようにされる。従って、例えば、ロボットなどの目的とする物の動きと、映像や音声などにより表現される事象とが合致するように作り込む作業を行うことなく、目的とする物体の動きに対して、リアルタイムに音声や映像などによって表現される種々の事象を表現することができるようにされる。
【発明の効果】
【００２４】
この発明によれば、音楽、映像、物体の動きなどのコンテンツの再生時に、実時間的に前もって生成を開始していなくてはならない別の音楽、映像、物理的な物体の動作などを所定のタイミングに同期させるなどのことができ、既存のコンテンツを利用した、コンテンツの新たな提供態様を実現することができる。すなわち、新しいエンターテイメントを提供できる。
【００２５】
再生時点付近の短い時間における音声信号からのみ生成される音楽ビジュアライザや音楽にあわせて動くおもちゃでは表現不可能であった音声、映像、物の物理的な動きによって表現される種々の事象の表現が可能となり、より飽きの来ない新鮮な楽しみを与えることが可能になる。
【発明を実施するための最良の形態】
【００２６】
以下、図を参照しながらこの発明の装置、方法の一実施の形態について説明する。
【００２７】
［記録再生装置について］
図１は、この発明による装置、方法の一実施の形態が適用されたこの実施の形態の記録再生装置を説明するためのブロック図である。図１に示すように、この実施の形態の記録再生装置は、制御部１０と、出力部２０と、記憶部３０と、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）４１と、入力インターフェース（以下、入力Ｉ／Ｆと略称する。）４２と、デジタルインターフェース（以下、デジタルＩ／Ｆと略称する。）４３と、無線インターフェース（以下、無線Ｉ／Ｆと略称する。）４４と、送受信アンテナ４５とを備えたものである。
【００２８】
制御部１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３とが、ＣＰＵバス１４を通じて接続されて構成されたマイクロコンピュータであり、この実施の形態の記録再生装置の各部を制御するものである。
【００２９】
また、出力部２０は、音声デコーダ２１と、音声出力部２２と、映像デコーダ２３と、映像表示部２４とを備えたものである。音声出力部２２は、スピーカであり、映像表示部２４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode-Ray Tube）等の表示素子である。また、音声デコーダ２１は、再生対象の音声データから音声出力部２２に供給するアナログ音声信号を形成するものであり、映像デコーダ２３は、再生対象の映像データから映像表示部２４に供給するアナログ映像信号を形成するものである。
【００３０】
記憶部３０は、インターフェース（以下、Ｉ／Ｆと略称する。）３１と、記録媒体３２とを備えたものである。記録媒体３２としては、例えば、ハードディスク、光ディスク、光磁気ディスク、半導体メモリー、フレキシブルディスクなどの種々の記録媒体を用いることが可能である。
【００３１】
また、記録部３０として、例えば、複数のハードディスクを用いる構成としたり、複数の光ディスクを用いる構成としたりするなど、同種の記録媒体を複数用いるようにしたり、あるいは、ハードディスクと光ディスクとを用いる構成としたり、光ディスクと光磁気ディスクとを用いる構成としたりするなど、種類の異なる複数の記録媒体を用いる構成とすることが可能である。なお、この実施の形態において記録媒体３０は、例えばハードディスクが用いられているものとして説明する。
【００３２】
そして、記録媒体３２は、後述もするように、再生対象の音声データ、映像データ、ＡＶ（Audio/Visual）データ、テキストデータ、その他の種々のコンテンツデータを記憶保持するものである。ここでＡＶデータは、映像データと音声データとが同期をとって再生することができるようにされたものである。また、記録媒体３２は、各コンテンツデータに対応する各種のメタデータも記憶保持する。
【００３３】
各コンテンツデータに対応する各種のメタデータは、詳しくは後述もするが、例えばコンテンツデータが音声データである場合には、各小節の区切りを示すデータや、所定の楽器の演奏の開始時点や終了時点を示すデータなど、コンテンツデータの区切り位置やタイミング位置を示す情報等である。
【００３４】
また、メタデータは、対応するコンテンツデータに付随して提供される場合もあれば、種々の記録媒体やインターネットなどのネットワークを通じて、目的とするコンテンツデータに対するメタデータのみをコンテンツデータとは別個独立に取得することもできるようにされている。なお、コンテンツデータとメタデータとは例えば各コンテンツデータに対して付与するようにされる所定の識別情報によって対応付けることができるようにされている。
【００３５】
外部Ｉ／Ｆ４１は、この実施の形態の記録再生装置においては、インターネット１００に接続するためのものである。したがって、この実施の形態の記録再生装置は、インターネット１００から音声コンテンツデータ、映像コンテンツデータ、ＡＶコンテンツデータ、テキストデータ、各コンテンツデータに対応するメタデータ、その他の種々のデータをダウンロードしてきて、Ｉ／Ｆ３１を通じて記録媒体３２に記憶保持させることができるようにしている。逆に、この実施の形態の記録再生装置から、目的とするサーバー装置に情報を送信して、当該情報を記憶保持させるようにすることも可能である。
【００３６】
入力Ｉ／Ｆ４２は、ユーザーからの操作入力を受け付けるキー操作部である。入力Ｉ／Ｆ４２を通じて受け付けられた操作入力は、電気信号に変換されて制御部１０に供給される。これにより、制御部１０は、ユーザーからの操作入力に応じて、この実施の形態の記録再生装置を制御することができるようにされる。
【００３７】
デジタルＩ／Ｆ４３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、あるいは、ＵＳＢ（Universal Serial Bus）、あるいは、その他のデジタルインターフェースに準拠したものであり、専用線を通じて、他の電子機器に接続し、例えば、コンテンツデータやコンテンツデータに対するメタデータなどの送受を行うことができるようにしている。
【００３８】
また、無線Ｉ／Ｆ４４、および、送受信アンテナ４５は、例えば、無線ＬＡＮなどに接続し、相互に情報の送受を行うことができる。また、この無線Ｉ／Ｆ４４、および、送受信アンテナ４５を通じて、コンテンツデータやコンテンツデータに対するメタデータを無線ＬＡＮシステムから提供を受けることもできるようにしている。
【００３９】
そして、この実施の形態の記録再生装置においては、上述もしたように、インターネット１００と外部Ｉ／Ｆ４１を通じて、あるいは、無線Ｉ／Ｆを通じて、あるいは、デジタルＩ／Ｆ４３を通じて提供される、コンテンツデータやコンテンツデータに対応するメタデータを、Ｉ／Ｆ３１を通じて記録媒体３２に記録して保持する。
【００４０】
このようにして、記録媒体３２に記録保持されたコンテンツデータについては、この記録再生装置において利用することができるようにされる。例えば、コンテンツデータが音声データ、映像データ、ＡＶデータである場合には、入力Ｉ／Ｆ４２を通じて再生を指示することにより、その指示されたコンテンツデータを読み出して、出力部２０のデコーダ２１、２３を通じてデコードし、音声出力部２２、映像表示部２４を通じて再生してユーザーに提供することができるようにされる。また、コンテンツデータがプログラムである場合には、制御部１０において実行することができるようにされる。
【００４１】
［音声データの再生について］
そして、この実施の形態の記録再生装置においては、記録媒体３２に記録保持されているコンテンツデータである音声データを出力部２０を通じて再生して出力する場合に、当該音声データの再生に応じて、例えば物理法則などの所定の関係にしたがって目的物が動くように表現するコンピュータグラフィックス画像を制御部１０において形成するようにし、これをデコーダ２３、映像表示部２４を通じてユーザーに提供することができるようにしている。
【００４２】
この場合、この実施の形態の記録再生装置は、コンピュータグラフィックス画像と音声データとの再生同期が合うように予め作り込むようにするものではない。音声データの所定の再生時点に合致して、コンピュータグラフィックス画像によって表現される目的とする所定の事象（目的事象）が終了するように当該コンピュータグラフィックス画像をリアルタイムに形成するようにしている。なお、この明細書において、事象という文言は、観察しうる形をとって現れる事柄を意味し、映像によって表現されるものの他、音声によって表現されるものや、物体の物理的な動きにより表現されるものをも含んでいる。
【００４３】
具体的には、投げられたボールが放物線を描いて飛んで行きドラムのシンバルに当たるというようなコンピュータグラフィックス画像を音声データの再生に応じて形成して表示する場合に、放物線を描いて飛んで行くボールがドラムのシンバルに当たった瞬間に、ドラムのシンバル音が再生されるというように、音声データの目的とする再生時点において、コンピュータグラフィックス画像によって表現される所定の事象が終了するように、当該コンピュータグラフィックス画像を音声データの目的とする再生時点よりも前から形成して表示するようにしている。
【００４４】
このようにするために、コンピュータグラフィックス画像により表現される事象であるボールが投げられてからドラムのシンバルに当たるまでの時間を把握し、目的とする再生位置の音声データを再生するタイミングのどれ位前から当該コンピュータグラフィックス画像の形成処理を開始すればよいかを正確に特定し、その特定した再生時点（音声データを基準とした場合の再生時点）からコンピュータグラフィックス画像の形成処理や表示処理を開始することができるようにしている。
【００４５】
そして、音声データの目的とする再生区間を特定するために、音声データに対応するメタデータを用いるようにしている。すなわち、音声データに対応するメタデータは、上述もしたように、各小節の区切りを示すデータや、所定の楽器の演奏の開始時点や終了時点を示すデータなどである。したがって、メタデータを用いることによって、所定の楽器の演奏開始時点において、コンピュータグラフィックス画像によって表現される事象の終了場面を表示するように、音声の出力とコンピュータグラフィックス画像の出力との同期を取るようにするなどのことが可能になる。
【００４６】
すなわち、この実施の形態の制御部１０は、音声データの再生に応じて表示すべき一連コンピュータグラフィックス画像（動画像）により表現される事象がある場合に、再生対象の音声データを記録媒体３２から読み出して、デコーダ２１、音声出力部２２を通じて再生する処理を行うようにすると共に、当該音声データに対応するメタデータを先読みする。
【００４７】
そして制御部１０は、先読みしたメタデータに基づいて、コンピュータグラフィックス画像によって表現される事象の終了時点を特定すると共に、その事象の開始から終了までの時間を特定し、これらに基づいて、コンピュータグラフィックス画像によって表現する事象の開始時点、すなわち、目的とする事象を表現するコンピュータグラフィックス画像の形成および表示開始時点を特定する。
【００４８】
この後、制御部１０は、出力部２０を通じて再生される音声データの再生状況を監視して、特定した開始時点からコンピュータグラフィックス画像の形成を開始し、これをデコーダ２３、映像表示部２４を通じて表示出力してユーザーに提供するようにする。すなわち、音声データの再生に応じて、当該音声データの所定のタイミング（特定した終了時点）において、コンピュータグラフィックス画像により表現される事象が完結するように、当該コンピュータグラフィックス画像の形成および表示を行うことができるようにしている。
【００４９】
このように、この実施の形態の記録再生装置においては、出力部２０が、音声データ、映像データ、ＡＶデータなどのコンテンツデータの再生処理手段としての機能を実現し、制御部１０が、メタデータを読み出し、コンピュータグラフィックス画像などにより表現される事象の終了時点、当該事象の開始から終了までの時間、当該事象の開始時点を特定する各特定手段としての機能と、当該事象をユーザーに提示するように制御する制御手段としての機能を実現するようにしている。
【００５０】
また、メタデータが記録媒体３２に記録保持されている場合には、Ｉ／Ｆ３１、制御部１０が、メタデータを取得する取得手段としての機能を実現している。また、メタデータをインターネット１００を通じて取得する場合には、外部Ｉ／Ｆ４１および制御部１０が取得手段としての機能を実現し、無線ＬＡＮを通じて取得する場合には、送受信アンテナ４５、無線Ｉ／Ｆ４４、制御部１０が取得手段としての機能を実現する。また、メタデータをデジタルＩ／Ｆ４３を通じて外部機器などから取得する場合には、外部Ｉ／Ｆ４３、制御部１０が取得手段としての機能を実現することになる。
【００５１】
以下、音声データなどのコンテンツデータに再生に応じて、映像データ、音声データ、物体の動きなどによって表現される目的とする事象（目的事象）を制御する場合の具体例について詳細に説明する。
【００５２】
［音声データとメタデータの具体例について］
まず、主な再生対象のコンテンツデータが音声データである場合の当該音声データとメタデータの具体例について説明する。図２は、この実施の形態の記録再生装置において利用可能とされる音声データの一例と、この音声データに対応するメタデータの一例とについて説明するための図である。図２において、図２Ａは、記録媒体３２に記憶保持され再生対象となるコンテンツデータである音声データ（オリジナル音声データ）の波形図である。
【００５３】
図２において、図２Ｂ、図２Ｃ、図２Ｄのそれぞれは、図２Ａに示した音声データに対応するメタデータである。図２Ｂは、図２Ａに示した音声データにおいて、バスドラム音の発生開始タイミング（発音（放音）ポイント）を示すメタデータであり、図２Ｂにおいて縦方向の線で示したタイミングが、バスドラム音の発生開始タイミングを示している。
【００５４】
同様に、図２Ｃは、図２Ａに示した音声データにおいて、スネアドラム音の発生開始タイミング（発音（放音）ポイント）を示すメタデータであり、図２Ｂにおいて縦方向の線で示したタイミングが、スネアドラム音の発生開始タイミングを示している。また、図２Ｄは、ギター音の発音区間（発音ポイントから消音ポイントまでの区間）を示している。
【００５５】
このように、各音声データに対しては、各楽器音の発音、消音の時間的な位置情報（タイミング情報）を記述したメタデータが設けられており、このメタデータを使用し、当該音楽データに含まれる種々のタイミング情報を得ることができるようにされている。
【００５６】
なお、図２Ｂ、図２Ｃ、図２Ｄに示したメタデータは、図２Ａに示した音声データに対応するメタデータの一例である。例えば、音声データのテンポに応じた位置情報、コード進行に応じた位置情報、音高に応じた位置情報、音長に応じた位置情報、拍子に応じた位置情報、楽曲の構造情報に応じた位置情報、楽器の種類に応じた位置情報、音量の変化に応じた位置情報などをメタデータとして対応付けるようにすることも可能である。
【００５７】
なお、楽曲の構造情報としては、コード進行に応じた期間を示す情報、イントロ部分を示す情報、Ａメロディ部分を示す情報、Ｂメロディ部分を示す情報、さび部分を示す情報、間奏部分を示す情報、エンディング部を示す情報などがあり、これら再生対象のコンテンツデータである音声データの構造的情報を音声データに対応付けるようにすることも可能である。その他、音声データに対して、その先頭からの所定間隔毎のタイムコードを示す情報を対応付けるようにしておくことも可能である。
【００５８】
そして、図２に示したように、音声データ（図２Ａ）に対して、当該音声データを構成する各楽器の発音ポイントや消音ポイントを示すメタデータ（図２Ｂ、図２Ｃ、図２Ｄなど）が対応付けられていることにより、以下のように音声データの再生に応じて、コンピュータグラフィックス画像の形成および表示を行うようにすることができる。
【００５９】
図３は、音声データの再生に応じて、コンピュータグラフィックス画像の形成および表示を行うようにする場合の一例を説明するための図である。図３に示すように、図３Ａの音楽コンテンツ（音声データ）を再生することにより、時点ｔ１において再生されるシンバル音に同期させるように、放物線を描いて飛んでくるボールがシンバルにあたるコンピュータグラフィックス画像を形成して表示する場合に、時点ｔ１よりも前の時点ｔ０から当該コンピュータグラフィックス画像の形成および表示処理を行うようにすることによって、時点ｔ１において再生されるシンバル音の放音に対して、コンピュータグラフィックス画像による一連の動画像のうち、飛んでくるボールがシンバルにあたった画像の表示とを同期させることができるようにしている。
【００６０】
このように、この実施の形態の記録再生装置は、音声データ（オリジナルコンテンツデータ）の再生時において、当該音声データに対して対応付けられているメタデータを先読みし、当該音声データのある部分が再生される時点ｔ１より以前の時点ｔ０から、時点ｔ１において同期させるようにするコンピュータグラフィックス画像の生成および表示処理を開始させることができるようにしている。
【００６１】
［音声データの再生に応じて動画像を表示する場合の具体例について］
次に、この実施の形態の記録再生装置において行われる記録媒体３２に記録保持されている音声データを再生して音声出力部２２から出力する場合に、この音声データの再生に応じて、動画像のコンピュータグラフィックス画像を形成して映像表示部２４に表示する場合の処理について具体的に説明する。
【００６２】
図４は、音声データの再生に応じて、記録再生装置の制御部１０で生成し、映像表示部２４の表示画面に表示するコンピュータグラフィックス画像（動画像）の例を説明するための図である。ここでは、図４に示すようにパイプ群１のパイプのそれぞれからボール３が発射され、これがドラムセット２の各部に当たるという事象をコンピュータグラフィックスにより表現するようにし、このようなコンピュータグラフィックス画像を音声データの再生に応じて形成して表示する。
【００６３】
この場合、ドラムセット２の目的の部分に、再生される音楽に同期させてボールをあてることが重要となる。つまり、記録媒体３２から読み出され、制御部１０を通じてデコーダ２１においてデコード処理され、音声出力部２２から放音される音楽の中で、シンバルが「ジャーン」と鳴るのと同期して同時にボール３がシンバル２ａに当たるようにコンピュータグラフィックス画像を形成して表示しなければならない。
【００６４】
具体的には、ボール３を発射するパイプ１とシンバル２ａとの位置関係、ボール３を発射する際の初速度、発射角度などから、ボール３が発射されてからシンバル２ａに到達するまでの所要時間が計算される。シンバル音が再生されるタイミングよりこの所要時間だけ先んじてボール３を発射することにより、実現される。例えば、ボール３の発射ごとにパイプ１の発射角度が所定のルールにより変更される場合には、これに応じてボール３の初速度を変更させてシンバル２ａに到達させる。そのとき到達するまでの所要時間は異なるものとなるが、そのたびに所要時間だけ先んじてボール３を発射すればよい。
【００６５】
このようにすることによって、音声データを再生することにより発音（放音）される音楽を聴きながら、これに同期して表示するようにされる図４を用いて説明したようなボール３の移動を伴うコンピュータグラフィックス画像を見ているユーザーにとっては、あたかもシンバル２ａにボール３が当たっているから再生されている音楽の中でもシンバルが鳴っているように感じることができる。しかしながら実際には再生されている音楽に合わせてコンピュータグラフィックス画像が変化している（動いている）のである。
【００６６】
このように、音声データの再生に同期してコンピュータグラフィックス画像により表現される事象を監視できるようにすることによって、単に再生される音楽だけを聴いているだけの場合や、再生される音楽に合わせてその瞬間の周波数解析や音圧解析に基づいて形成される（表現される）既存の表現方法に応じた画像（映像）を表示する場合においては得られないコンテンツデータの再生感覚（体験）をユーザーに与えることができる。
【００６７】
そして、上述した音声データの再生に応じて、コンピュータグラフィックス画像を形成して表示することを実現するためには、以下のようにして、再生対象の音声データに対応するメタデータを用いることになる。図５は、音声データの再生に応じて、コンピュータグラフィックス画像を形成して表示することを実現する場合の当該音声データに対応するメタデータの利用を説明するための図である。
【００６８】
図５Ａに示すようにオリジナルの音声データを再生する場合、当該音声データを再生するようにしながら、同時に制御部１０は、記録媒体３２に記録されているドラム音の時間情報が記録されたメタデータを先読みし、シンバル音の発音時点（同期表現位置）ｔ１を特定する。
【００６９】
そして、図４を用いて説明したように、コンピュータグラフィックス画像によって表現する事象の開始から終了までの時間ｎ（秒）を特定する。この例の場合には、コンピュータグラフィックスにより形成される動画像であって、パイプ群１のパイプからボール３が発射されてドラムセット２のシンバル２ａにあたるまでにかかる時間ｎ（秒）を特定することになる。
【００７０】
なお、時間ｎの特定は、形成するコンピュータグラフィックス画像を物理法則にしたがって形成している場合には、ボール３が発射されるパイプ群１とドラムセット２のシンバル２ａとの距離、パイプ群１の角度、ボールの初速度などの諸条件を物理法則に当てはめて算出することによって特定することが可能である。
【００７１】
また、時間ｎの特定は、形成するコンピュータグラフィックス画像が物理法則に従って形成されないものであっても、制御部１０の処理能力やコンピュータグラフィックス画像を形成するアルゴリズムなどに応じて、パイプ群１からボール３が発射され、これがシンバル２ａにあたるまでの画像を形成して表示するまでにかかる時間を算出することによって特定することが可能である。
【００７２】
これにより、シンバル音の発音時点であり、ボール３がシンバルａにあたる画像を表示しなければならない音声と画像の同期表現位置ｔ１よりも、ｎ秒前の時点を、ボール３が発射されてシンバル２ａにあたるまでの事象を表現したコンピュータグラフィックス画像の形成開始位置ｔ０であることが確定できる。
【００７３】
このように、音声データを再生しながら、この再生対象の音声データに対応するメタデータを先読みし、パイプ群１のパイプから発射されたボール３がシンバル２ａに当たるべき時刻ｔ１ の位置（値）を遅くともｔ１− ｎ（秒）以前に得て、図４を用いて説明したパイプ群１からボール３を発射してシンバル２ａにあてる事象を表現するコンピュータグラフィックス画像の形成処理の開始時点ｔ０を特定する。
【００７４】
そして、制御部１０は、デコーダ２１においての音声データのデコード処理の進行状況を監視し、再生対象の音声データの再生が再生時点ｔ０まできたときに、図４を用いて説明したコンピュータグラフィックス画像の形成処理および表示処理を開始する。すなわち、音声データの再生時点ｔ０が、コンピュータグラフィックス画像により表現される所定の事象の開始時点（目的とするコンピュータグラフィックス画像の形成および表示の開始位置）となる。
【００７５】
そして、再生対象の音声データの再生時点が時点ｔ１に到達すると、シンバル音を含む再生音が音声出力部２２から放音され、同時に、飛んできたボール３がシンバル２ａにあたった場面のコンピュータグラフィックス画像が形成され映像表示部２４に表示されることになる。したがって、同期表現位置である時点ｔ１が、当該コンピュータグラフィックス画像により表現される所定の事象の終了時点となる。
【００７６】
なお、上述もしたように、音声データの再生に応じて表示するようにするコンピュータグラフィックス画像は、物理法則にしたがっていなくてもよいので、現実世界では実現が困難な表現も可能である。例えば、発音時にはコンピュータグラフィックス技術によって描画された弦楽器の弦の１本に小さな物体が当たり振動を開始するように表現し、発音が終了するときに、どこからともなく飛来してきた蝶々が弦にとまり弦の振動が停止するように表現するなどのことも可能である。
【００７７】
このように音声データと、それに対応するメタデータを使用すると、どの時刻にどの楽器が発音（または消音）するかがわかる。このため、音声と動画像とが同期を取って再生できるように作り込まなければ実現できなかった、例えば、図４を用いて説明したようなコンピュータグラフィックス画像であって、ボールが発射されてからシンバルにあたるまでの一連の事象を表現できるようにすることが、音声データの再生処理に対してリアルタイムに行うことができるようになる。すなわち、従来不可能であった音声データの再生に対してリアルタイムに目的とする事象を表現するコンピュータグラフィックス画像を形成して表示することができるようにされる。
【００７８】
なお、ここでは説明を簡単にするため、シンバル音の発音時点と、コンピュータグラフィックスによって表現される動画像であって、パイプから発射されたボールが飛んで行きドラムセットのシンバルにあたった時点とを一致させるようにする場合について説明した。しかし、このような単純な例に限られるものではない。
【００７９】
種々の楽曲においては、所定のリズムを刻むように、ドラムセットを構成する各部分がたたかれるようにされている。したがって、楽曲の音声データに対するメタデータとしては、図２を用いて説明したように、ドラムセットを構成するバスドラム音の発音タイミングを示す情報、スネアドラム音の発音タイミングを示す情報、タムタムドラム音の発音タイミングを示す情報、ハイハット音の発音タイミングを示す情報、シンバル音の発音タイミングを示す情報などが含まれる。
【００８０】
したがって、ドラムセットによってリズムを刻んでいるような楽曲の音声データを再生し、これに応じて図４を用いて説明したようなコンピュータグラフィックス画像を形成する場合には、ドラムセットの各構成部分の発音タイミングに基づいて、パイプ群１のそれぞれのパイプから連続的にボールを発射し、ドラムセット２を構成する各部にあたるように表現するコンピュータグラフィックス画像の形成よび表示のタイミングを求め、複数のボールを連続的に発射して、ドラムセット各構成部分の発音タイミングに同期するように、ドラムセットの各部分にボールが飛んできてあたるようにする複雑な内容のコンピュータグラフィックス画像を形成して表示するようにすることが可能である。
【００８１】
また、再生される音声データのどのようなタイミングで、どのような事象を発生させるかを示す情報、例えば、上述したように、シンバルの発音タイミングにおいて、飛んできたボールがシンバルにあたるコンピュータグラフィックス画像による事象を生成して表示することを示す情報をメタデータとして音声データに対応付けて記憶保持させておくようにすることが可能である。
【００８２】
また、音声データの再生時などにおいて、再生される音声データのどのようなタイミングで、どのような事象を発生させるかを示す情報を、入力Ｉ／Ｆ４２を通じて受け付けて、これをＲＡＭ１３などに記憶し、これに基づいて、所定の事象の音声データにおいての終了時点、当該所定の事象の開始から終了までの時間、当該所定の事象の音声データにおいての開始時点を特定できるようにすることも可能である。
【００８３】
また、再生される音声データのどのようなタイミングで、どのような事象を発生させるかを示す情報は、各音声データに対して予め作成しておくことも可能であるし、適宜のタイミングにおいて、入力Ｉ／Ｆ４２を通じてユーザーが入力するようにしたり、あるいは、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などを通じて、音声データの再生処理前や音声データの再生処理時など、適宜のタイミングで外部から提供を受けるようにすることももちろん可能である。
【００８４】
［音声データの再生に応じた物体の物理的な動きの制御について］
上述の例は、音声データの再生に応じて、コンピュータグラフィックス画像を形成して表示する場合について説明したが、これに限るものではない。実際に存在する物体の動きを音声データの再生に応じて制御するようにすることも可能である。
【００８５】
例えば、アミューズメントパークなどにおいては、音声データの再生に応じて、実際にボールをパイプから発射し、目的物にあてるように制御することができる。この例のようにボールを射出する場合には、放物線の計算を行うことで正確な物体（ボール）の運動、すなわち、移動経路や目的地点への到達時間などを求めることができるためそこから制御を開始すべき時間を逆算することが容易にできる。したがって、再生される音声データのシンバル音の発音タイミングで、所定の対象物（例えば人形など）にボールをあてるように、ボールの出射装置を制御することが簡単にできるようにされる。
【００８６】
なお、ボールの出射装置は、ボールの出射機構と、それを制御するためのＣＰＵ、ＲＯＭ、ＲＡＭなどからなる制御部を備えると共に、例えば、送受信アンテナと通信Ｉ／Ｆとを備え、この実施の形態の図１に示した記録再生装置の通信Ｉ／Ｆ４４、送受信アンテナを通じて相互に通信を行うことができるようにされたものである。
【００８７】
このような構成をボールの出射装置が有することにより、ボールの当該出射装置は、この実施の形態の記録再生装置からの動作指示を受け付けて、当該記録再生装置の音声出力部２２を通じて発音されるシンバル音の発音タイミングよりも前からボールの出射装置を制御してボールを発射させ、シンバル音の発音タイミングに同期させて、ボールを目的物にあてるようにすることができる。
【００８８】
また、このようなボールの射出に限らず、物理計算で求まる物理量であれば同様にその物体の動きを計算し、例えば目的の対象物に物体があたるまでの時間など、目的とする事象が完結までにかかる時間を求めることができるため、種々の物体を介在させて発生させる事象の制御にこの発明を適用することが可能である。
【００８９】
また、近年においては、犬や猫などの形を模したペット型や人型をしたロボット（以下、ペット型ロボット）が一般家庭において用いられるようになってきている。このペット型ロボットは、ユーザーの発する音声に反応して複雑な動作をすることができるなどの多様な機能を備えており、新たな家庭用電気製品として認識されるようになってきている。
【００９０】
ペット型ロボットは、例えば、手、足、首、目、口、尻尾などの各部を駆動させるための駆動機構と、これを制御するためにＣＰＵ、ＲＯＭ、ＲＡＭなどからなる制御部とを有するものである。そして、この発明を用いることによって、音声データの再生に応じて、上述のようなペット型ロボットの駆動を制御することも可能である。
【００９１】
ペット型ロボットを、この実施の形態の記録再生装置によって制御できるようにするため、ペット型ロボットにも、送受信アンテナや無線Ｉ／Ｆを設け、図１に示したこの実施の形態の記録再生装置の送受信アンテナ４５、無線Ｉ／Ｆ４４を通じて相互に通信できるようにしておき、無線通信により提供される制御情報に応じて、ペット型ロボットの制御部が書く駆動機構を制御できるようにする。
【００９２】
ここでは、図１に示した記録再生装置において、記録媒体３２に記録保持されている音声データが再生された場合に、例えばシンバル音の発音タイミングにおいて、ペット型ロボットにジャンプするような動作をさせるようにすることを考える。この場合、ペット型ロボットのジャンプするような動作は、例えば、しゃがみ込むような姿勢になってから、いっきに伸び上がるような姿勢をとる一連の動作である。
【００９３】
この場合、記録再生装置の制御部１０は、再生対象の音声データのメタデータを先読みし、上述したように、シンバル音の発音タイミングｔ１を特定する。また、記録再生装置の制御部１０は、ペット型ロボットと通信を行って、ジャンプするような一連の動作の開始から終了までにかかる時間ｎを取得する。
【００９４】
この場合、ジャンプするような一連の動作の開始から終了までにかかる時間ｎなどの主な動作の開始から終了までにかかる時間の情報は、ペット型ロボットが備えるメモリーに予め登録されており、この情報を無線通信によって、ペット型ロボットから記録再生装置が取得することができる。
【００９５】
そして、記録再生装置の制御部１０は、再生する音声データのシンバル音の発音タイミングｔ１よりも、ジャンプする一連の動作の開始から終了までにかかる時間ｎだけ前の時点を動作開始タイミングｔ０とし、音声データの再生時点が動作開始タイミングｔ０になった場合に、記録再生装置の制御部１０が、無線Ｉ／Ｆ４４、送受信アンテナ４５を通じてペット型ロボットに対して、ジャンプするような動作の開始指示（ジャンプ指示）を送信する。
【００９６】
ペット型ロボットの制御部は、記録再生装置からのジャンプ指示を受信すると、上述もしたように、しゃがみ込むような姿勢になってから、いっきに伸び上がるような姿勢をとる一連のジャンプ動作を開始するように各駆動機構を制御し、記録再生装置の音声出力部２２からシンバル音が発音されたタイミングでジャンプ動作が完結するようにされる。
【００９７】
これにより、ペット型ロボットの動作に応じて、シンバルがなっているように感じるようにすることができるなど、ペット型ロボットを従来とは異なる態様で制御し、ペット型ロボットがより主体的、自立的に動作しているような感じをユーザーに与えるようにすることができる。
【００９８】
［音声データの再生に応じた他の音声データの再生制御について］
また、上述したように、音声データの再生に応じて動画像の表示を制御するようにしたり、音声データの再生に応じて物体の物理的な動きを制御したりする場合と同様に、メインの音声データの再生に応じて、サブ的に用いられる他の音声データの再生を制御することも可能である。
【００９９】
例えば、開いていたドアが風にあおられて所定の速さで動き出し閉まる場合に発する一連の音である「ぎー、ばたん」という音の音声データがあるとする。この場合、ドアが動きだしてから閉まる直前まで「ぎー」というドアの蝶番がきしむ音が持続し、ドアが閉まった瞬間の「ばたん」という音で、ドアが動き出してから閉まるまでの一連の事象が表現される。
【０１００】
そして、メインの音声データの再生に応じて、ドアが動き出してから閉まるまでの一連の音である「ぎー、ばたん」という音を再生するようにするが、メインの音声データを再生することにより得られる楽曲の歌の歌い終わりのタイミングでドアが閉まる「ばたん」という音を発するように制御したいとする。
【０１０１】
このような場合には、メインの音声データに対するメタデータを先読みし、歌の歌い終わりの位置ｔ１を特定するとともに、ドアが動き出してから閉まるまでの一連の音である「ぎー、ばたん」という音の開始から終了までの時間、正確には。「ぎー」という音の発音開始から「ばたん」という音の発音開始までの時間ｎを特定する。
【０１０２】
そして、メインの音声データを再生し、位置ｔ０まで再生された時点で、ドアが動き出してから閉まるまでの一連の音である「ぎー、ばたん」という音声データの再生を開始するように制御する。これにより、メインの音声データを再生することにより得られる楽曲の歌い終わりの部分で、ドアが動き出してから閉まるまでの一連の音を発することができ、歌の歌い終わりのタイミングに同期させて、ドアが閉まるときに発する「ばたん」という音を再生して発するように制御するなどのことができるようにされる。
【０１０３】
このように、メインの音声データの再生に応じて他の音声データを再生する場合においても、単に単発的に発生させるようにする音声の発音タイミングを制御しているのではない。ある事象の開始から終了までの一連の音声を再生し、メインの音声データの所定の音の発音タイミングに対して、他の音声データによる所定の音の発音タイミングを同期させるように制御している。
【０１０４】
なお、ここでは、音声データの再生に応じた他の音声データの再生制御について説明した。しかし、例えば、コンピュータグラフィックス画像によるドアの動きに、音声データの所定の音の発音タイミングが同期するように、音声データの再生を制御するといったことももちろん可能である。また、コンピュータグラフィックス画像によるドアを、現実のドアに適用させることも可能である。つまり、実際のドアが閉まるタイミングに音声データの所定の音の発音タイミングが同期するように、音声データの再生を制御するといったことが可能である。
【０１０５】
［音声データの再生に応じた、動画像の表示制御、物体の物理的動作の制御、他の音声データの再生制御について］
次に、図６のフローチャートを参照しながら、この実施の形態の記録再生装置において行われる音声データの再生に応じて、動画像の表示制御など、種々の制御を行う場合の処理について説明する。図６に示す処理は、音声データの再生に応じて、制御すべき事柄がある場合に記録再生装置の制御部１０において実行される。
【０１０６】
音声データの再生に応じて、コンピュータグラフィックス画像の形成および表示を制御したり、物の物理的な動きを制御するようにしたり、他の音声データの再生を制御したりすることが指示されているあるいは指示された場合、図６に示す処理が制御部１０において実行され、制御部１０は、制御対象となる各目的事象の開始から終了までにかかる時間を特定する（ステップＳ１０１）。
【０１０７】
このステップＳ１０１の処理は、前述した実施の形態において説明したように、音声データの再生に応じて、所定の動画像のコンピュータグラフィックス画像を表示するように制御する場合には、そのコンピュータグラフィックス画像によって表現しようとしている事象（パイプからボールが発射されシンバルにあたるまでの動画像）の開始から終了までの時間を特定する処理である。
【０１０８】
同様に、音声データの再生に応じて、実際の物の動きを制御しようとする場合には、その物の所定の動き（実際にパイプからボールが発射され、シンバルにあたるまでの動き）の開始から終了までの時間を特定する処理であり、音声データの再生に応じて、他の音声データの再生を制御しようとする場合には、その他の音声データによって再生される一連の音声の開始から終了までの時間を特定する処理である。
【０１０９】
そして、記録再生装置の制御部１０は、再生対象の音声データのメタデータを先読みし（ステップＳ１０２）、ステップＳ１０１において特定した制御対象の事象の開始から終了までの時間と、先読みしたメタデータに基づいて、制御する目的事象の開始タイミングを特定する（ステップＳ１０３）。
【０１１０】
すなわち、ステップＳ１０３の処理は、上述もしたように、先読みしたメタデータに基づいて、再生対象の音声データにおけるシンバルの発音タイミングなどである制御対象の事象の終了位置ｔ１を特定し、この終了位置ｔ１からステップＳ１０１において特定した時間ｎを差し引くことにより、制御対象の事象の開始位置ｔ０を特定する処理である。
【０１１１】
なお、目的事象が複数存在する場合には、ステップＳ１０１の処理において、その複数の目的事象のそれぞれについての開始から終了までにかかる時間を特定するとともに、ステップＳ１０３の処理において、その複数の目的事象のそれぞれについての開始タイミングを特定する。
【０１１２】
ステップＳ１０３で特定された各目的事象の開始タイミングは、制御部１０のＲＡＭ１３において管理される。そして、制御部１０は、再生対象の音声データの再生状況を監視し、開始タイミングが到来した目的事象があるか否かを判断する（ステップＳ１０４）。ステップＳ１０４の判断処理において、開始タイミングが到来した目的事象があると判断したときには、その開始タイミングが到来した目的事象の再生処理を開始するようにする（ステップＳ１０５）。
【０１１３】
このステップＳ１０５の処理により、目的事象が例えばコンピュータグラフィックス画像の形成および表示の処理である場合には、そのコンピュータグラフィックス画像の形成および表示の処理が開始され、再生対象の音声データに応じて目的とする音の発音タイミングなどの所定のタイミングに同期して、コンピュータグラフィックス画像により表現される目的事象が終了するようにされる。
【０１１４】
そして、制御部１０は、再生対象の音声データの再生処理が終了したか否かを判断する（ステップＳ１０６）。このステップＳ１０６の判断処理において、音声データの再生は終了していないと判断したときには、制御部１０は、ステップＳ１０４からの処理を繰り返すようにし、また、音声処理の再生は終了したと判断したときには、ステップＳ１０６の判断処理に進み、音声データの再生が終了したか否かを判断することになる。
【０１１５】
このようにして、音声データの再生に応じて、音声データの再生の実時間的に前もって、処理を開始しなくてはならない他の音声データの再生やコンピュータグラフィックス画像形成および表示、物理的な物体の動作制御などを行うようにすることができるので、再生対象の音声データの所定の位置に、他の音声データによる音の発音、コンピュータグラフィックス画像の形成および表示、物理的な物体の動作の終了などを一致させるなどのことができるようにされる。これによって、音声データを利用した新しいエンターテイメントを提供できる。
【０１１６】
なお、目的事象がコンピュータグラフィックス画像を利用するものである場合、従来から用いられている再生時点付近の短い時間における音声信号からのみ生成される音楽ビジュアライザや音楽にあわせて動くおもちゃでは表現不可能であった一連の事象の新しい表現が可能となるため、より飽きの来ない新鮮な楽しみ方をユーザーに対して与えることができるようにされる。
【０１１７】
また、ステップＳ１０３においては、ステップＳ１０１において特定した制御対象の事象の開始から終了までの時間と、先読みしたメタデータに基づいて、制御する目的事象の開始タイミングを特定するものとして説明したが、これに限るものではない。例えば、制御対象の機器が離れている場合には、制御信号の送受信時間などを考慮して、開始タイミングを早めに設定したり、また、記録再生装置の処理能力が高い場合などにおいては、開始タイミングを遅めに設定したりするなど、適宜のオフセットを付加することも可能である。
【０１１８】
また、ステップＳ１０１の処理とステップＳ１０２の処理の実行順を変更するようにしてももちろんよい。
【０１１９】
［再生対象コンテンツの他の例］
上述した実施の形態においては、記録媒体３２に記録保持された音声データの再生に応じて、動画像の表示、物体の物理的な動作、他の音声データの再生を制御するものとして説明した。しかし、これに限るものではない。例えば、映画やドラマ、あるいは、コンピュータグラフィックスによって形成された動画像などの種々の映像コンテンツデータの再生に応じて、物体の物理的な動作、音声データの再生、他の表示素子などへの他の動画像の表示などを制御するようにすることも可能である。
【０１２０】
すなわち、図１に示した記録媒体３２には、映像やテレビドラマなどの映像コンテンツデータの記録も可能であり、記録媒体３２に記録保持された映像コンテンツデータの再生に応じて、種々の事象の表現制御ができるようにされる。この場合にも、記録媒体３２に記憶保持される映像コンテンツデータのそれぞれ対して、目的とするシーンの開始点や終了点、シーンチェンジ点、カットチェンジ点などの目的とする位置を示す位置情報有するメタデータが設けられるようにされる。
【０１２１】
そして、映像コンテンツデータを制御部１０、映像デコーダ２３を通じて再生し、映像を映像表示部２４に表示している場合に、制御部１０は、Ｉ／Ｆ３１を通じて記録媒体３２から再生対象の映像データに対応するメタデータを先読みする。そして、制御部１０は、先読みしたメタデータに基づいて、目的とするシーンの開始タイミングｔ１を特定し、この目的とするシーンの開始タイミングｔ１で目的とする一連の事象（目的事象）が完結するように、その目的事象の開始タイミングを制御するようにする。
【０１２２】
例えば、図１に示した記録再生装置を用いて、記録媒体３２に記録保持されている映画コンテンツを再生して視聴する場合に、その映画の爆発シーンの再生タイミングに同期して、ペット用ロボットをジャンプさせるように制御するなどのことが可能である。
【０１２３】
また、図１に示した記録再生装置を例えばアミューズメントパークのミニシアターなどで利用する場合には、当該記録再生装置をそのミニシアターのドア開閉装置と無線通信などで接続可能にしておき、当該記録再生装置で映画コンテンツを再生して視聴する場合に、恐怖シーンの開始タイミングでちょうどドアが閉まるようにドアの開閉制御を行うようにするなどのことができる。
【０１２４】
また、映像コンテンツを再生する場合に、所定のシーンの開始タイミングよりも前から一連となる音声の発音を開始し、当該所定のシーンの開始タイミングでその一連となる音声の発音が終了するように制御することも可能である。また、この実施の形態の記録再生装置と、例えば、他の映像表示装置等と無線通信で接続可能にしておくことによって、この実施の形態の記録再生装置を通じて映像コンテンツを再生する場合に、所定のシーンの開始タイミングよりも前からコンピュータグラフィックス画像により所定の事象の画像を形成して表示することを開始し、当該所定のシーンの開始タイミングでそのコンピュータグラフィックス画像により表現される事象が完結するように、当該コンピュータグラフィックス画像の形成と表示とを行うように制御することもできる。
【０１２５】
種々の映像コンテンツデータの再生に応じて、物体の物理的な動作、音声データの再生、他の表示素子などへの他の動画像の表示などを制御するようにすることも可能であり、単に映像コンテンツを再生してユーザーに提供するだけでなく、映像コンテンツの再生に応じて、物の物理的な動作や、音の再生、他の映像の再生を行うことよって、新たな態様での映像コンテンツの提供ができるようにされる。
【０１２６】
このように、主に再生するコンテンツデータを映像データとする場合であって、映像の時間情報に対応したメタデータを用意し、そのメタデータには特定の俳優が出ている区間、爆発シーンの瞬間、など映像の意味的な情報を時間情報と共に記述するようにしておく。また、コンテンツが映像付きの音楽の場合には、音楽コンテンツと同様のメタデータを持つようにし、これを利用するようにすることも可能である。
【０１２７】
また、物体の物理的な動作を再生対象のコンテンツとして位置付け、この物体の物理的な動作に応じて、音声データの再生、動画像の表示、他の物体の物理的な動作を制御するようにすることも可能である。例えば、上述したペット型ロボットの動作を再生対象のコンテンツとする場合を考える。この場合に、ペット型ロボットの例えばジャンプ動作に応じて、ジャンプ動作が完結するよりも前からジャンプ動作が完結するまでの間に、一連の音声データの再生を行うようにすることができる。
【０１２８】
同様に、ペット型ロボットの例えばジャンプ動作に応じて、ジャンプ動作が完結するよりも前からジャンプ動作が完結するまでの間に、一連の動画像データを形成して表示するようにすることができる。また、ペット型ロボットのジャンプ動作に応じて、他の物体の動作、例えば、ボールの発射などを関連付けて制御することも可能である。
【０１２９】
このように、この発明は、主に再生対象となるコンテンツデータの再生に応じて、開始から終了までの間にある程度の時間が必要になる種々の目的事象を表現してユーザーに提供する種々の場合に適用可能である。また、主に再生対象となるコンテンツデータの再生に応じて、表現する種々の目的事象は、所定のものに限られるものではなく、映像により表現されるもの、音声により表現されるもの、物体によって表現されるものなどの様々なものを制御の対象とすることができる。
【０１３０】
また、上述もしたように、再生対象の音声データなどのメインのコンテンツデータよりも、再生対象のコンテンツデータに対応するメタデータを先読みすることによって、メインのコンテンツデータの再生に応じて制御する他のコンテンツデータの再生は、メインのコンテンツデータが再生される時刻よりも理論上制限なく以前に生成・制御処理が開始可能である。
【０１３１】
また、コンテンツデータに対応する種々のメタデータは、上述もしたように、コンテンツデータの時間的な位置情報と対応させるようにしているので、再生対象のコンテンツデータに対する目的とする位置を正確に特定することができるようにされる。
【０１３２】
また、上述もしたように、コンテンツデータ、および、コンテンツデータに対応するメタデータは、他の記録媒体、例えば、半導体メモリー、磁気記録媒体、光記録媒体などを媒介として提供を受けるようにすることも可能であるし、また、ネットワークを通じて他のコンピュータから提供を受けるようにすることも可能である。
【０１３３】
また、メインのコンテンツの再生に対応して行う、他のコンテンツの変化は、メインのコンテンツのメタデータを利用することによって、メインのコンテンツの再生に対してリアルタイムに行うことができるようにされる。すなわち、メインのコンテンツの再生に対応して行う、他のコンテンツの変化を生じさせるために、メインのコンテンツの再生処理よりも前に、事前の処理などを行う必要はないようにされる。
【０１３４】
また、上述の実施の形態においては、再生対象のコンテンツデータに対応するメタデータは、メインのコンテンツデータと共に提供を受けるようにしたり、あるいは、コンテンツデータとは別個独立に取得するようにしたりすることができるものとして説明した。しかし、これに限るものではない。コンテンツデータに対するメタデータは、コンテンツデータを解析することによって、自動生成するようにすることも可能である。
【０１３５】
例えば、コンテンツデータが音声データである場合には、音声データを解析することによって、拍、テンポ、小節、所定の楽器の発音点や発音区間などの区切りをメタデータとして自動的に生成してこれを用いるようにすることもできる。また、コンテンツデータが映像データである場合には、例えば、画像認識の手法を利用するなどして、シーンチェンジ点やカットチェンジ点などの区切り位置を特定し、これをメタデータとして用いるようにすることもできる。
【０１３６】
なお、上述した実施の形態においては、再生対象のコンテンツデータである音声データや映像データに対応して設けられる（付加される）メタデータを利用することによって、目的とする音声や映像が再生される時点よりも前に、再生対象のコンテンツデータとは別の音声の再生制御、映像の再生制御、物理的な物体の制御を開始し、再生対象のメインの音声や映像の目的とする音声や映像が再生される時点に同期して、別の音声、映像、物体の動作などが完結するようにした。しかし、これに限るものではない。
【０１３７】
例えば、再生対象のメインの音声や映像の目的とする音声や映像が再生される時点よりも、前または後ろにずれた所定の位置に、別の音声、映像、物体の動作などを完結するようにすることもできる。すなわち、音声、映像、物体の動作などにより表現される事象の終了位置は、メインのコンテンツデータのメタデータにより特定可能な終了位置よりもずらすようにすることも可能である。
【０１３８】
また、音声データ、映像データ、ＡＶデータなどのコンテンツデータは、種々のフォーマットで表現された種々のものを用いることが可能である。例えば、音声データは、ＭＩＤＩ（Music Instrument Digital Interface）規格のデータのように、音声データ自身がメタデータをも含む形態のデータであってももちろんよい。また、種々のデータ圧縮方式でデータ圧縮されたものであってももちろんよい。
【図面の簡単な説明】
【０１３９】
【図１】この発明の装置、方法が適用された記録再生装置を説明するためのブロック図である。
【図２】音声データの一例と音声意データに対応するメタデータの一例とについて説明するための図である。
【図３】音声データの再生に応じて行う映像等の形成、表示の一例を説明するための図である。
【図４】音声データの再生に応じて、記録再生装置の制御部１０で生成し、映像表示部２４の表示画面に表示するコンピュータグラフィックス画像（動画像）の例を説明するための図である。
【図５】音声データの再生に応じて、コンピュータグラフィックス画像を形成して表示することを実現する場合の当該音声データに対応するメタデータの利用を説明するための図である。
【図６】図１に示した記録再生装置において行われる音声データの再生に応じて、動画像の表示制御など、種々の制御を行う場合の処理について説明する。
【符号の説明】
【０１４０】
１０…制御部、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＣＰＵバス、２０…出力部、２１…デコーダ、２２…音声出力部、２３…デコーダ、２４…映像表示部、３０…記憶部、３１…インターフェース、３２…記録媒体、４１…外部インターフェース、４２…入力インターフェース、４３…デジタルインターフェース、４４…無線インターフェース、４５…送受信アンテナ、１００…インターネット
【図１】
2006202422.tif 000003
【図２】
2006202422.tif 000004
【図３】
2006202422.tif 000005
【図４】
2006202422.tif 000006
【図５】
2006202422.tif 000007
【図６】
2006202422.tif 000008