(57)【特許請求の範囲】
【請求項１】
映像を示す映像情報と、前記映像が再生される再生空間内に起る状態の変化を示す状態変化情報と、効果音を示す効果音情報と、少なくとも前記効果音の再生が許可されるタイミングとして、特定の楽曲の再生状態を示す楽曲条件情報と、を対応付けて記憶する記憶手段と、
映像再生手段により再生された映像を示す映像情報を取得する第１取得手段と、
楽曲再生手段により再生された楽曲を示す楽曲情報を取得する第２取得手段と、
前記再生空間の状態を検知する状態検知手段により検知される、利用者が使用する機器の状態の変化または前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得手段と、
前記記憶手段に、前記第１取得手段により取得された映像情報と、前記第３取得手段により取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得手段により取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生状態を満たすか否かを判定する判定手段と、
前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果音情報が示す効果音を再生させる制御手段と、
を備えることを特徴とする再生制御装置。
【請求項２】
前記記憶手段は、前記映像情報と、前記状態変化情報と、前記効果音情報と、前記映像に対して映像変化がある効果映像を示す効果映像情報と、前記効果音及び前記効果映像の再生が許可されるタイミングとして、前記特定の楽曲の再生状態を示す楽曲条件情報と、を対応付けて記憶し、
前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果音情報が示す効果音と、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像とを再生させることを特徴とする請求項１に記載の再生制御装置。
【請求項３】
歌唱中でないタイミングを検出する検出手段と、
前記検出手段により検出された前記歌唱中でないタイミングを、前記効果音の再生を開始させる開始タイミングとして決定する決定手段と、
を更に備え、
前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記決定手段により決定された開始タイミングで、前記効果音の再生を開始させることを特徴とする請求項２に記載の再生制御装置。
【請求項４】
前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記決定手段により決定された開始タイミングで、前記効果音と前記効果映像の再生を開始させることを特徴とする請求項３に記載の再生制御装置。
【請求項５】
前記記憶手段は、前記効果音情報が示す効果音の継続時間を記憶し、
前記検出手段は、前記歌唱中でないタイミングと、前記歌唱中でないタイミングを含む無歌唱継続時間とを検出し、
前記決定手段は、前記歌唱中でないタイミングを含む無歌唱継続時間が、前記効果音の継続時間より長いとき、前記歌唱中でないタイミングを前記開始タイミングとして決定することを特徴とする請求項３または４に記載の再生制御装置。
【請求項６】
映像を示す映像情報と、前記映像が再生される再生空間内に起る状態の変化を示す状態変化情報と、効果音を示す効果音情報と、少なくとも前記効果音の再生が許可されるタイミングとして、特定の楽曲の再生状態を示す楽曲条件情報と、を対応付けて記憶する記憶手段を備えるコンピュータに実行させるプログラムであって、
映像再生手段により再生された映像を示す映像情報を取得する第１取得ステップと、
楽曲再生手段により再生された楽曲を示す楽曲情報を取得する第２取得ステップと、
前記再生空間の状態を検知する状態検知手段により検知される、利用者が使用する機器の状態の変化または前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得ステップと、
前記記憶手段に、前記第１取得ステップにより取得された映像情報と、前記第３取得ステップにより取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得ステップにより取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得ステップにより取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生状態を満たすか否かを判定する判定ステップと、
前記判定ステップにより前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得ステップにより取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記記憶手段において、前記第１取得ステップにより取得された映像情報と前記第３取得ステップにより取得された状態変化情報とに対応付けて記憶されている前記効果音情報が示す効果音を再生させる制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
映像を再生する映像再生装置と、楽曲を再生する楽曲再生装置と、楽曲が再生される再生空間の状態を検知する状態検知装置と、前記映像及び前記楽曲の再生を制御する再生制御装置と、を備える再生システムであって、
前記再生制御装置は、
映像を示す映像情報と、前記映像が再生される再生空間内に起る状態の変化を示す状態変化情報と、効果音を示す効果音情報と、少なくとも前記効果音の再生が許可されるタイミングとして、特定の楽曲の再生状態を示す楽曲条件情報と、を対応付けて記憶する記憶手段と、
前記映像再生装置により再生された映像を示す映像情報を取得する第１取得手段と、
前記楽曲再生装置により再生された楽曲を示す楽曲情報を取得する第２取得手段と、
前記状態検知装置により検知される、利用者が使用する機器の状態の変化または前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得手段と、
前記記憶手段に、前記第１取得手段により取得された映像情報と、前記第３取得手段により取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得手段により取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生状態を満たすか否かを判定する判定手段と、
前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果音情報が示す効果音を再生させる制御手段と、
を備えることを特徴とする再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像及び楽曲を再生する再生システム等の技術分野に関する。
【背景技術】
【０００２】
従来、例えば特許文献１に開示されるように、複数の効果音が、複数のリズムパッドにそれぞれ割り振られた効果音付加装置が知られている。この効果音付加装置は、利用者が、カラオケをする際に、所望のリズムパッドを押すことで、所望のタイミングで、所望の効果音を再生するように構成されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２１４０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、利用者が所望するタイミングで、所望の効果音を再生できるが、利用者が所望するタイミングは、必ずしも効果音の再生にふさわしいタイミングであるとは限らない。例えば、映像と楽曲とがともに再生される再生空間の中で、特定の映像に合う音が、効果音として設定されていても、利用者が所望するタイミングで、効果音が再生されてしまうと、特定の映像に合う音として設定された効果音の効果が十分に発揮されない。
【０００５】
本発明は、以上の点に鑑みてなされたものであり、楽曲が再生される再生空間の中で、効果音の効果を十分に発揮させることが可能な再生制御装置、プログラム、及び再生システムを提供する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、映像を示す映像情報と、前記映像が再生される再生空間内に起る状態の変化を示す状態変化情報と、効果音を示す効果音情報と、少なくとも前記効果音の再生が許可されるタイミングとして、特定の楽曲の再生状態を示す楽曲条件情報と、を対応付けて記憶する記憶手段と、映像再生手段により再生された映像を示す映像情報を取得する第１取得手段と、楽曲再生手段により再生された楽曲を示す楽曲情報を取得する第２取得手段と、前記再生空間の状態を検知する状態検知手段により検知される、利用者が使用する機器の状態の変化または前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得手段と、前記記憶手段に、前記第１取得手段により取得された映像情報と、前記第３取得手段により取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得手段により取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生状態を満たすか否かを判定する判定手段と、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果音情報が示す効果音を再生させる制御手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の再生制御装置において、前記記憶手段は、前記映像情報と、前記状態変化情報と、前記効果音情報と、前記映像に対して映像変化がある効果映像を示す効果映像情報と、前記効果音及び前記効果映像の再生が許可されるタイミングとして、前記特定の楽曲の再生状態を示す楽曲条件情報と、を対応付けて記憶し、前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果音情報が示す効果音と、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果映像情報が示す効果映像とを再生させることを特徴とする。
【０００８】
請求項３に記載の発明は、請求項２に記載の再生制御装置において、歌唱中でないタイミングを検出する検出手段と、前記検出手段により検出された前記歌唱中でないタイミングを、前記効果音の再生を開始させる開始タイミングとして決定する決定手段と、を更に備え、前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記決定手段により決定された開始タイミングで、前記効果音の再生を開始させることを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の再生制御装置において、前記制御手段は、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記決定手段により決定された開始タイミングで、前記効果音と前記効果映像の再生を開始させることを特徴とする。
【００１０】
請求項５に記載の発明は、請求項３または４に記載の再生制御装置において、前記記憶手段は、前記効果音情報が示す効果音の継続時間を記憶し、前記検出手段は、前記歌唱中でないタイミングと、前記歌唱中でないタイミングを含む無歌唱継続時間とを検出し、前記決定手段は、前記歌唱中でないタイミングを含む無歌唱継続時間が、前記効果音の継続時間より長いとき、前記歌唱中でないタイミングを前記開始タイミングとして決定することを特徴とする。
【００１１】
請求項６に記載の発明は、映像を示す映像情報と、前記映像が再生される再生空間内に起る状態の変化を示す状態変化情報と、効果音を示す効果音情報と、少なくとも前記効果音の再生が許可されるタイミングとして、特定の楽曲の再生状態を示す楽曲条件情報と、を対応付けて記憶する記憶手段を備えるコンピュータに実行させるプログラムであって、映像再生手段により再生された映像を示す映像情報を取得する第１取得ステップと、楽曲再生手段により再生された楽曲を示す楽曲情報を取得する第２取得ステップと、前記再生空間の状態を検知する状態検知手段により検知される、利用者が使用する機器の状態の変化または前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得ステップと、前記記憶手段に、前記第１取得ステップにより取得された映像情報と、前記第３取得ステップにより取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得ステップにより取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得ステップにより取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生状態を満たすか否かを判定する判定ステップと、前記判定ステップにより前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得ステップにより取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記記憶手段において、前記第１取得ステップにより取得された映像情報と前記第３取得ステップにより取得された状態変化情報とに対応付けて記憶されている前記効果音情報が示す効果音を再生させる制御ステップと、をコンピュータに実行させることを特徴とする。
【００１２】
請求項７に記載の発明は、映像を再生する映像再生装置と、楽曲を再生する楽曲再生装置と、楽曲が再生される再生空間の状態を検知する状態検知装置と、前記映像及び前記楽曲の再生を制御する再生制御装置と、を備える再生システムであって、前記再生制御装置は、映像を示す映像情報と、前記映像が再生される再生空間内に起る状態の変化を示す状態変化情報と、効果音を示す効果音情報と、少なくとも前記効果音の再生が許可されるタイミングとして、特定の楽曲の再生状態を示す楽曲条件情報と、を対応付けて記憶する記憶手段と、前記映像再生装置により再生された映像を示す映像情報を取得する第１取得手段と、前記楽曲再生装置により再生された楽曲を示す楽曲情報を取得する第２取得手段と、前記状態検知装置により検知される、利用者が使用する機器の状態の変化または前記再生空間における利用者の状態の変化を示す状態変化情報を取得する第３取得手段と、前記記憶手段に、前記第１取得手段により取得された映像情報と、前記第３取得手段により取得された状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、前記第２取得手段により取得された楽曲情報が示す楽曲が、前記記憶手段において、前記第１取得手段により取得された映像情報と対応付けて記憶されている楽曲条件情報に示される再生状態を満たすか否かを判定する判定手段と、前記判定手段により前記映像情報と前記状態変化情報とが対応付けられて記憶されていると判定され、且つ、前記第２取得手段により取得される前記楽曲情報が示す楽曲が、前記楽曲条件情報に示される再生状態を満たすと判定されたとき、前記記憶手段において、前記第１取得手段により取得された映像情報と前記第３取得手段により取得された状態変化情報とに対応付けて記憶されている前記効果音情報が示す効果音を再生させる制御手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
請求項１、６、７に記載の発明によれば、楽曲が再生される再生空間の中で、特定の映像に合った効果音を再生することができるので、効果音の効果を十分に発揮させることができる。
【００１４】
請求項２に記載の発明によれば、楽曲が再生される再生空間の中で、特定の映像に合った効果音及び効果映像を再生することができるので、効果音と効果映像とによる効果的な演出を実現することができる。
【００１５】
請求項３に記載の発明によれば、歌唱中でないタイミングを利用して、特定の映像に合った効果音による効果的な演出を実現することができる。
【００１６】
請求項４に記載の発明によれば、歌唱中でないタイミングを利用して、特定の映像に合った効果音と効果映像とによる効果的な演出を実現することができる。
【００１７】
請求項５に記載の発明によれば、楽曲の間奏等の無歌唱継続時間の範囲内で、特定の映像に合った効果音による効果的な演出を実現することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態の再生システムＳの概要構成例を示す図である。
【図２】（Ａ）は、演出判定用テーブルＡの一例を示す図であり、（Ｂ）は、演出判定用テーブルＢの一例を示す図である。
【図３】再生システムＳにおける処理の流れを示すシーケンス図である。
【図４】実施例１における効果音・効果映像再生制御処理の一例を示すフローチャートである。
【図５】実施例２における効果音・効果映像再生制御処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明する。
【００２０】
［１．再生システムの構成及び動作概要］
始めに、図１を参照して、本発明の実施形態の再生システムＳの構成及び動作概要について説明する。再生システムＳは、図１に示すように、表示・操作デバイス１、楽曲再生装置２、状態検知デバイス３、映像再生装置４a〜４d、プロジェクター５a〜５d、再生制御装置６、及びスピーカ７等を備えて構成される。再生システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋で利用される。表示・操作デバイス１には、表示画面を備えるタッチパネルディスプレイが用いられる。表示・操作デバイス１は、例えば、後述する楽曲再生装置２のリモコンであってもよい。楽曲再生装置２の例として、例えばカラオケ店舗の部屋に設置されたカラオケコマンダが挙げられる。楽曲再生装置２は、楽曲再生手段の一例である。状態検知デバイス３は、部屋内の状態を検知する装置である。状態検知デバイス３による検知結果から、再生制御装置６が、例えば、部屋内のユーザ（利用者）の動作状態の変化を判断する。状態検知デバイス３の詳細、及び再生制御装置６による判断の詳細は後述する。状態検知デバイス３は、状態検知手段及び状態検知装置の一例である。表示・操作デバイス１、楽曲再生装置２、及び状態検知デバイス３は、それぞれ、有線または無線を介して再生制御装置６と接続されている。なお、表示・操作デバイス１は、楽曲再生装置２または再生制御装置６に組み込まれていてもよい。この場合、例えば、表示・操作デバイス１は、楽曲再生装置２または再生制御装置６と一体に形成されたタッチパネルの表示ディスプレイである。映像再生装置４a〜４dは、有線ＬＡＮ（Local Area Network）または無線ＬＡＮ、及びハブ（HUB）等を介して再生制御装置６と接続されている。映像再生装置４a〜４dは、後述するように、再生制御装置６から受信する映像再生コマンドに従って、プロジェクター５a〜５dに映像を投影させる装置である。映像再生装置４a〜４dは、映像再生手段の一例である。プロジェクター５a〜５dは、それぞれ、有線または無線を介して映像再生装置４a〜４dと接続されている。プロジェクター５ａ〜５ｄは、例えばカラオケ店舗の１部屋内に、プロジェクターそれぞれが部屋の壁面の均等面積を投影するように配置される。なお、図１の例では、４つ映像再生装置４a〜４d、及び４つのプロジェクター５a〜５dを示しているが、映像再生装置とプロジェクターは、それぞれ、１つ以上３つ以下、或いは５つ以上であってもよい。また、図１の例では、映像再生装置とプロジェクターとは１対１で対応しているが、１対Ｎ（Ｎは２以上の自然数）で対応してもよい。例えば、１つの映像再生装置に複数のプロジェクターが接続されてもよい。映像再生装置が１つである場合、映像再生装置が映像再生手段（ハードウェアまたはソフトウェアにより構成）として再生制御装置６内に組み込まれていてもよい。また、スピーカ７は、有線または無線を介して再生制御装置６と接続されている。なお、図１の例では、１つスピーカを示しているが、スピーカは、複数あってもよい。例えば5.1チャンネルやや7.1チャンネルなどのサラウンドのスピーカ群であってもよい。また、楽曲再生装置２が設置された部屋内で、ユーザは、マイクＭを持って歌唱する。マイクＭは、有線または無線を介して、���えば、楽曲再生装置２及び再生制御装置６に接続される。これにより、マイクＭにより集音されたユーザの歌唱音声信号は、楽曲再生装置２及び再生制御装置６に入力される。或いは、マイクＭは、有線または無線を介して、楽曲再生装置２のみに接続されてもよい。この場合、マイクＭにより集音されたユーザの歌唱音声信号は、楽曲再生装置２から再生制御装置６へ出力される。
【００２１】
表示・操作デバイス１は、プロジェクター５a〜５dで投影する映像の選択候補となる映像を示す映像情報、及び楽曲再生装置２で再生する楽曲の選択候補となる楽曲を示す楽曲情報を表示画面に表示する。選択候補として表示される映像情報には、例えば映像ＩＤ、映像名、及び映像中の１画像フレーム等が含まれる。表示される楽曲情報には、例えば楽曲ＩＤ、楽曲名、アーティスト名、及び演奏時間等が含まれる。楽曲ＩＤは、例えば、曲番号から構成される。演奏時間とは、楽曲の再生開始から再生終了までの再生時間である。なお、表示・操作デバイス１の表示画面には、１画面に複数の映像情報または複数の楽曲情報が同時に表示されてもよい。選択候補となる映像を示す映像情報、及び選択候補となる楽曲を示す楽曲情報は、例えば、再生制御装置６から送信され、表示・操作デバイス１の記憶部に記憶される。表示・操作デバイス１は、ユーザによる選択操作に応じて映像の選択または楽曲の選択を行う。表示・操作デバイス１は、選択された映像を示す映像情報を再生制御装置６へ送信する。再生制御装置６へ送信された映像情報は、再生制御装置６から映像再生装置４a〜４dへ送信される。また、表示・操作デバイス１は、選択された楽曲を示す楽曲情報を再生制御装置６へ送信する。再生制御装置６へ送信された楽曲情報は、再生制御装置６から楽曲再生装置２へ送信される。再生制御装置６は、楽曲再生装置２からの楽曲情報の取得要求に応じて、表示・操作デバイス１から送信された楽曲情報を、楽曲再生装置２へ送信してもよい。もしくは、表示・操作デバイス１は、選択された楽曲を示す楽曲情報を、楽曲再生装置２へ送信し、楽曲再生装置２が、表示・操作デバイス１から受信した楽曲情報を、再生制御装置６へ送信してもよい。この場合は、楽曲再生装置２は、再生制御装置６からの楽曲情報の取得要求に応じて、楽曲再生装置２へ楽曲情報を送信してもよい。
【００２２】
楽曲再生装置２は、複数の楽曲ファイルを記憶部に記憶する。楽曲ファイルは、カラオケ曲等の楽曲を構成する楽曲データを格納する。各楽曲ファイルには、例えば、楽曲ＩＤが対応付けられる。各楽曲ファイルの楽曲ファイル名に楽曲ＩＤが含まれてもよい。楽曲再生装置２は、再生制御装置６から送信された楽曲再生コマンドを受信する。楽曲再生コマンドには、再生させる楽曲を示す楽曲情報の楽曲ＩＤが含まれる。楽曲再生装置２は、受信した楽曲再生コマンドに含まれる楽曲情報の楽曲ＩＤが示す楽曲を再生し、その楽曲信号を、楽曲再生装置２に接続されたスピーカ（図示せず）へ出力する。なお、楽曲再生装置２がカラオケコマンダである場合、楽曲再生装置２には、上記楽曲信号と、マイクＭにより集音されたユーザの歌唱音声信号とをミキシングしてスピーカへ出力するミキシングアンプが備えられる。
【００２３】
状態検知デバイス３は、プロジェクター５a〜５dにより映像が投影される再生空間の状態の変化を検知する。言い換えると、再生空間は、楽曲再生装置２により再生される楽曲の音波が伝搬する３次元空間であり、例えばカラオケ店舗の１部屋である。再生空間の状態の例として、再生空間に存在するユーザの動作状態または静止状態、再生空間の温度状態、及び再生空間の音状態等が挙げられる。本実施形態では、状態検知デバイス３は、部屋内の３Ｄ形状を検知する装置であり、ユーザの動作状態または静止状態を検知する場合を例に説明する。本実施形態では、状態検知デバイス３は、赤外線レーザなどによる深度センサー（深度カメラ）等を備える。状態検知デバイス３は、深度センサーにより、再生空間のユーザ及びユーザの背景における各点までの距離を示すデプス画像を、複数回にわたり時系列で取得する。深度センサーにより取得されるデプス画像には複数のユーザが含まれていてもよい。時系列で取得されるデプス画像は、後述するように、ユーザの動作状態の変化または静止状態の変化を判断するための深度情報を含む画像である。状態検知デバイス３は、時系列で取得したデプス画像を再生制御装置６へ送信する。
【００２４】
映像再生装置４a〜４dは、それぞれ、複数の映像ファイルを記憶部に記憶する。映像ファイルは、例えば、部屋の壁面に投影させる映像を構成する映像データを格納する。この映像の例として、和室を表す映像、トリック部屋を表す映像、または人が歌唱するステージを表す映像などが挙げられる。これらの映像は、例えば、静止画像や、映像変化が少ない動画像である。なお、映像再生装置４が複数設置される場合は、複数の映像再生装置４により投影される部屋の壁面全体を投影範囲として、投影範囲に投影させる映像を構成する映像データから、投影範囲を映像再生装置４の数に分割した分割映像データが、各映像再生装置４が再生する映像データとして作成される。そして、分割映像データを映像ファイルに格納し、各映像再生装置４a〜４dの各記憶部に記憶させる。このような映像には、例えば、楽曲の歌詞テロップが重畳して表示されてもよい。各映像ファイルには、例えば、映像ＩＤが対応付けられる。各映像ファイルの映像ファイル名に映像ＩＤが含まれてもよい。１つの映像データから分割した複数の分割映像データをそれぞれ格納する各映像ファイルには、同一の映像ＩＤが対応付けられる。映像再生装置４a〜４dは、再生制御装置６から送信された映像再生コマンドを受信する。映像再生コマンドは、再生させる映像を示す映像情報の映像ＩＤが含まれる。映像再生装置４a〜４dは、それぞれ、受信した映像再生コマンドに含まれる映像情報の映像ＩＤが対応する映像ファイルの分割映像データを再生し、その映像信号をプロジェクター５a〜５dへ出力する。なお、映像再生装置４a〜４dが１つの映像再生装置、または再生制御装置６内に組み込まれた再生制御手段である場合、この映像再生装置または映像再生手段は、上記映像信号をプロジェクター５a〜５dへ出力する。プロジェクター５a〜５dは、それぞれ、映像再生装置４a〜４dから受信した映像信号に従って映像を部屋の壁面に投影する。例えば、プロジェクター５a〜５dは、互いに異なる壁面（例えばユーザの前後左右の壁面）に映像を投影する。プロジェクター５a〜５dは、同一の壁面の互いに異なる領域に映像を投影してもよい。
【００２５】
また、映像再生装置４a〜４dは、それぞれ、複数の効果映像ファイルを記憶部に記憶する。効果映像ファイルは、例えば、特定の映像に対して映像変化がある効果映像を再生させるプログラムを格納する。特定の映像は、複数の映像の中から、例えば管理者により指定された映像である。例えば、効果映像は、特定の映像に対して映像効果を与えることができる。例えば、特定の映像が和室を表す映像である場合、映像効果の例として、障子が開き人が現れる映像効果、忍者が出現して演出する映像効果、庭にあるししおどしが動作する映像効果などが挙げられる。また、特定の映像がトリック部屋を表す映像である場合、映像効果の例として、部屋に設置された棚が回転する映像効果、部屋に設置された棚から物が落ちて元の棚に戻る映像効果などが挙げられる。また、特定の映像がステージを表す映像である場合、映像効果の例として、ステージにおけるライト演出を派手にする映像効果、ステージにおいて花火等を打ち上げる映像効果などが挙げられる。このほか、効果映像は、特定の映像に異なる映像を加えて合成した合成映像であってもよい。効果映像ファイルは、上記効果映像を構成する映像データを格納する場合もある。各効果映像ファイルには、効果映像ＩＤが対応付けられる。効果映像ＩＤは、効果映像を示す効果映像情報の一例である。効果映像ＩＤは、例えば、所定桁の文字列から構成される。効果映像ＩＤは、例えば、特定の映像を示す映像ＩＤを含む文字列であってもよい。各効果映像ファイルの効果映像ファイル名に効果映像ＩＤが含まれてもよい。映像再生装置４a〜４dは、再生制御装置６から送信された効果映像再生コマンドを受信する。効果映像再生コマンドは、例えば、再生させる効果映像を示す効果映像情報が含まれる。効果映像情報には、例えば、効果映像ＩＤが含まれる。映像再生装置４a〜４dは、それぞれ、受信した効果映像再生コマンドに含まれる効果映像情報が示す効果映像を再生し、その効果映像信号をプロジェクター５a〜５dへ出力する。プロジェクター５a〜５dは、それぞれ、映像再生装置４a〜４dから受信した効果映像信号に従って効果映像を部屋の壁面に投影する。これにより、壁面に投影された特定の映像に対して、上述したように映像効果が与えられる。そのため、インタラクティブな演出を実現することができる。なお、映像再生装置４a〜４dは、壁面に投影された特定の映像に対して映像効果を与える場合のほか、再生制御装置６からの効果映像再生コマンドに従って、特定の映像の再生に代えて、効果映像を再生させる場合もある。
【００２６】
再生制御装置６は、映像及び楽曲の再生を制御する。再生制御装置６は、図１に示すように、ＩＦ６１ａ〜６１ｅ、記憶部６２、制御部６３、及び音再生処理部６４を備える。ＩＦ６１ａ〜６１ｅ、記憶部６２、及び制御部６３は、バス６５に接続されている。ＩＦ６１ａは、楽曲再生装置２と再生制御装置６との間のインターフェースである。ＩＦ６１ｂは、表示・操作デバイス１と再生制御装置６との間のインターフェースである。ＩＦ６１ｃは、状態検知デバイス３と再生制御装置６との間のインターフェースである。ＩＦ６１ｄは、映像再生装置４a〜４dとの間のインターフェースである。ＩＦ６１ｅは、スピーカ７との間のインターフェースである。
【００２７】
記憶部６２は、例えばハードディスクドライブにより構成される。記憶部６２は、本発明の記憶手段の一例である。記憶部６２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。本発明のプログラムは、後述する再生処理をＣＰＵに実行させるプログラムである。また、記憶部６２には、プロジェクター５a〜５dで投影する映像の選択候補となる映像を示す映像情報、及び楽曲再生装置２により再生される選択候補となる楽曲を示す楽曲情報が記憶される。また、記憶部６２には、複数の効果音ファイルが記憶される。効果音ファイルは、例えば、効果音データを格納する。各効果音ファイルには、効果音ＩＤが対応付けられる。効果音ＩＤは、効果音を示す効果音情報の一例である。効果音は、例えば、効果映像に合った音であり、特定の映像に対して音効果を与えることができる。例えば、特定の映像が和室を表す映像である場合、音効果の例として、障子が開く音が鳴る音効果、忍者演出に合わせた音が鳴る音効果、庭にあるししおどしが音を発する音効果などが挙げられる。また、特定の映像がトリック部屋を表す映像である場合、音効果の例として、部屋に設置された棚が回転したときに擦れる音が鳴る音効果、部屋に設置された棚から落ちた物が床に衝突したタイミングで音が鳴る音効果などが挙げられる。また、特定の映像がステージを表す映像である場合、音効果の例として、ステージにおけるライト演出に相応しい音が奏でられる音効果、ステージにおいて花火が打ちあがるときの音が鳴る音効果などが挙げられる。なお、スピーカ７が複数ある場合、それぞれのスピーカのチャンネルに出力される効果音であってもよい。また、記憶部６２には、特定の動作状態または静止状態の変化を示す状態変化テーブルと、図２に示す後述の演出判定用テーブルＡと演出判定用テーブルＢとが記憶される。
【００２８】
状態変化テーブルには、複数種類の特定のジェスチャーについて、特定のジェスチャーの内容と、特定のジェスチャーを判断するための、再生空間におけるユーザの特定の動作状態の変化または静止状態の変化を示す深度情報とが対応付けて記憶される。再生空間におけるユーザの位置は、ユーザの輪郭及び骨格が、状態検知デバイス３により検知されたデプス画像の深度情報から、予め規定されたヒトの基準の輪郭及び骨格の深度情報と比較して特定されることにより、判断される。そして、ユーザの輪郭及び骨格の位置を示す深度情報が、状態検知デバイス３により検知された複数のデプス画像の間で変化したことを判断することにより、ユーザの動作状態の変化及び静止状態の変化が特定される。状態検知デバイス３が時系列で複数回取得したデプス画像を比較したとき、複数のデプス画像の間で、ユーザの位置を示す深度情報に所定閾値以上の差があれば、動作状態の変化または静止状態の変化があったことを意味する。また、ユーザの特定の動作状態の変化とは、ある動作状態から別の動作状態に変化することを意味し、例えばユーザの特定のジェスチャーである。また、ユーザの静止状態の変化とは、ユーザが静止状態にある位置から他の位置に変化すること、または静止状態から動作状態に変化することを意味する。特定のジェスチャーの例として、ユーザ１人が両手を突き出す、ユーザ３人がグーにした手を高く上げるなどが挙げられる。これらの特定の動作状態の変化があったことを判断する基準である所定閾値を示す深度情報の差が、特定のジェスチャーの内容と対応付けて、状態変化テーブルに記憶される。
【００２９】
演出判定用テーブルＡ及び演出判定用テーブルＢは、効果音及び効果映像の再生可否を判定するために用いられる。先ず、図２（Ａ）に示す演出判定用テーブルＡには、特定の映像を示す映像情報と、楽曲条件情報と、特定の映像が再生される再生空間内に起る特定の状態の変化を示す状態変化情報と、効果映像を示す効果映像情報と、効果音を示す効果音情報とが対応付けて記憶されている。なお、図２（Ａ）に示す演出判定用テーブルＡには、映像情報として映像ＩＤが記憶されている。また、図２（Ａ）に示す演出判定用テーブルＡには、楽曲条件情報として楽曲ＩＤと、後述する特定の楽曲である楽曲ＩＤの再生状態が記憶されている。楽曲条件情報は、特定の楽曲の再生状態を、効果映像の再生が許可されるタイミングとして示す。再生状態は、例えば、楽曲の再生時間である。状態変化情報には、状態変化テーブルに含まれる複数種類の特定のジェスチャーのうち、いずれかの特定のジェスチャーの内容が、特定の状態の変化を示す情報として含まれる。なお、状態変化情報には、特定の映像が再生される再生空間内に起る特定の状態の変化を示す情報として、再生制御装置６に接続された、ユーザが使用する機器に起る特定の状態の変化を示す情報（機器の状態変化情報）が含まれてもよい。ここで、ユーザが使用する機器の例として、リモコン等の表示・操作デバイス１が挙げられる。また、機器の状態変化情報の例として、表示・操作デバイス１における特定の１または複数の操作ボタンの押下を示す操作情報が挙げられる。特定の操作情報は、特定の複数の操作ボタンの押下の順番が示されてもよい。
【００３０】
また、図２（Ａ）に示す演出判定用テーブルＡには、効果映像情報として効果映像ＩＤが記憶されている。また、図２（Ａ）に示す演出判定用テーブルＡには、効果音情報として、効果音ＩＤと効果音の継続時間とが記憶されている。更に、図２（Ａ）に示す演出判定用テーブルＡには、歌唱中再生可否及び無歌唱発生時再生可否が、それぞれの効果音情報等に対応付けて記憶されている。歌唱中再生可否とは、ユーザによる楽曲の歌唱中において少なくとも効果音を再生してよいか否かを示す。無歌唱発生時再生可否とは、ユーザによる楽曲の歌唱中において一時的に無歌唱タイミング（歌唱中でないタイミング）が発生した場合に少なくとも効果音を再生してよいか否かを示す。
【００３１】
特定の楽曲の再生状態は、効果音及び効果映像を再生させるための一つの条件である。特定の楽曲は、複数の楽曲の中から、例えば管理者により指定された指定曲である。なお、指定曲が選択候補となる複数の楽曲の全ての場合もある。図２（Ａ）の例では、楽曲条件情報の例として、「指定曲（楽曲ＩＤ：Ｍ００１）再生開始時１５秒間」、「指定曲（楽曲ＩＤ：Ｍ００１）再生中」、「全曲再生中」、「全曲再生開始時３０秒間」等が示されている。ここで、「指定曲（楽曲ＩＤ：Ｍ００１）再生開始時１５秒間」という再生状態は、指定曲（楽曲ＩＤ：Ｍ００１）が再生開始時から１５秒間の再生区間で再生されていることを示す。再生条件として示される再生状態に含まれる再生区間は、効果映像の再生が許可されるタイミングの一例である。再生区間の他の例として、再生中の再生区間、及び再生終了時の再生区間が挙げられる。再生中の再生区間は、例えば再生開始後Ｔ秒から再生終了前Ｔ秒までの区間である。再生終了時の再生区間は、例えば再生終了前Ｔ秒から再生終了までの区間である。なお、Ｔ秒は、例えば１秒〜５秒程度に設定される。或いは、再生区間として、例えば楽曲の歌詞テロップが表示されない再生区間、または、ユーザの歌唱音声信号が入力されていない再生区間などが再生状態に設定されてもよい。楽曲条件情報には、これら再生区間を示す情報が、再生開始時を０秒とした再生開始時からの経過時間の秒数で示される。また、「指定曲（楽曲ＩＤ：Ｍ００１）再生中」は、指定曲（楽曲ＩＤ：Ｍ００１）が再生されていることを条件とする。また、「全曲再生中」は、選択候補となる何れかの楽曲が再生されていることを条件とする。この場合、再生されている楽曲は、選択候補となる複数の楽曲の中、どの楽曲でもよい。
【００３２】
次に、図２（Ｂ）に示す演出判定用テーブルＢには、特定の楽曲を示す楽曲情報と、無歌唱タイミング情報とが対応付けて記憶されている。なお、図２（Ｂ）に示す演出判定用テーブルＢには、楽曲情報として楽曲ＩＤが記憶されている。無歌唱タイミング情報には、例えば、無歌唱区間の種別、無歌唱区間の継続時間（無歌唱継続時間）、及び無歌唱区間の開始時間（無歌唱開始時間）が含まれる。図２（Ｂ）の例では、楽曲ＩＤがＭ００１である楽曲の無歌唱区間の種別として、前奏、間奏１、間奏２、及び後奏が記憶されている。それぞれの無歌唱区間の種別に対して、無歌唱継続時間及び無歌唱開始時間が対応付けて記憶されている。この例では、楽曲ＩＤがＭ００１である楽曲の間奏１の無歌唱開始時間は１：３０（１分３０秒）であり、間奏１の無歌唱継続時間は１４ｓ７４ｍｓになっている。
【００３３】
制御部６３は、コンピュータとしてのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部６３は、本発明の第１取得手段、第２取得手段、第３取得手段、判定手段、制御手段、検出手段、及び決定手段の一例である。制御部６３は、本発明のプログラムに従って効果音・効果映像再生制御処理を実行する。音再生処理部６４は、デコーダ及びＤ／Ａ変換器等を備え、制御部６３から再生指示された効果音情報が示す効果音を再生し、再生された効果音の音信号をスピーカ７へ出力する。なお、音再生処理部６４は、音再生装置として、再生制御装置６と別体で設置されてもよい。
【００３４】
効果音・効果映像再生制御処理において、制御部６３は、映像再生装置４a〜４dにより再生された映像を示す映像情報を、例えば映像再生装置４a〜４dから取得する。また、制御部６３は、楽曲再生装置２により再生された楽曲を示す楽曲情報を、例えば楽曲再生装置２から取得する。また、制御部６３は、状態検知デバイス３から複数のデプス画像を取得し、プロジェクター５a〜５dにより映像が投影される再生空間のユーザの動作状態の変化、または静止状態の変化を判断し、再生空間のユーザの状態変化情報を決定する。具体的には、制御部６３は、状態変化テーブルに、状態検知デバイス３から取得した１または複数のデプス画像の深度情報と対応し、且つ、状態検知デバイス３から取得した複数のデプス画像の間の深度情報の差以下の差が、特定の動作状態の変化を判断する所定閾値として対応付けられた特定のジェスチャーが存在するか否かを判断する。制御部６３は、状態変化テーブルに、状態検知デバイス３から取得した１または複数のデプス画像の深度情報と対応する特定のジェスチャーが存在すると判断したとき、その特定のジェスチャーの内容を、状態検知デバイス３から取得したデプス画像から決定した再生空間のユーザの動作状態の変化または静止状態の変化の内容を示す、再生空間のユーザの状態変化情報と決定する。
【００３５】
制御部６３は、演出判定用テーブルＡに、取得した映像情報と、再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、取得した楽曲情報が示す楽曲が、取得した映像情報と対応付けられた再生状態を満たすか否かを判定する。ユーザの状態変化情報は、状態検知デバイス３から取得したデプス画像から決定される情報であり、再生空間のユーザの動作状態の変化または静止状態の変化の内容を示す情報である。また、取得した映像情報と対応付けられた再生状態とは、演出判定用テーブルＡに、取得した映像情報と対応付けて記憶されている楽曲条件情報に示される楽曲の条件である。制御部６３は、映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けて記憶されていると判定され、且つ、楽曲が再生状態を満たすと判定されたとき、効果音が音再生処理部６４に再生される。効果音は、演出判定用テーブルＡにおいて、上記取得した映像情報と上記決定した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて記憶されている効果音情報が示す効果音である。これにより、楽曲が再生される再生空間の中で、特定の映像に合った効果音を再生することができるので、効果音の効果を十分に発揮させることができる。また、このとき、制御部６３は、上記効果音情報が示す効果音の再生と同期して、演出判定用テーブルＡにおいて、上記取得した映像情報と上記決定した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて記憶されている効果映像情報が示す効果映像を再生させるようにすれば、楽曲が再生される再生空間の中で、特定の映像に合った効果音及び効果映像を再生することができるので、効果音と効果映像とによる効果的な演出を実現することができる。
【００３６】
なお、制御部６３は状態検知手段として機能し、ユーザが使用する表示・操作デバイス１からの操作情報を、機器の状態変化情報として取得してもよい。この場合、制御部６３は、取得した映像情報と、取得した機器の状態変化情報と一致する状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、取得した楽曲情報が示す楽曲が、対応する再生状態を満たすか否かを判定する。制御部６３は、映像情報と機器の状態変化情報と一致する状態変化情報とが対応付けて記憶されていると判定され、且つ、楽曲が再生状態を満たすと判定されたとき、効果音が音再生処理部６４に再生される。効果音は、演出判定用テーブルＡにおいて、上記取得した映像情報と上記機器の状態変化情報と一致する状態変化情報とに対応付けられて記憶されている効果音情報が示す効果音である。
【００３７】
［２．再生システムＳの動作］
次に、図３を参照して、本実施形態の再生システムＳで実施される動作内容について説明する。図３において、表示・操作デバイス１は、ユーザによる表示操作に従って、選択候補となる映像を示す映像情報を選択可能に表示画面に表示する。表示・操作デバイス１は、ユーザによる選択操作に応じて選択された映像を示す映像情報として、例えば映像ＩＤを再生制御装置６へ送信する（ステップＳ１）。再生制御装置６は、表示・操作デバイス１から映像情報を受信すると、映像再生コマンドを映像再生装置４a〜４dへ送信する（ステップＳ２）。映像再生装置４a〜４dは、それぞれ、再生制御装置６から映像再生コマンドを受信すると、受信した映像再生コマンドに含まれる映像情報が示す映像の再生を開始する（ステップＳ３）。映像再生装置４a〜４dは、それぞれ、再生された映像の映像信号をプロジェクター５a〜５dへ出力する。これにより、部屋の壁面に映像が投影される。
【００３８】
次に、表示・操作デバイス１は、ユーザによる表示操作に従って、選択候補となる楽曲を示す楽曲情報を選択可能に表示画面に表示する。表示・操作デバイス１は、ユーザによる選択操作に応じて選択された楽曲を示す楽曲情報として、例えば楽曲ＩＤを再生制御装置６へ送信する（ステップＳ４）。再生制御装置６は、表示・操作デバイス１から楽曲情報を受信すると、楽曲再生コマンドを楽曲再生装置２へ送信する（ステップＳ５）。楽曲再生装置２は、再生制御装置６から楽曲再生コマンドを受信すると、受信した楽曲再生コマンドに含まれる楽曲情報が示す楽曲の再生を開始する（ステップＳ６）。楽曲再生装置２は、再生された楽曲の楽曲信号をスピーカへ出力する。このように、再生制御装置６は、映像再生装置４a〜４dに映像の再生を開始させた後に、楽曲再生装置２に楽曲の再生を開始させる。別の例として、再生制御装置６は、楽曲再生装置２に楽曲の再生を開始させた後に、映像再生装置４a〜４dに映像の再生を開始させるように構成してもよい。この場合、再生された楽曲を示す楽曲情報に対応付けられた映像情報が示す映像が、ユーザにより選択されることなく再生されてもよい。
【００３９】
なお、再生制御装置６から楽曲再生コマンドを受信すると、受信した楽曲再生コマンドに含まれる楽曲情報を、再生予約リストに登録してもよい。この場合、楽曲再生装置２は、例えば、再生予約リストに登録された順に楽曲情報が示す楽曲を再生することになる。
【００４０】
次に、再生制御装置６は、効果音・効果映像再生制御処理を開始する（ステップＳ７）。効果音・効果映像再生制御処理が開始されると、再生制御装置６は、状態検知コマンドを状態検知デバイス３へ送信する（ステップＳ８）。状態検知デバイス３は、再生制御装置６から状態検知コマンドを受信すると、状態検知を開始し（ステップＳ９）、上述したデプス画像を時系列で取得する。
【００４１】
次に、再生制御装置６は、映像再生装置４a〜４dへ再生中の映像を問い合わせる（ステップＳ１０）。映像再生装置４a〜４dは、それぞれ、再生制御装置６からの問い合わせに応じて、再生中の映像を示す映像情報を再生制御装置６へ送信する（ステップＳ１１）。この映像情報には、例えば再生中の映像を示す映像ＩＤが含まれる。なお、再生制御装置６は、例えば、映像再生装置４a〜４dの中の何れか１つへ再生中の映像の問い合わせを行ってもよい。
【００４２】
次に、再生制御装置６は、楽曲再生装置２へ再生中の楽曲を問い合わせる（ステップＳ１２）。楽曲再生装置２は、再生制御装置６からの問い合わせに応じて、再生中の楽曲を示す楽曲情報を再生制御装置６へ送信する（ステップＳ１３）。この楽曲情報には、例えば再生中の楽曲を示す楽曲ＩＤが含まれる。ただし、このとき、例えば、曲間のタイミングであるなどの理由で楽曲が再生中でない場合がある。この場合、楽曲再生装置２は、再生制御装置６からの問い合わせに応じて、再生中の楽曲がないことを示す楽曲情報を再生制御装置６へ送信する。再生中の楽曲がないとき、楽曲情報は、例えば楽曲ＩＤ：０である。
【００４３】
次に、再生制御装置６は、状態検知デバイス３へデプス画像を要求する（ステップＳ１４）。状態検知デバイス３は、再生制御装置６からの要求に応じて、取得したデプス画像を再生制御装置６へ送信する（ステップＳ１５）。
【００４４】
次に、再生制御装置６は、効果音と効果映像の再生が可能であるか否かを判定（再生可否判定）する（ステップＳ１６）。効果音と効果映像の再生が可能であるか否かの判定についての詳細は、後述する。再生制御装置６は、効果音と効果映像の再生可能であると判定したとき、効果映像再生コマンドを映像再生装置４a〜４dへ送信し（ステップＳ１７）、且つ、効果音を再生し、再生された効果音の音信号をスピーカ７へ出力する（ステップＳ１８）。映像再生装置４a〜４dは、それぞれ、再生制御装置６から効果映像再生コマンドを受信すると、受信した効果映像再生コマンドに含まれる効果映像情報が示す効果映像を再生する（ステップＳ１９）。映像再生装置４a〜４dは、それぞれ、再生された効果映像の映像信号をプロジェクター５a〜５dへ出力する。スピーカ７は、入力した音信号に従って効果音を出力する（ステップＳ２０）。なお、ステップＳ１８において、効果音は、１回のみ再生されてもよいし、複数回連続して再生されてもよい。
【００４５】
次に、上記ステップＳ７で開始される効果音・効果映像再生制御処理の詳細について実施例１と実施例２に分けて説明する。
【００４６】
（実施例１）
先ず、図４を参照して、実施例１における効果音・効果映像再生制御処理の詳細について説明する。図４に示す処理が開始されると、制御部６３は、効果音・効果映像再生制御処理の終了指示があったか否かを判定する（ステップＳ７１）。制御部６３は、例えば、ユーザによる終了操作に従って、表示・操作デバイス１から終了指示が入力された場合、効果音・効果映像再生制御処理の終了指示があったと判定される（ステップＳ７１：ＹＥＳ）。この場合、効果音・効果映像再生制御処理は終了する。一方、制御部６３は、効果音・効果映像再生制御処理の終了指示がないと判定した場合（ステップＳ７１：ＮＯ）、ステップＳ７２へ進む。
【００４７】
ステップＳ７２では、制御部６３は、映像再生装置４a〜４dへ再生中の映像を問い合わせることで、再生中の映像を示す映像情報を取得する。次いで、制御部６３は、楽曲再生装置２へ再生中の楽曲を問い合わせることで、再生中の楽曲を示す楽曲情報、または再生中の楽曲がないことを示す楽曲情報を取得する（ステップＳ７３）。楽曲情報は、具体的には楽曲ＩＤと、再生状態が含まれる。次いで、制御部６３は、状態検知デバイス３へデプス画像を要求することで、デプス画像を時系列で取得する。具体的には、制御部６３は、ステップＳ８において状態検知コマンドを送信し、状態検知デバイス３によりステップＳ９において状態検知が開始された以後に検知された複数のデプス画像の深度情報を取得する。制御部６３は、時系列で取得した複数のデプス画像の深度情報から、ユーザの動作状態の変化または静止状態の変化を示す情報として、複数のデプス画像の深度情報の差を取得する（ステップＳ７４）。このとき、制御部６３は、時系列で取得したデプス画像の深度情報を、予め規定されたヒトの基準の輪郭及び骨格の深度情報と比較することにより、１または複数のユーザのボディ座標（例えば、ユーザの手足部分の座標）を算出する。算出された複数のデプス画像それぞれのボディ座標を比較することにより、複数のデプス画像の深度情報の差を取得する。制御部６３は、特定のジェスチャーの内容を、状態変化テーブルから、再生空間のユーザの状態変化情報として取得する。状態変化テーブルには、複数種類の特定のジェスチャーの内容と対応付けて、所定閾値を示す深度情報の差が、ユーザの動作状態の変化を示す状態変化情報として記憶される。制御部６３は、算出したボディ座標の時系列データに対応する特定のジェスチャーの内容を、再生空間のユーザの状態変化情報として取得する。例えば、特定のジェスチャーの内容として、「ユーザ１人が両手を突き出す」ジェスチャーが、再生空間のユーザの状態変化情報として取得される。なお、複数のデプス画像の深度情報から状態変化情報を取得する処理は、状態変化テーブルを記憶する状態検知デバイス３が行うように構成してもよい。この場合、制御部６３は、状態検知デバイス３から上記特定のジェスチャーの内容を、状態変化情報として取得することになる。
【００４８】
制御部６３は、効果音と効果映像の再生が可能であるか否かを判定する（ステップＳ７５）。具体的には、制御部６３は、ステップＳ７２で取得した映像情報と、ステップＳ７４で取得した再生空間のユーザの状態変化情報としての特定のジェスチャーの内容が演出判定用テーブルＡで対応付けられて記憶されているか否かを判定し、且つ、ステップＳ７３で取得した楽曲情報が示す楽曲が、ステップＳ７２で取得した映像情報と対応付けて記憶されている楽曲条件情報が示す再生状態を満たすか否かを判定する。例えば、ステップＳ７２で取得した映像情報が、映像ＩＤ：Ｖ００１であり、ステップＳ７４で取得した特定のジェスチャーの内容が「ユーザ１人が両手を突き出す」ジェスチャーであるとき、図２に示す演出判定用テーブルＡに対応付けて記憶されていると判定され、且つ、ステップＳ７３で取得した楽曲情報が楽曲ＩＤ：Ｍ００１であり、「再生開始時１５秒間」以内であれば、再生条件情報が示す再生状態を満たすと判断される。また、言い換えると、例えば、ステップＳ７２で取得した映像情報が、映像ＩＤ：Ｖ００１であり、ステップＳ７４で取得した特定のジェスチャーの内容が「ユーザ２人がグーにした手を高く上げる」ジェスチャーであるとき、図２に示す演出判定用テーブルＡに記憶されていると判定され、その映像情報と、特定のジェスチャー内容と対応付けて再生条件情報に「指定曲（楽曲ＩＤ：Ｍ００１）再生中」を示す再生状態が対応付けられている場合、ステップＳ７３で取得した楽曲情報に楽曲ＩＤ：Ｍ００１が含まれるときに再生状態を満たすと判定される。なお、演出判定用テーブルＡの再生条件情報に「全曲再生中」が定められている場合は、ステップＳ７３で取得した楽曲情報に楽曲が再生されていないことを示す楽曲ＩＤ：０が含まれなければ再生状態を満たすと判定される。
【００４９】
制御部６３は、ステップＳ７５の判定において、演出判定用テーブルＡに、映像情報と、再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されていると判定し、且つ、楽曲が演出判定用テーブルＡにおいて対応する再生状態を満たすと判定した場合、効果音と効果映像の再生が可能であると判定し（ステップＳ７５：ＹＥＳ）、ステップＳ７６へ進む。ステップＳ７６では、制御部６３は、ステップＳ７２で取得した映像情報とステップＳ７４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルＡに記憶されている効果音情報が示す効果音の再生指示を音再生処理部６４へ出力し、且つ、ステップＳ７２で取得した映像情報とステップＳ７４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルＡに記憶されている効果映像情報を含む効果映像再生コマンドを映像再生装置４a〜４dへ送信する。これにより、制御部６３は、効果音情報が示す効果音を音再生処理部６４に再生させ、且つ、効果映像情報が示す効果映像を映像再生装置４a〜４dに再生させる。
【００５０】
なお、制御部６３は、ステップＳ７５の判定において、映像情報と、機器の状態変化情報と一致する状態変化情報とが対応付けられて記憶されているか否かを判定し、且つ、楽曲情報が示す楽曲が映像情報と対応付けて記憶されている楽曲条件情報が示す再生状態を満たすか否かを判定してもよい（後述の実施例２でも同様）。この場合、制御部６３は、映像情報と、機器の状態変化情報と一致する状態変化情報とが対応付けて記憶されていると判定し、且つ、楽曲が再生状態を満たすと判定した場合、効果音と効果映像の再生が可能であると判定し（ステップＳ７５：ＹＥＳ）、上記効果音情報が示す効果音の再生指示を音再生処理部６４へ出力し、且つ、上記効果映像情報を含む効果映像再生コマンドを映像再生装置４a〜４dへ送信する（ステップＳ７６）。
【００５１】
一方、制御部６３は、ステップＳ７５の判定において、映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されていないと判定するか、または、楽曲が再生状態を満たさないと判定した場合、効果音と効果映像の再生が可能でないと判定し（ステップＳ７５：ＮＯ）、ステップＳ７１に戻る。このように、効果音・効果映像再生制御処理は所定周期で繰り返し実行される。
【００５２】
以上に説明した図４に示す実施例１の効果音・効果映像再生制御処理であるステップＳ７１〜ステップＳ７６の各ステップは、図３に示すシーケンス図のステップＳ７において再生制御装置６が開始する効果音・効果映像再生制御処理と対応している。図４の効果音・効果映像再生制御処理のステップＳ７２の処理は、図３に示すシーケンス図では、ステップＳ１０及びＳ１１において映像情報を映像再生装置４a〜４dから取得する処理が対応する。ステップＳ７３の処理は、図３に示すシーケンス図では、ステップＳ１２及びＳ１３において楽曲情報を楽曲再生装置２から取得する処理が対応する。ステップＳ７４の処理は、図３に示すシーケンス図では、ステップＳ１４及びステップＳ１５において、デプス画像の深度情報を状態検知デバイス３から取得する処理が対応する。ステップＳ７５の処理は、図３に示すシーケンス図では、ステップＳ１６の再生可否判定の処理が対応する。ステップＳ７６の処理は、図３に示すシーケンス図では、ステップＳ１７の効果映像再生コマンドを映像再生装置４a〜４dへ送信する処理が対応し、且つ、ステップＳ１８の効果音を再生出力する処理が対応する。
【００５３】
（実施例２）
次に、図５を参照して、実施例２における効果音・効果映像再生制御処理の詳細について説明する。なお、図５に示すステップＳ８１〜Ｓ８４の処理は、図４に示すステップＳ７１〜Ｓ７４の処理と同様である。
【００５４】
図５に示すステップＳ８５では、制御部６３は、楽曲が再生されている再生区間を判定する。例えば、制御部６３は、前回のステップＳ８３で取得した楽曲情報に含まれる前回の楽曲ＩＤと、今回のステップＳ８４で取得した楽曲情報に含まれる今回の楽曲ＩＤとが一致するか否かを判定する。制御部６３は、前回の楽曲ＩＤと今回の楽曲ＩＤとが一致しないと判定した場合、楽曲が再生されている再生区間が、上述した「再生開始時の再生区間」であると判定する。一方、制御部６３は、前回の楽曲ＩＤと今回の楽曲ＩＤとが一致すると判定した場合、楽曲が再生されている再生区間が、上述した「再生中の再生区間」であると判定する。或いは、制御部６３は、前回の楽曲ＩＤと今回の楽曲ＩＤとが一致しないと判定した再生開始時点からの経過時間を計測してもよい。この場合、制御部６３は、計測した経過時間と、今回の楽曲ＩＤが示す楽曲の演奏時間とを比較して、楽曲が再生されている再生区間が、再生中の再生区間であるか、或いは再生終了時の再生区間であるかを判定してもよい。或いは、制御部６３は、再生された映像に基づいて、楽曲が再生されている再生区間が、楽曲の歌詞テロップが表示されていない再生区間であると判定してもよい。或いは、制御部６３は、マイクＭまたは楽曲再生装置２からの入力信号に基づいて、楽曲が再生されている再生区間が、ユーザの歌唱音声信号が入力されていない再生区間であると判定してもよい。
【００５５】
次いで、制御部６３は、効果音と効果映像の再生が可能であるか否かを判定する（ステップＳ８６）。この判定において、制御部６３は、ステップＳ８２で取得した映像情報と、ステップＳ８４で取得した取得した再生空間のユーザの状態変化情報と一致する状態変化情報とが演出判定用テーブルＡで対応付けて記憶されているか否かを判定し、且つ、ステップＳ８２で取得した映像情報が示す映像の再生中に再生が開始された楽曲であり、且つステップＳ８３で取得した楽曲情報が示す楽曲が、ステップＳ８２で取得した映像情報と対応付けて記憶されている楽曲条件情報が示す再生状態を満たすか否かを判定する。ここで、この再生状態が「指定曲（楽曲ＩＤ：Ｍ００２）再生開始時」である場合、ステップＳ８５で再生開始時の再生区間であると判定され、且つステップＳ８３で取得した楽曲情報に楽曲ＩＤ：Ｍ００２が含まれるときに再生状態を満たすと判定される。或いは、上記再生状態が「全曲再生中」である場合、ステップＳ８５で再生中の再生区間であると判定され、且つステップＳ８３で取得した楽曲情報に楽曲ＩＤ：０が含まれなければ再生状態を満たすと判定される。或いは、上記再生状態が「指定曲（楽曲ＩＤ：Ｍ００２）再生中＆歌詞テロップ非表示タイミング」である場合、ステップＳ８５で「楽曲の歌詞テロップが表示されていない再生区間」であると判定され、且つステップＳ８３で取得した楽曲情報に楽曲ＩＤ：Ｍ００２が含まれるときに再生状態を満たすと判定される。
【００５６】
制御部６３は、ステップＳ８６の判定において、映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されていると判定し、且つ、映像の再生中に再生が開始された楽曲が再生状態を満たすと判定した場合、効果音と効果映像の再生が可能であると判定し（ステップＳ８６：ＹＥＳ）、制御部６３は、再生されている楽曲の再生開始時点からの経過時間を計測を開始し、ステップＳ８７へ進む。例えば、制御部６３は、楽曲再生装置２へ問い合わせることで、再生中の楽曲の再生開始時点からの経過時間を取得し、取得した経過時間に続けて経過時間を計測する。なお、楽曲再生装置２が楽曲の再生を開始した時に、楽曲再生装置２が楽曲の再生を開始したことを示す情報を再生制御装置６へ送信するように構成してもよい。この場合、制御部６３は、楽曲の再生を開始したことを示す情報を受信した時点から楽曲の上記経過時間の計測を開始する。一方、制御部６３は、ステップＳ８６の判定において、映像情報と再生空間のユーザの状態変化情報と一致する状態変化情報とが対応付けられて記憶されていないと判定するか、または、映像の再生中に再生が開始された楽曲が再生状態を満たさないと判定した場合、効果音と効果映像の再生が可能でないと判定し（ステップＳ８６：ＮＯ）、ステップＳ８１へ戻る。
【００５７】
ステップＳ８７では、制御部６３は、ユーザが歌唱中であるか否かを判定する。例えば、制御部６３は、マイクＭまたは楽曲再生装置２から所定の音圧レベル（dB)以上の歌唱音声信号が入力されている場合、歌唱中であると判定する。制御部６３は、ユーザが歌唱中であると判定した場合（ステップＳ８７：ＹＥＳ）、ステップＳ８８へ進む。なお、このとき、制御部６３は、ステップＳ８２で取得した映像情報とステップＳ８４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルＡに記憶されている効果映像情報を含む効果映像再生コマンドを映像再生装置４a〜４dへ送信してもよい。一方、制御部６３は、ユーザが歌唱中でないと判定した場合（ステップＳ８７：ＮＯ）、ステップＳ９５へ進む。
【００５８】
ステップＳ８８では、制御部６３は、歌唱中に効果音の再生が可能であるか否かを判定する。例えば、制御部６３は、ステップＳ８２で取得した映像情報とステップＳ８４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルＡに記憶されている効果音情報に対応付けられた歌唱中再生可否が「可」を示す場合、歌唱中に効果音の再生が可能であると判定する。制御部６３は、歌唱中に効果音の再生が可能であると判定した場合（ステップＳ８８：ＹＥＳ）、ステップＳ９５へ進む。一方、制御部６３は、歌唱中に効果音の再生が可能でないと判定した場合（ステップＳ８８：ＮＯ）、ステップＳ８９へ進む。
【００５９】
ステップＳ８９では、制御部６３は、演出判定用テーブルＢに記憶された、再生中の楽曲の楽曲ＩＤに対応付けられた無歌唱タイミング情報を参照して、現時点以降に無歌唱区間があるか否かを判定する。例えば、制御部６３は、計測中の経過時間以降に到来する無歌唱開始時間（例えば、経過時間＜無歌唱開始時間）が、再生中の楽曲の楽曲ＩＤに対応付けられた無歌唱タイミング情報に含まれる場合、現時点以降に無歌唱区間があると判定し、無歌唱タイミング（この場合、無歌唱開始時間）を含む無歌唱継続時間を検出する。あるいは、計測中の経過時間以降に到来する無歌唱開始時間があるか否か、およびその無歌唱継続時間は、例えば楽曲情報の楽曲ＩＤと対応する歌詞のテロップ情報に無歌唱区間を対応付けておき、その歌詞のテロップ情報を読み出すことに検出してもよい。制御部６３は、現時点以降に無歌唱区間があると判定した場合（ステップＳ８９：ＹＥＳ）、ステップＳ９０へ進む。一方、制御部６３は、現時点以降に無歌唱区間がないと判定した場合（ステップＳ８９：ＮＯ）、ステップＳ９３へ進む。
【００６０】
ステップＳ９０では、制御部６３は、ステップＳ８２で取得した映像情報とステップＳ８４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルＡに記憶されている効果音情報から効果音の継続時間を取得する。
【００６１】
次いで、制御部６３は、ステップＳ８９で検出された、無歌唱開始時間（無歌唱タイミングの一例）を含む無歌唱継続時間が、ステップＳ９０で取得された、効果音の継続時間より長いか否かを判定する（ステップＳ９１）。制御部６３は、無歌唱継続時間が効果音の継続時間より長いと判定した場合（ステップＳ９１：ＹＥＳ）、上記無歌唱開始時間を効果音の再生を開始させる開始タイミングとして決定し、ステップＳ９２へ進む。一方、制御部６３は、無歌唱継続時間が効果音の継続時間より長くないと判定した場合（ステップＳ９１：ＮＯ）、ステップＳ９３へ進む。
【００６２】
ステップＳ９２では、制御部６３は、上記決定した開始タイミングになったか否かを、計測中の経過時間に基づいて判定する。制御部６３は、上記決定した開始タイミングになるまで、ステップＳ９２の判定を所定周期で繰り返す（ステップＳ９２：ＮＯ）。制御部６３は、上記決定した開始タイミングになったと判定した場合（ステップＳ９２：ＹＥＳ）、ステップＳ９５へ進む。つまり、制御部６３は、上記決定した開始タイミングで、上記効果音情報が示す効果音の再生を開始させる。これにより、楽曲の間奏等の無歌唱継続時間の範囲内で、特定の映像に合った効果音による効果的な演出を実現することができる。また、このとき、制御部６３は、上記決定した開始タイミングで、上記効果音情報が示す効果音の再生と共に上記効果映像情報が示す効果映像の再生を開始させるようにすれば、楽曲の間奏等の無歌唱継続時間の範囲内で、特定の映像に合った効果音と効果映像とによる効果的な演出を実現することができる。
【００６３】
ステップＳ９３では、制御部６３は、無歌唱発生時に効果音の再生が可能であるか否かを判定する。例えば、制御部６３は、ステップＳ８２で取得した映像情報とステップＳ８４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルＡに記憶されている効果音情報に対応付けられた無歌唱発生時再生可否が「可」を示す場合、無歌唱発生時に効果音の再生が可能であると判定する。制御部６３は、無歌唱発生時に効果音の再生が可能であると判定した場合（ステップＳ９３：ＹＥＳ）、無歌唱タイミングが検出されたか否かを判定する（ステップＳ９４）。例えば、マイクＭまたは楽曲再生装置２から入力されている歌唱音声信号の音圧レベル（dB)が閾値以下の状態が所定時間（例えば１秒間）継続した場合、無歌唱タイミングが検出される。制御部６３は、無歌唱タイミングが検出されたと判定した場合（ステップＳ９４：ＹＥＳ）、検出された無歌唱タイミングを、効果音の再生を開始させる開始タイミングとして決定し、ステップＳ９５へ進む。つまり、制御部６３は、上記決定した開始タイミングで、上記効果音情報が示す効果音の再生を開始させる。これにより、歌唱中でないタイミングを利用して、特定の映像に合った効果音による効果的な演出を実現することができる。また、このとき、制御部６３は、上記決定した開始タイミングで、上記効果音情報が示す効果音の再生開始と共に上記効果映像情報が示す効果映像の再生を開始させるようにすれば、歌唱中でないタイミングを利用して、特定の映像に合った効果音と効果映像とによる効果的な演出を実現することができる。
【００６４】
ステップＳ９５では、制御部６３は、ステップＳ８２で取得した映像情報とステップＳ８４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルＡに記憶されている効果音情報が示す効果音の再生指示を音再生処理部６４へ出力し、且つ、ステップＳ８２で取得した映像情報とステップＳ８４で取得した再生空間のユーザの状態変化情報と一致する状態変化情報とに対応付けられて演出判定用テーブルＡに記憶されている効果映像情報を含む効果映像再生コマンドを映像再生装置４a〜４dへ送信する。これにより、制御部６３は、効果音情報が示す効果音を音再生処理部６４に再生させ、且つ、効果映像情報が示す効果映像を映像再生装置４a〜４dに再生させる。なお、ステップＳ８７において、制御部６３が効果映像再生コマンドを映像再生装置４a〜４dへ送信することにより既に効果映像が再生開始されている場合、ステップＳ９５では、上記効果映像情報を含む効果映像再生コマンドの送信は行われない。
【００６５】
以上に説明した図５に示す実施例２の効果音・効果映像再生制御処理であるステップＳ８１〜ステップＳ８６及びＳ９５の各ステップは、図３に示すシーケンス図のステップＳ７において再生制御装置６が開始する効果音・効果映像再生制御処理と対応している。図５の効果音・効果映像再生制御処理のステップＳ８２の処理は、図３に示すシーケンス図では、ステップＳ１０及びステップＳ１１において映像情報を映像再生装置４a〜４dから取得する処理が対応する。ステップＳ８３の処理は、図３に示すシーケンス図では、ステップＳ１２及びステップＳ１３において楽曲情報を楽曲再生装置２から取得する処理が対応する。ステップＳ８４の処理は、図３に示すシーケンス図では、ステップＳ１４及びステップＳ１５においてデプス画像の深度情報を状態検知デバイス３から取得する処理が対応する。ステップＳ８６の処理は、図３に示すシーケンス図では、ステップＳ１６の再生可否判定の処理が対応する。ステップＳ９５の処理は、図３に示すシーケンス図では、ステップＳ１７の効果映像再生コマンドを映像再生装置４a〜４dへ送信する処理が対応し、且つ、ステップＳ１８の効果音を再生出力する処理が対応する。
【００６６】
以上説明したように、上記実施形態によれば、再生制御装置６は、再生された映像を示す映像情報と、楽曲が再生された再生空間のユーザが使用する機器の状態の変化またはユーザの状態の変化を示す状態変化情報と一致する状態変化情報とが対応付けられて記憶されていると判定し、且つ、再生された楽曲が再生状態を満たすと判定したとき、上記取得した映像情報と上記取得した再生空間のユーザが使用する機器の状態の変化またはユーザの状態の変化を示す状態変化情報と一致する状態変化情報とに対応付けられて記憶されている効果音情報が示す効果音を再生させる。このため、楽曲が再生される再生空間の中で、効果音の効果を十分に発揮させることができる。よって、楽曲が再生された再生空間の中で、従来にはないインタラクティブな演出を実現することができる。
【００６７】
なお、上記実施形態では、再生空間の状態として、ユーザの動作状態または静止状態を例にとって説明したが、再生空間の状態を温度状態、または音状態で判断してもよい。再生空間の状態が温度状態の場合、状態検知デバイス３は、温度センサー等を備える。状態検知デバイス３は、温度センサーにより、再生空間の温度情報を時系列で取得する。状態検知デバイス３は、時系列で取得した温度情報を再生制御装置６へ送信する。再生制御装置６は、時系列で取得した温度情報から、再生空間における温度状態の変化を示す状態変化情報を取得する。例えば、温度状態の変化として、所定時間内に温度が所定温度変化したことを示す状態変化情報が取得される。これ以降は、上記実施形態と同様に、再生可否判定が行われる。また、再生空間の状態が音状態の場合、状態検知デバイス３は、マイク等を備える。状態検知デバイス３は、マイクにより、再生空間の音情報を時系列で取得する。状態検知デバイス３は、時系列で取得した音情報を再生制御装置６へ送信する。再生制御装置６は、時系列で取得した音情報から、再生空間における音状態の変化を示す状態変化情報を取得する。例えば、音状態の変化として、所定時間内に音が所定デシベル変化したことを示す状態変化情報が取得される。これ以降は、上記実施形態と同様に、再生可否判定が行われる。
【符号の説明】
【００６８】
１  表示・操作デバイス
２  楽曲再生装置
３  状態検知デバイス
４a〜４d  映像再生装置
５a〜５d  プロジェクター
６  再生制御装置
７  スピーカ
【図１】
0006402654.tif 000002
【図２】
0006402654.tif 000003
【図３】
0006402654.tif 000004
【図４】
0006402654.tif 000005
【図５】
0006402654.tif 000006