(57)【要約】【課題】所定位置における複数種類の出力要素の到達タイミングを視聴者の位置において同期させるのに好適な出力タイミング制御装置、映像出力装置、出力タイミング制御システム、出力装置、統合データ提供装置、出力タイミング制御プログラム、出力装置制御プログラム、統合データ提供装置制御プログラム、出力タイミング制御装置制御方法、出力装置制御方法及び統合データ提供装置制御方法を提供する。【解決手段】映像表示システム１を、統合データを映像再生装置３及び音声再生装置４に送信する統合データ送信装置２と、統合データに基づいて映像を再生し、当該再生映像を映像投射部３３において光投射出力すると共に、当該統合データと、視聴者席に配設した音声情報取得部３２において取得される音声再生装置４によって再生出力された音声情報とに基づいて視聴者席における音声及び映像の到達タイミングの同期をとる映像再生装置３とを含んだ構成とした。【選択図】      図１
2006121388.tif 000002
【特許請求の範囲】
【請求項１】
Ｎ（Ｎは、２以上の整数）個の出力要素を統合してなる出力結果を、前記Ｎ個の出力要素をＭ（１＜Ｍ≦Ｎ）台の出力装置からそれぞれ別々に出力することで構成するシステムにおいて、前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御装置であって、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を記憶する同期情報記憶手段と、
前記Ｍ台の出力装置から出力された出力要素に係る情報を所定位置において取得する出力情報取得手段と、
前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングの、前記同期タイミングに対するそれぞれのずれを算出する同期ずれ算出手段と、
前記同期ずれ算出手段の算出結果に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングが前記同期タイミングに合うように前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御手段と、を備えることを特徴とする出力タイミング制御装置。
【請求項２】
前記出力要素に係る情報は、当該出力要素の前記所定位置への到達タイミングに係る情報を含み、
前記同期タイミングに係る情報は、前記出力要素がデータである場合に、前記データの一部に係る情報と、当該データの出力タイミングに係る情報とを含むことを特徴とする請求項１記載の出力タイミング制御装置。
【請求項３】
前記データの一部に係る情報は、前記データの一部から抽出される特徴量であり、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果に基づき、当該取得結果から特徴量を抽出し、当該特徴量と、前記到達タイミングに係る情報と、前記同期情報記憶手段の記憶内容とに基づき、前記同期タイミングに対するずれを算出することを特徴とする請求項２記載の出力タイミング制御装置。
【請求項４】
前記Ｍ台の出力装置のうち少なくとも１台は、自装置から出力する出力要素の出力タイミングに同期し、且つ周期性を有した周期性信号を前記出力要素と共に出力するようになっており、
前記出力情報取得手段は、前記出力要素に係る情報として前記周期性信号を取得することを特徴とする請求項１記載の出力タイミング制御装置。
【請求項５】
前記Ｍ台の出力装置が、前記出力要素として映像を出力する映像出力装置と、前記出力要素として音声を出力する音声出力装置とを含んで構成される場合に、
前記出力情報取得手段は、前記映像出力装置及び前記音声出力装置からそれぞれ出力された映像及び音声に係る情報を前記所定位置において取得し、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記映像出力装置から出力された映像の到達タイミングと、前記音声出力装置から出力された音声の到達タイミングとの、前記同期タイミングに対するずれを算出することを特徴とする請求項１乃至請求項４のいずれか１項に記載の出力タイミング制御装置。
【請求項６】
前記Ｍ台の出力装置が、前記出力要素として映像を出力する２台以上の映像出力装置を含んで構成される場合に、
前記出力情報取得手段は、前記２台以上の映像出力装置からそれぞれ出力された映像に係る情報を前記所定位置において取得し、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記２台以上の映像出力装置から出力された映像の到達タイミングの、前記同期タイミングに対するずれを算出することを特徴とする請求項１乃至請求項５のいずれか１項に記載の出力タイミング制御装置。
【請求項７】
前記Ｍ台の出力装置が、前記出力要素として音声を出力する２台以上の音声出力装置を含んで構成される場合に、
前記出力情報取得手段は、前記２台以上の音声出力装置からそれぞれ出力された音声に係る情報を前記所定位置において取得し、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記２台以上の音声出力装置から出力された音声の到達タイミングの、前記同期タイミングに対するずれを算出することを特徴とする請求項１乃至請求項４のいずれか１項に記載の出力タイミング制御装置。
【請求項８】
前記複数の出力装置が、前記出力要素として臭いを出力する臭気出力装置を含んで構成される場合に、
前記出力情報取得手段は、前記臭気出力装置から出力された臭気に係る情報と、少なくとも、１台以上の前記臭気出力装置とは異なる出力装置から出力された出力要素に係る情報とを前記所定位置において取得し、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における前記臭気出力装置から出力された臭気の到達タイミングと、前記臭気出力装置とは異なる出力装置から出力された出力要素の到達タイミングとの、前記同期タイミングに対するずれを算出することを特徴とする請求項１乃至請求項７のいずれか１項に記載の出力タイミング制御装置。
【請求項９】
前記Ｎ個の出力要素に係る情報を含んでなる統合データを取得する統合データ取得手段と、
前記統合データ取得手段によって取得した統合データに基づき、前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、を備えることを特徴とする請求項１乃至請求項８のいずれか１項に記載の出力タイミング制御装置。
【請求項１０】
請求項５又は請求項６記載の出力タイミング制御装置と、
前記出力要素として映像に係る情報を含んでなる統合データを取得する統合データ取得手段と、
前記統合データ取得手段によって取得した統合データに含まれる前記映像に係る情報に基づき、当該映像を出力可能な映像出力手段と、を備えることを特徴とする映像出力装置。
【請求項１１】
請求項１乃至請求項８のいずれか１項に記載の出力タイミング制御装置と、前記Ｍ台の出力装置とを備え、
前記出力タイミング制御装置と、前記Ｍ台の出力装置とをデータ通信可能に接続し、
前記出力タイミング制御装置は、
前記出力タイミング制御手段によって、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報を送信し、
前記出力装置は、
前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
前記出力タイミング制御装置から送信された制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、前記出力手段による出力要素の出力タイミングを修正する出力タイミング修正手段と、を備えることを特徴とする出力タイミング制御システム。
【請求項１２】
請求項１乃至請求項８のいずれか１項に記載の出力タイミング制御装置と、前記Ｍ台の出力装置と、統合データ提供装置とを備え、
前記出力タイミング制御装置と、前記Ｍ台の出力装置と、前記統合データ提供装置とをデータ通信可能に接続し、
前記出力タイミング制御装置は、
前記統合データ提供装置から送信された同期タイミングに係る情報を受信する同期情報受信手段を備え、
前記出力タイミング制御手段によって、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報を送信し、
前記出力装置は、
前記統合データ提供装置から送信された統合データを受信する統合データ受信手段と、
統合データ受信手段によって受信した統合データに基づき、前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
前記出力タイミング制御装置から送信された制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正手段と、を備え、
前記統合データ提供装置は、
前記Ｎ個の出力要素に係る情報を含んでなる統合データを前記出力装置に送信する統合データ送信手段と、
前記同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信手段と、を備えることを特徴とする出力タイミング制御システム。
【請求項１３】
請求項９記載の出力タイミング制御装置と、Ｓ（Ｓは、１以上の整数）台の出力装置とを備え、
前記出力タイミング制御装置と、前記Ｓ台の出力装置とをそれぞれデータ通信可能に接続し、
前記出力タイミング制御装置は、
前記出力タイミング制御手段によって、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報を送信し、
前記出力装置は、
前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
前記出力タイミング制御装置から送信された制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、前記出力手段による出力要素の出力タイミングを修正する出力タイミング修正手段と、を備えることを特徴とする出力タイミング制御システム。
【請求項１４】
請求項９記載の出力タイミング制御装置と、Ｓ（Ｓは、１以上の整数）台の出力装置と、統合データ提供装置とを備え、
前記出力タイミング制御装置と、前記Ｓ台の出力装置と、前記統合データ提供装置とをデータ通信可能に接続し、
前記出力タイミング制御装置は、
前記統合データ提供装置から送信された同期タイミングに係る情報を受信する同期情報受信手段を備え、
前記出力タイミング制御手段によって、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報を送信し、
前記出力装置は、
前記統合データ提供装置から送信された統合データを受信する統合データ受信手段と、
前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
前記出力タイミング制御装置から送信された制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正手段と、を備え、
前記統合データ提供装置は、
前記Ｎ個の出力要素に係る情報を含んでなる統合データを前記出力タイミング制御装置及び前記出力装置に送信する統合データ送信手段と、
前記同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信手段と、を備えることを特徴とする出力タイミング制御システム。
【請求項１５】
前記出力装置は、前記周期性信号を前記出力要素と共に出力する周期性信号出力手段を備えることを特徴とする請求項１１乃至請求項１４のいずれか１項に記載の出力タイミング制御システム。
【請求項１６】
請求項１乃至請求項９のいずれか１項に記載の出力タイミング制御装置であって、
前記Ｍ台の出力装置からそれぞれ別々に出力される、前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を、統合データ提供装置から受信する同期情報受信手段を備えることを特徴とする出力タイミング制御装置。
【請求項１７】
統合データ提供装置から送信されたＮ（Ｎは、２以上の整数）個の出力要素に係る情報を含んでなる統合データを受信する統合データ受信手段と、
前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
出力タイミング制御装置から送信された、前記出力手段による出力要素の出力タイミングを制御するのに使用する制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正手段と、を備えることを特徴とする出力装置。
【請求項１８】
Ｎ（Ｎは、２以上の整数）個の出力要素に係る情報を含んでなる統合データを、出力タイミング制御装置及び出力装置に送信する統合データ送信手段と、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信手段と、を備えることを特徴とする統合データ提供装置。
【請求項１９】
Ｎ（Ｎは、２以上の整数）個の出力要素を統合してなる出力結果を、前記Ｎ個の出力要素をＭ（１＜Ｍ≦Ｎ）台の出力装置からそれぞれ別々に出力することで構成するシステムにおいて、前記出力装置からの前記出力要素の出力タイミングを制御するのに使用する出力タイミング制御プログラムであって、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を同期情報記憶手段に記憶する同期情報記憶ステップと、
前記Ｍ台の出力装置から出力された出力要素に係る情報を所定位置において取得する出力情報取得ステップと、
前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングの、前記同期タイミングに対するそれぞれのずれを算出する同期ずれ算出ステップと、
前記同期ずれ算出ステップにおける算出結果に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングが前記同期タイミングに合うように前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御ステップとからなる処理をコンピュータに実行させるのに使用するプログラムを含むことを特徴とする出力タイミング制御プログラム。
【請求項２０】
請求項１９記載の出力タイミング制御プログラムであって、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を、統合データ提供装置から受信する同期情報受信ステップをコンピュータに実行させるのに使用するプログラムを更に含むことを特徴とする出力タイミング制御プログラム。
【請求項２１】
Ｎ（Ｎは、２以上の整数）個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力装置を制御するのに使用するプログラムであって、
統合データ提供装置から送信された前記Ｎ個の出力要素に係る情報を含んでなる統合データを受信する統合データ受信ステップと、
前記Ｎ個の出力要素のうち、前記ｘ個の出力要素を出力する出力ステップと、
出力タイミング制御装置から送信された、前記出力ステップにおける出力要素の出力タイミングを制御するのに使用する制御情報を受信する制御情報受信ステップと、
前記制御情報受信ステップにおいて受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正ステップとからなる処理をコンピュータに実行させるのに使用するプログラムを含むことを特徴とする出力装置制御プログラム。
【請求項２２】
Ｎ（Ｎは、２以上の整数）個の出力要素に係る情報を含んでなる統合データを、出力タイミング制御装置及び出力装置に送信する統合データ送信ステップと、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信ステップとからなる処理をコンピュータに実行させるのに使用するプログラムを含むことを特徴とする統合データ提供装置制御プログラム。
【請求項２３】
Ｎ（Ｎは、２以上の整数）個の出力要素を統合してなる出力結果を、前記Ｎ個の出力要素をＭ（１＜Ｍ≦Ｎ）台の出力装置からそれぞれ別々に出力することで構成するシステムにおいて、前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御装置を制御するのに使用する出力タイミング制御装置制御方法であって、
前記出力タイミング制御装置が、
前記Ｍ台の出力装置から出力された出力要素に係る情報を所定位置において取得する出力情報取得ステップと、
前記出力情報取得ステップにおける取得結果と、前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報の記憶された同期情報記憶手段の記憶内容とに基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングの、前記同期タイミングに対するそれぞれのずれを算出する同期ずれ算出ステップと、
前記同期ずれ算出ステップにおける算出結果に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングが前記同期タイミングに合うように前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御ステップと、を含むことを特徴とする出力タイミング制御装置制御方法。
【請求項２４】
請求項２３記載の出力タイミング制御装置制御方法であって、
前記出力タイミング制御装置が、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を、統合データ提供装置から受信する同期情報受信ステップを更に含むことを特徴とする出力タイミング制御装置制御方法。
【請求項２５】
Ｎ（Ｎは、２以上の整数）個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力装置を制御するのに使用する出力装置制御方法であって、
前記出力装置が、
統合データ提供装置から送信された前記Ｎ個の出力要素に係る情報を含んでなる統合データを受信する統合データ受信ステップと、
前記Ｎ個の出力要素のうち、前記ｘ個の出力要素を出力する出力ステップと、
出力タイミング制御装置から送信された、前記出力ステップにおける出力要素の出力タイミングを制御するのに使用する制御情報を受信する制御情報受信ステップと、
前記制御情報受信ステップにおいて受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正ステップと、を含むことを特徴とする出力装置制御方法。
【請求項２６】
Ｎ（Ｎは、２以上の整数）個の出力要素に係る情報を含んでなる統合データを、出力タイミング制御装置及び出力装置に送信する統合データ送信ステップと、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信ステップと、を含むことを特徴とする統合データ提供装置制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の出力装置から出力される複数の出力要素の出力タイミングを制御する装置に係り、特に、所定位置における複数の出力要素の到達タイミングを同期させるのに好適な出力タイミング制御装置、映像出力装置、出力タイミング制御システム、出力装置、統合データ提供装置、出力タイミング制御プログラム、出力装置制御プログラム、統合データ提供装置制御プログラム、出力タイミング制御装置制御方法、出力装置制御方法及び統合データ提供装置制御方法に関する。
【背景技術】
【０００２】
従来、プロジェクタ等から出力される映像に合わせて、プロジェクタとは別のスピーカ装置から音声を出力させ、それを視聴者が視聴者席等から見るといったようなシステムがある。しかし、スクリーンに表示される映像（光）に対し、スクリーンの傍に設置されたスピーカ装置から出力される音声は、両者の間に伝播速度差がかなりあるため、特にスピーカ装置から視聴者のいる位置までが遠く離れているような場合には、当該位置において映像と音声とが同期せずに両者のタイミングずれるといった現象が発生する恐れがあった。
【０００３】
従来、このような同期ずれを防止する技術として、特許文献１に記載のデジタルＡＶシステム、特許文献２に記載の時間差調整装置、特許文献３に記載の映像・音声同期方式などがある。
特許文献１記載のデジタルＡＶシステムは、映像を再生する装置と、音声を再生する装置とが連携するものであり、相互にデータ通信可能な接続ＩＦで装置間をつないで時間情報を送り、当該時間情報に基づいて各装置が遅延を補正するものである。
【０００４】
また、特許文献２の時間差調整装置は、リファレンス信号を用いて映像と音声の同期をとるもので、当該リファレンス信号を音声や映像の信号に付加する。
また、特許文献３の映像・音声同期方式は、所定のゼスチャの映像と音声とを検出して時間ずれを測定する方法である。
【特許文献１】特開２００１−１２８１６７号公報
【特許文献２】特開平７−３８７７１号公報
【特許文献３】特開平１１−８８８４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１のデジタルＡＶシステムにおいては、実際に視聴者のいる位置における映像と音声との情報（時間を含む）を測定して同期をとるものではないため、上記のような視聴者の位置において発生する同期ずれを解決することはできない。更に、各装置に同期をとるための機能を付加しなければならずコストアップにつながるといった問題があった。
【０００６】
また、上記特許文献２の時間差調整装置においては、同期をとるためのリファレンス信号を音声や映像の信号に付加するため、これらを分離する処理や比較する処理等が必要となり、リアルタイムに同期をとるには処理が重たくなるといった問題が生じる恐れがあった。
また、上記特許文献３の映像・音声同期方式においては、ゼスチャを認識する処理などが重たくなるといった問題があった。
【０００７】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、所定位置における複数の出力要素の到達タイミングを同期させるのに好適な出力タイミング制御装置、映像出力装置、出力タイミング制御システム、出力装置、統合データ提供装置、出力タイミング制御プログラム、出力装置制御プログラム、統合データ提供装置制御プログラム、出力タイミング制御装置制御方法、出力装置制御方法及び統合データ提供装置制御方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
〔発明１〕  Ｎ（Ｎは、２以上の整数）個の出力要素を統合してなる出力結果を、前記Ｎ個の出力要素をＭ（１＜Ｍ≦Ｎ）台の出力装置からそれぞれ別々に出力することで構成するシステムにおいて、前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御装置であって、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を記憶する同期情報記憶手段と、
前記Ｍ台の出力装置から出力された出力要素に係る情報を所定位置において取得する出力情報取得手段と、
前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングの、前記同期タイミングに対するそれぞれのずれを算出する同期ずれ算出手段と、
前記同期ずれ算出手段の算出結果に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングが前記同期タイミングに合うように前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御手段と、を備えることを特徴としている。
【０００９】
このような構成であれば、出力情報取得手段により、Ｍ台の出力装置からそれぞれ出力された出力要素に係る情報が所定位置において取得される。出力要素に係る情報が取得されると、同期ずれ算出手段により、出力情報取得手段の取得結果及び同期情報記憶手段の記憶内容に基づき、所定位置におけるＮ個の出力要素の到達タイミングの、同期タイミングに対するそれぞれのずれが算出される。ずれが算出されると、出力タイミング制御手段により、当該算出結果に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングが前記同期タイミングに合うように出力装置からの出力要素の出力タイミングが制御される。
【００１０】
従って、出力装置から出力された出力要素に係る情報を、所定位置において取得し、この取得した情報に基づき当該出力要素の所定位置における到達タイミングの、同期タイミングに対するずれを算出するようにしたので、所定位置における、出力要素の到達タイミングの、同期タイミングからのずれを算出することができ、更に、このようにして算出したずれに基づき、出力装置からの出力要素の出力タイミングを制御するようにしたので、出力装置から出力されたＮ個の出力要素の到達タイミングを所定位置において同期させることができるという効果が得られる。
【００１１】
ここで、出力要素とは、例えば、映画等の作品であれば、映像と、音声（役者の台詞、ＢＧＭ等）との２つが出力要素となり、他にも、複数種類の映像を同期表示させるような作品では、各映像が出力要素となり、複数種類の音（ヴィオリン、ピアノ、フルート等）を同期演奏させるような作品では、各音が出力要素となり、映像に同期させてドライアイス等により霧を発生させるような作品では、映像及び霧が出力要素となり、映像に同期して花の香り等の臭気を発生させるような作品では、映像及び臭気が出力要素となる。つまり、映画やショーなどにおいて、複数の出力装置から出力される映像や音声等の要素を統合することにより、１つの作品が構成されるような場合に、作品を構成する各要素が出力要素となる。また、出力要素は、例えば、映像（光）や音声などのように、出力装置から出力されると時間の経過に伴い空気中等を伝播（移動）するもので、種類に応じて様々な伝播（移動）速度を有している。また、プロジェクタ等の光投射型の出力装置から出力される映像のように、スクリーンなどの中継手段を介して伝播するものも含む（他に反射鏡等がある）。以下、発明１８の出力タイミング制御プログラム及び発明２８の出力タイミング制御装置制御方法において同じである。
【００１２】
また、出力要素を統合するときの同期タイミングに係る情報とは、少なくとも、各出力装置から出力される出力要素間の時間的な関係を示す情報であり、例えば、映像に対する音声の出力タイミング等の各出力要素の出力タイミングが解る情報を含むものである。以下、発明１８の出力タイミング制御プログラム及び発明２８の出力タイミング制御装置制御方法において同じである。
【００１３】
また、所定位置は、主に、映画館の観客席等の、出力要素の出力位置から離れた位置であり、複数の出力要素が統合された結果を視聴する視聴者のいる位置を示す。以下、発明１８の出力タイミング制御プログラム及び発明２８の出力タイミング制御装置制御方法において同じである。
【００１４】
〔発明２〕  更に、発明２の出力タイミング制御装置は、発明１の出力タイミング制御装置において、
前記出力要素に係る情報は、当該出力要素の前記所定位置への到達タイミングに係る情報を含み、
前記同期タイミングに係る情報は、前記出力要素がデータである場合に、前記データの一部に係る情報と、当該データの出力タイミングに係る情報とを含むことを特徴としている。
【００１５】
このような構成であれば、出力要素に含まれるデータの一部を、同期タイミングを知るための検出用マーカとして用いることができるので、出力要素に対して、特別な情報を付加したりすることなく、到達タイミングの、同期タイミングに対するずれを算出することができるという効果が得られる。
【００１６】
〔発明３〕  更に、発明３の出力タイミング制御装置は、発明２の出力タイミング制御装置において、
前記データの一部に係る情報は、前記データの一部から抽出される特徴量であり、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果に基づき、当該取得結果から特徴量を抽出し、当該特徴量と、前記到達タイミングに係る情報と、前記同期情報記憶手段の記憶内容とに基づき、前記同期タイミングに対するずれを算出することを特徴としている。
このような構成であれば、取得した出力要素からデータの一部を検出する際の処理を軽くすることができるという効果が得られる。
【００１７】
〔発明４〕  更に、発明４の出力タイミング制御装置は、発明１の出力タイミング制御装置において、
前記Ｍ台の出力装置のうち少なくとも１台は、自装置から出力する出力要素の出力タイミングに同期し、且つ周期性を有した周期性信号を前記出力要素と共に出力するようになっており、
前記出力情報取得手段は、前記出力要素に係る情報として前記周期性信号を取得することを特徴としている。
【００１８】
このような構成であれば、例えば、出力要素の統合結果には反映されない可聴帯域外の音声を所定周期でシフトさせながら流し続け、周波数の変調の位相ずれを同期ずれとして検出する等が可能となり、これにより、同期タイミング検出用のマーカが不要となり、簡易に同期タイミングに対するずれを算出できるという効果が得られる。
【００１９】
〔発明５〕  更に、発明５の出力タイミング制御装置は、発明１乃至４のいずれか１の出力タイミング制御装置において、
前記Ｍ台の出力装置が、前記出力要素として映像を出力する映像出力装置と、前記出力要素として音声を出力する音声出力装置とを含んで構成される場合に、
前記出力情報取得手段は、前記映像出力装置及び前記音声出力装置からそれぞれ出力された映像及び音声に係る情報を前記所定位置において取得し、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記映像出力装置から出力された映像の到達タイミングと、前記音声出力装置から出力された音声の到達タイミングとの、前記同期タイミングに対するずれを算出することを特徴としている。
【００２０】
このような構成であれば、映像出力装置から出力される映像と、音声出力装置から出力される音声との、所定位置における到達タイミングのずれが、同期タイミングに合うように映像出力装置及び音声出力装置の出力タイミングを制御することができるという効果が得られる。
ここで、音声出力装置からは、音声だけに限らず、効果音やＢＧＭ等の他の音を出力しても良く、これらの音と映像との同期タイミングを合わせるようにしても良い。以下、発明２２の出力タイミング制御プログラム及び発明３２の出力タイミング制御装置制御方法において同じである。
【００２１】
〔発明６〕  更に、発明６の出力タイミング制御装置は、発明１乃至５のいずれか１の出力タイミング制御装置において、
前記Ｍ台の出力装置が、前記出力要素として映像を出力する２台以上の映像出力装置を含んで構成される場合に、
前記出力情報取得手段は、前記２台以上の映像出力装置からそれぞれ出力された映像に係る情報を前記所定位置において取得し、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記２台以上の映像出力装置から出力された映像の到達タイミングの、前記同期タイミングに対するずれを算出することを特徴としている。
このような構成であれば、複数の映像出力装置からそれぞれ別々に出力される複数の映像の、所定位置における到達タイミングのずれが、同期タイミングに合うように複数の映像出力装置の出力タイミングを制御することができるという効果が得られる。
【００２２】
〔発明７〕  更に、発明７の出力タイミング制御装置は、発明１乃至４のいずれか１の出力タイミング制御装置において、前記Ｍ台の出力装置が、前記出力要素として音声を出力する２台以上の音声出力装置を含んで構成される場合に、
前記出力情報取得手段は、前記２台以上の音声出力装置からそれぞれ出力された音声に係る情報を前記所定位置において取得し、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記２台以上の音声出力装置から出力された音声の到達タイミングの、前記同期タイミングに対するずれを算出することを特徴としている。
このような構成であれば、複数の音声出力装置からそれぞれ別々に出力される複数の音声の、所定位置における到達タイミングのずれが、同期タイミングに合うように複数の音声出力装置の出力タイミングを制御することができるという効果が得られる。
【００２３】
〔発明８〕  更に、発明８の出力タイミング制御装置は、発明１乃至７のいずれか１の出力タイミング制御装置において、
前記複数の出力装置が、前記出力要素として臭いを出力する臭気出力装置を含んで構成される場合に、
前記出力情報取得手段は、前記臭気出力装置から出力された臭気に係る情報と、少なくとも、１台以上の前記臭気出力装置とは異なる出力装置から出力された出力要素に係る情報とを前記所定位置において取得し、
前記同期ずれ算出手段は、前記出力情報取得手段の取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における前記臭気出力装置から出力された臭気の到達タイミングと、前記臭気出力装置とは異なる出力装置から出力された出力要素の到達タイミングとの、前記同期タイミングに対するずれを算出することを特徴としている。
このような構成であれば、臭気出力装置から出力される臭気と、他の出力装置から出力される出力要素との、所定位置における到達タイミングのずれが、同期タイミングに合うように映像出力装置及び音声出力装置の出力タイミングを制御することができるという効果が得られる。
【００２４】
〔発明９〕  更に、発明９の出力タイミング制御装置は、発明１乃至８のいずれか１の出力タイミング制御装置において、
前記Ｎ個の出力要素に係る情報を含んでなる統合データを取得する統合データ取得手段と、
前記統合データ取得手段によって取得した統合データに基づき、前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、を備えることを特徴としている。
【００２５】
このような構成であれば、統合データ取得手段により、Ｎ個の出力要素に係る情報を含んでなる統合データが取得される。統合データが取得されると、出力手段により、統合データに基づき、Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素が出力される。
従って、例えば、映像及び音声からなる作品の場合に、映像又は音声を出力する出力装置としての機能を併せ持つ出力タイミング制御装置を構成することが可能となる。
【００２６】
〔発明１０〕  一方、発明１０の映像出力装置は、
発明５又は６の出力タイミング制御装置と、
前記出力要素として映像に係る情報を含んでなる統合データを取得する統合データ取得手段と、
前記統合データ取得手段によって取得した統合データに含まれる前記映像に係る情報に基づき、当該映像を出力可能な映像出力手段と、を備えることを特徴としている。
【００２７】
このような構成であれば、統合データ取得手段により、映像に係る情報を含んでなる統合データが取得される。統合データが取得されると、映像出力手段により、統合データに含まれる前記映像に係る情報に基づき、当該映像が出力される。
従って、出力タイミング制御装置を、例えば、光投射型の映像出力手段を有したプロジェクタ等の投射型表示装置や、液晶ディスプレイ、プラズマディスプレイなどの表示装置として構成することが可能となる。
【００２８】
〔発明１１〕  一方、発明１１の出力タイミング制御システムは、
請求項１乃至請求項８のいずれか１項に記載の出力タイミング制御装置と、前記Ｍ台の出力装置とを備え、
前記出力タイミング制御装置と、前記Ｍ台の出力装置とをデータ通信可能に接続し、
前記出力タイミング制御装置は、
前記出力タイミング制御手段によって、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報を送信し、
前記出力装置は、
前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
前記出力タイミング制御装置から送信された制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、前記出力手段による出力要素の出力タイミングを修正する出力タイミング修正手段と、を備えることを特徴としている。
【００２９】
このような構成であれば、出力タイミング制御装置においては、出力タイミング制御手段により、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報が送信される。
また、出力装置においては、出力手段により、Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素が出力され、制御情報受信手段により、出力タイミング制御装置から送信された制御情報が受信される。制御情報が受信されると、出力タイミング修正手段により、出力手段による出力要素の出力タイミングが修正される。
【００３０】
従って、出力タイミング制御装置は、出力装置から出力された出力要素に係る情報を、所定位置において取得し、この取得した情報に基づき当該出力要素の所定位置における到達タイミングの、同期タイミングに対するずれを算出するようにしたので、所定位置における、出力要素の到達タイミングの、同期タイミングからのずれを算出することができる。更に、このようにして算出したずれに基づき、出力装置からの出力要素の出力タイミングを制御するのに使用する制御情報を生成して出力装置に送信するようにし、出力装置が、この制御情報により、出力タイミングを制御できるようにしたので、複数の出力装置から出力された出力要素の到達タイミングを、所定位置において同期させることができるという効果が得られる。
【００３１】
〔発明１２〕  また、発明１２の出力タイミング制御システムは、
発明１乃至８のいずれか１の出力タイミング制御装置と、前記Ｍ台の出力装置と、統合データ提供装置とを備え、
前記出力タイミング制御装置と、前記Ｍ台の出力装置と、前記統合データ提供装置とをデータ通信可能に接続し、
前記出力タイミング制御装置は、
前記統合データ提供装置から送信された同期タイミングに係る情報を受信する同期情報受信手段を備え、
前記出力タイミング制御手段によって、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報を送信し、
前記出力装置は、
前記統合データ提供装置から送信された統合データを受信する統合データ受信手段と、
統合データ受信手段によって受信した統合データに基づき、前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
前記出力タイミング制御装置から送信された制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正手段と、を備え、
前記統合データ提供装置は、
前記Ｎ個の出力要素に係る情報を含んでなる統合データを前記出力装置に送信する統合データ送信手段と、
前記同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信手段と、を備えることを特徴としている。
【００３２】
このような構成であれば、出力タイミング制御装置において、同期情報受信手段により、統合データ提供装置から送信された同期タイミングに係る情報が受信され、出力タイミング制御手段により、出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報が送信される。
また、出力装置において、統合データ受信手段により、統合データ提供装置から送信された統合データが受信される。統合データが受信されると、出力手段により、統合データに基づき、Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素が出力される。
【００３３】
また、出力装置において、制御情報受信手段により、出力タイミング制御装置から送信された制御情報が受信される。制御情報が受信されると、出力タイミング修正手段により、当該制御情報に基づき、出力要素の出力タイミングが修正される。
従って、出力タイミング制御装置は、統合データ提供装置から同期情報を取得することができ、出力装置は、統合データ提供装置から統合データを取得することができる。更に、出力タイミング制御装置は、出力装置から出力された出力要素に係る情報を、所定位置において取得し、この取得した情報に基づき当該出力要素の所定位置における到達タイミングの、同期タイミングに対するずれを算出するようにしたので、所定位置における、出力要素の到達タイミングの、同期タイミングからのずれを算出することができる。更に、このようにして算出したずれに基づき、出力装置からの出力要素の出力タイミングを制御するのに使用する制御情報を生成して出力装置に送信するようにし、出力装置が、この制御情報により、出力タイミングを制御できるようにしたので、複数の出力装置から出力された出力要素の到達タイミングを、所定位置において同期させることができるという効果が得られる。
【００３４】
〔発明１３〕  また、発明１３の出力タイミング制御システムは、
発明９の出力タイミング制御装置と、Ｓ（Ｓは、１以上の整数）台の出力装置とを備え、
前記出力タイミング制御装置と、前記Ｓ台の出力装置とをそれぞれデータ通信可能に接続し、
前記出力タイミング制御装置は、
前記出力タイミング制御手段によって、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報を送信し、
前記出力装置は、
前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
前記出力タイミング制御装置から送信された制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、前記出力手段による出力要素の出力タイミングを修正する出力タイミング修正手段と、を備えることを特徴としている。
【００３５】
このような構成であれば、出力タイミング制御装置においては、出力タイミング制御手段により、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報が送信される。
また、出力装置においては、出力手段により、Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素が出力され、制御情報受信手段により、出力タイミング制御装置から送信された制御情報が受信される。制御情報が受信されると、出力タイミング修正手段により、出力手段による出力要素の出力タイミングが修正される。
【００３６】
従って、出力タイミング制御装置は、出力装置から出力された出力要素に係る情報を、所定位置において取得し、この取得した情報に基づき当該出力要素の所定位置における到達タイミングの、同期タイミングに対するずれを算出するようにしたので、所定位置における、出力要素の到達タイミングの、同期タイミングからのずれを算出することができる。更に、このようにして算出したずれに基づき、出力装置からの出力要素の出力タイミングを制御するのに使用する制御情報を生成して出力装置に送信するようにし、出力装置が、この制御情報により、出力タイミングを制御できるようにしたので、複数の出力装置から出力された出力要素の到達タイミングを、所定位置において同期させることができるという効果が得られる。
【００３７】
〔発明１４〕  また、発明１４の出力タイミング制御システムは、
発明９の出力タイミング制御装置と、Ｓ（Ｓは、１以上の整数）台の出力装置と、統合データ提供装置とを備え、
前記出力タイミング制御装置と、前記Ｓ台の出力装置と、前記統合データ提供装置とをデータ通信可能に接続し、
前記出力タイミング制御装置は、
前記統合データ提供装置から送信された同期タイミングに係る情報を受信する同期情報受信手段を備え、
前記出力タイミング制御手段によって、前記出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報を送信し、
前記出力装置は、
前記統合データ提供装置から送信された統合データを受信する統合データ受信手段と、
前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
前記出力タイミング制御装置から送信された制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正手段と、を備え、
前記統合データ提供装置は、
前記Ｎ個の出力要素に係る情報を含んでなる統合データを前記出力タイミング制御装置及び前記出力装置に送信する統合データ送信手段と、
前記同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信手段と、を備えることを特徴としている。
【００３８】
このような構成であれば、出力タイミング制御装置において、同期情報受信手段により、統合データ提供装置から送信された同期タイミングに係る情報が受信され、出力タイミング制御手段ににより、出力装置に、当該出力装置の出力タイミングを制御するのに使用する制御情報が送信される。
また、出力装置において、統合データ受信手段により、統合データ提供装置から送信された統合データが受信される、統合データが受信されると、出力手段により、統合データに基づき、Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素が出力される。
【００３９】
また、出力装置において、制御情報受信手段により、出力タイミング制御装置から送信された制御情報が受信される。制御情報が受信されると、出力タイミング修正手段により、当該制御情報に基づき、出力要素の出力タイミングが修正される。
従って、出力タイミング制御装置は、統合データ提供装置から同期情報を取得することができ、出力装置は、統合データ提供装置から統合データを取得することができる。更に、出力タイミング制御装置は、出力装置から出力された出力要素に係る情報を、所定位置において取得し、この取得した情報に基づき当該出力要素の所定位置における到達タイミングの、同期タイミングに対するずれを算出するようにしたので、所定位置における、出力要素の到達タイミングの、同期タイミングからのずれを算出することができる。更に、このようにして算出したずれに基づき、出力装置からの出力要素の出力タイミングを制御するのに使用する制御情報を生成して出力装置に送信するようにし、出力装置が、この制御情報により、出力タイミングを制御できるようにしたので、複数の出力装置から出力された出力要素の到達タイミングを、所定位置において同期させることができるという効果が得られる。
【００４０】
〔発明１５〕  更に、発明１５の出力タイミング制御システムは、発明１１乃至１４のいずれか１の出力タイミング制御システムにおいて、
前記出力装置は、前記周期性信号を前記出力要素と共に出力する周期性信号出力手段を備えることを特徴としている。
このような構成であれば、出力装置のおいては、周期性信号出力手段により、周期性信号が前記出力要素と共に出力される。
【００４１】
従って、出力タイミング制御装置においては、出力装置から受信した周期性信号に基づき、出力要素の所定位置における到達タイミングの、同期タイミングに対するずれを算出することができるので、これにより、同期タイミング検出用のマーカが不要となり、簡易に同期タイミングに対するずれを算出できるという効果が得られる。
【００４２】
〔発明１６〕  更に、発明１６の出力タイミング制御装置は、
請求項１乃至請求項９のいずれか１項に記載の出力タイミング制御装置であって、
前記Ｍ台の出力装置からそれぞれ別々に出力される、前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を、統合データ提供装置から受信する同期情報受信手段を備えることを特徴としている。
これにより、発明１２又は１４の出力タイミング制御システムにおける、出力タイミング制御装置と同等の作用効果が得られる。
【００４３】
〔発明１７〕  一方、発明１７の出力装置は、
統合データ提供装置から送信されたＮ（Ｎは、２以上の整数）個の出力要素に係る情報を含んでなる統合データを受信する統合データ受信手段と、
前記Ｎ個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力手段と、
出力タイミング制御装置から送信された、前記出力手段による出力要素の出力タイミングを制御するのに使用する制御情報を受信する制御情報受信手段と、
前記制御情報受信手段によって受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正手段と、を備えることを特徴としている。
これにより、発明１２又は１４の出力タイミング制御システムにおける、出力装置と同等の作用効果が得られる。
【００４４】
〔発明１８〕  一方、発明１８の統合データ提供装置は、
Ｎ（Ｎは、２以上の整数）個の出力要素に係る情報を含んでなる統合データを、出力タイミング制御装置及び出力装置に送信する統合データ送信手段と、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信手段と、を備えることを特徴としている。
これにより、発明１２又は１４の出力タイミング制御システムにおける、統合データ提供装置と同等の作用効果が得られる。
【００４５】
〔発明１９〕  一方、発明１９の出力タイミング制御プログラムは、
Ｎ（Ｎは、２以上の整数）個の出力要素を統合してなる出力結果を、前記Ｎ個の出力要素をＭ（１＜Ｍ≦Ｎ）台の出力装置からそれぞれ別々に出力することで構成するシステムにおいて、前記出力装置からの前記出力要素の出力タイミングを制御するのに使用する出力タイミング制御プログラムであって、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を同期情報記憶手段に記憶する同期情報記憶ステップと、
前記Ｍ台の出力装置から出力された出力要素に係る情報を所定位置において取得する出力情報取得ステップと、
前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングの、前記同期タイミングに対するそれぞれのずれを算出する同期ずれ算出ステップと、
前記同期ずれ算出ステップにおける算出結果に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングが前記同期タイミングに合うように前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御ステップとからなる処理をコンピュータに実行させるのに使用するプログラムを含むことを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の出力タイミング制御装置と同等の作用および効果が得られる。
【００４６】
〔発明２０〕  更に、発明２０の出力タイミング制御プログラムは、発明１９の出力タイミング制御プログラムにおいて、
前記出力要素に係る情報は、当該出力要素の前記所定位置への到達タイミングに係る情報を含み、
前記同期タイミングに係る情報は、前記出力要素がデータである場合に、前記データの一部に係る情報と、当該データの出力タイミングに係る情報とを含むことを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明２の出力タイミング制御装置と同等の作用および効果が得られる。
【００４７】
〔発明２１〕  更に、発明２１の出力タイミング制御プログラムは、発明２０の出力タイミング制御プログラムにおいて、
前記データの一部に係る情報は、前記データの一部から抽出される特徴量であり、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果に基づき、当該取得結果から特徴量を抽出し、当該特徴量と、前記到達タイミングに係る情報と、前記同期情報記憶手段の記憶内容とに基づき、前記同期タイミングに対するずれを算出することを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明３の出力タイミング制御装置と同等の作用および効果が得られる。
【００４８】
〔発明２２〕  更に、発明２２の出力タイミング制御プログラムは、発明２０の出力タイミング制御プログラムにおいて、
前記Ｍ台の出力装置のうち少なくとも１台は、自装置から出力する出力要素の出力タイミングに同期し、且つ周期性を有した周期性信号を前記出力要素と共に出力するようになっており、
前記出力情報取得ステップにおいては、前記出力要素に係る情報として前記周期性信号を取得することを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明４の出力タイミング制御装置と同等の作用および効果が得られる。
【００４９】
〔発明２３〕  更に、発明２３の出力タイミング制御プログラムは、発明１９乃至２２のいずれか１の出力タイミング制御プログラムにおいて、
前記Ｍ台の出力装置が、前記出力要素として映像を出力する映像出力装置と、前記出力要素として音声を出力する音声出力装置とを含んで構成される場合に、
前記出力情報取得ステップにおいては、前記映像出力装置及び前記音声出力装置からそれぞれ出力された映像及び音声に係る情報を前記所定位置において取得し、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記映像出力装置から出力された映像の到達タイミングと、前記音声出力装置から出力された音声の到達タイミングとの、前記同期タイミングに対するずれを算出することを特徴としている。
【００５０】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明５の出力タイミング制御装置と同等の作用および効果が得られる。
【００５１】
〔発明２４〕  更に、発明２４の出力タイミング制御プログラムは、発明１９乃至２３のいずれか１の出力タイミング制御プログラムにおいて、
前記Ｍ台の出力装置が、前記出力要素として映像を出力する２台以上の映像出力装置を含んで構成される場合に、
前記出力情報取得ステップにおいては、前記２台以上の映像出力装置からそれぞれ出力された映像に係る情報を前記所定位置において取得し、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記２台以上の映像出力装置から出力された映像の到達タイミングの、前記同期タイミングに対するずれを算出することを特徴としている。
【００５２】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明６の出力タイミング制御装置と同等の作用および効果が得られる。
【００５３】
〔発明２５〕  更に、発明２５の出力タイミング制御プログラムは、発明１９乃至２２のいずれか１の出力タイミング制御プログラムにおいて、
前記Ｍ台の出力装置が、前記出力要素として音声を出力する２台以上の音声出力装置を含んで構成される場合に、
前記出力情報取得ステップにおいては、前記２台以上の音声出力装置からそれぞれ出力された音声に係る情報を前記所定位置において取得し、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記２台以上の音声出力装置から出力された音声の到達タイミングの、前記同期タイミングに対するずれを算出することを特徴としている。
【００５４】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明７の出力タイミング制御装置と同等の作用および効果が得られる。
【００５５】
〔発明２６〕  更に、発明２６の出力タイミング制御プログラムは、発明１９乃至２５のいずれか１の出力タイミング制御プログラムにおいて、
前記複数の出力装置が、前記出力要素として臭いを出力する臭気出力装置を含んで構成される場合に、
前記出力情報取得ステップにおいては、前記臭気出力装置から出力された臭気に係る情報と、少なくとも、１台以上の前記臭気出力装置とは異なる出力装置から出力された出力要素に係る情報とを前記所定位置において取得し、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における前記臭気出力装置から出力された臭気の到達タイミングと、前記臭気出力装置とは異なる出力装置から出力された出力要素の到達タイミングとの、前記同期タイミングに対するずれを算出することを特徴としている。
【００５６】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明８の出力タイミング制御装置と同等の作用および効果が得られる。
【００５７】
〔発明２７〕  更に、発明２７の出力タイミング制御プログラムは、発明１９乃至２６のいずれか１の出力タイミング制御プログラムにおいて、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を、統合データ提供装置から受信する同期情報受信ステップをコンピュータに実行させるのに使用するプログラムを更に含むことを特徴としている。
【００５８】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明９の出力タイミング制御装置と同等の作用および効果が得られる。
【００５９】
〔発明２８〕  一方、発明２８の出力装置制御プログラムは、
Ｎ（Ｎは、２以上の整数）個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力装置を制御するのに使用するプログラムであって、
統合データ提供装置から送信された前記Ｎ個の出力要素に係る情報を含んでなる統合データを受信する統合データ受信ステップと、
前記Ｎ個の出力要素のうち、前記ｘ個の出力要素を出力する出力ステップと、
出力タイミング制御装置から送信された、前記出力ステップにおける出力要素の出力タイミングを制御するのに使用する制御情報を受信する制御情報受信ステップと、
前記制御情報受信ステップにおいて受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正ステップとからなる処理をコンピュータに実行させるのに使用するプログラムを含むことを特徴としている。
【００６０】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１７の出力装置と同等の作用および効果が得られる。
【００６１】
〔発明２９〕  一方、発明２９の統合データ提供装置制御プログラムは、
Ｎ（Ｎは、２以上の整数）個の出力要素に係る情報を含んでなる統合データを、出力タイミング制御装置及び出力装置に送信する統合データ送信ステップと、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信ステップとからなる処理をコンピュータに実行させるのに使用するプログラムを含むことを特徴としている。
【００６２】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１８の統合データ提供装置と同等の作用および効果が得られる。
【００６３】
〔発明３０〕  一方、発明３０の出力タイミング制御装置制御方法は、
Ｎ（Ｎは、２以上の整数）個の出力要素を統合してなる出力結果を、前記Ｎ個の出力要素をＭ（１＜Ｍ≦Ｎ）台の出力装置からそれぞれ別々に出力することで構成するシステムにおいて、前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御装置を制御するのに使用する出力タイミング制御装置制御方法であって、
前記出力タイミング制御装置が、
前記Ｍ台の出力装置から出力された出力要素に係る情報を所定位置において取得する出力情報取得ステップと、
前記出力情報取得ステップにおける取得結果と、前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報の記憶された同期情報記憶手段の記憶内容とに基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングの、前記同期タイミングに対するそれぞれのずれを算出する同期ずれ算出ステップと、
前記同期ずれ算出ステップにおける算出結果に基づき、前記所定位置における前記Ｎ個の出力要素の到達タイミングが前記同期タイミングに合うように前記出力装置からの前記出力要素の出力タイミングを制御する出力タイミング制御ステップと、を含むことを特徴としている。
これにより、発明１の出力タイミング制御装置と同等の作用効果が得られる。
【００６４】
〔発明３１〕  更に、発明３１の出力タイミング制御装置制御方法は、発明３０の出力タイミング制御装置制御方法において、
前記出力要素に係る情報は、当該出力要素の前記所定位置への到達タイミングに係る情報を含み、
前記同期タイミングに係る情報は、前記出力要素がデータである場合に、前記データの一部に係る情報と、当該データの出力タイミングに係る情報とを含むことを特徴としている。
これにより、発明２の出力タイミング制御装置と同等の作用効果が得られる。
【００６５】
〔発明３２〕  更に、発明３２の出力タイミング制御装置制御方法は、発明３１の出力タイミング制御装置制御方法において、
前記データの一部に係る情報は、前記データの一部から抽出される特徴量であり、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果に基づき、当該取得結果から特徴量を抽出し、当該特徴量と、前記到達タイミングに係る情報と、前記同期情報記憶手段の記憶内容とに基づき、前記同期タイミングに対するずれを算出することを特徴としている。
これにより、発明３の出力タイミング制御装置と同等の作用効果が得られる。
【００６６】
〔発明３３〕  更に、発明３３の出力タイミング制御装置制御方法は、発明３１の出力タイミング制御装置制御方法において、
前記Ｍ台の出力装置のうち少なくとも１台は、自装置から出力する出力要素の出力タイミングに同期し、且つ周期性を有した周期性信号を前記出力要素と共に出力するようになっており、
前記出力情報取得ステップにおいては、前記出力要素に係る情報として前記周期性信号を取得することを特徴としている。
これにより、発明４の出力タイミング制御装置と同等の作用効果が得られる。
【００６７】
〔発明３４〕  更に、発明３４の出力タイミング制御装置制御方法は、発明３０乃至３３のいずれか１の出力タイミング制御装置制御方法において、
前記Ｍ台の出力装置が、前記出力要素として映像を出力する映像出力装置と、前記出力要素として音声を出力する音声出力装置とを含んで構成される場合に、
前記出力情報取得ステップにおいては、前記映像出力装置及び前記音声出力装置からそれぞれ出力された映像及び音声に係る情報を前記所定位置において取得し、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記映像出力装置から出力された映像の到達タイミングと、前記音声出力装置から出力された音声の到達タイミングとの、前記同期タイミングに対するずれを算出することを特徴としている。
これにより、発明５の出力タイミング制御装置と同等の作用効果が得られる。
【００６８】
〔発明３５〕  更に、発明３５の出力タイミング制御装置制御方法は、発明３０乃至３４のいずれか１の出力タイミング制御装置制御方法において、
前記Ｍ台の出力装置が、前記出力要素として映像を出力する２台以上の映像出力装置を含んで構成される場合に、
前記出力情報取得ステップにおいては、前記２台以上の映像出力装置からそれぞれ出力された映像に係る情報を前記所定位置において取得し、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記２台以上の映像出力装置から出力された映像の到達タイミングの、前記同期タイミングに対するずれを算出することを特徴としている。
これにより、発明６の出力タイミング制御装置と同等の作用効果が得られる。
【００６９】
〔発明３６〕  更に、発明３６の出力タイミング制御装置制御方法は、発明３０乃至３３のいずれか１の出力タイミング制御装置制御方法において、
前記Ｍ台の出力装置が、前記出力要素として音声を出力する２台以上の音声出力装置を含んで構成される場合に、
前記出力情報取得ステップにおいては、前記２台以上の音声出力装置からそれぞれ出力された音声に係る情報を前記所定位置において取得し、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における、前記２台以上の音声出力装置から出力された音声の到達タイミングの、前記同期タイミングに対するずれを算出することを特徴としている。
これにより、発明７の出力タイミング制御装置と同等の作用効果が得られる。
【００７０】
〔発明３７〕  更に、発明３７の出力タイミング制御装置制御方法は、発明３０乃至３６のいずれか１の出力タイミング制御装置制御方法において、
前記複数の出力装置が、前記出力要素として臭いを出力する臭気出力装置を含んで構成される場合に、
前記出力情報取得ステップにおいては、前記臭気出力装置から出力された臭気に係る情報と、少なくとも、１台以上の前記臭気出力装置とは異なる出力装置から出力された出力要素に係る情報とを前記所定位置において取得し、
前記同期ずれ算出ステップにおいては、前記出力情報取得ステップにおける取得結果及び前記同期情報記憶手段の記憶内容に基づき、前記所定位置における前記臭気出力装置から出力された臭気の到達タイミングと、前記臭気出力装置とは異なる出力装置から出力された出力要素の到達タイミングとの、前記同期タイミングに対するずれを算出することを特徴としている。
これにより、発明８の出力タイミング制御装置と同等の作用効果が得られる。
【００７１】
〔発明３８〕  更に、発明３８の出力タイミング制御装置制御方法は、発明３０乃至３７のいずれか１の出力タイミング制御装置制御方法において、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を、統合データ提供装置から受信する同期情報受信ステップをコンピュータに実行させるのに使用するプログラムを更に含むことを特徴としている。
これにより、発明９の出力タイミング制御装置と同等の作用効果が得られる。
【００７２】
〔発明３９〕  一方、発明３９の出力装置制御方法は、
Ｎ（Ｎは、２以上の整数）個の出力要素のうち、ｘ個（１≦ｘ＜Ｎ）の出力要素を出力可能な出力装置を制御するのに使用する出力装置制御方法であって、
前記出力装置が、
統合データ提供装置から送信された前記Ｎ個の出力要素に係る情報を含んでなる統合データを受信する統合データ受信ステップと、
前記Ｎ個の出力要素のうち、前記ｘ個の出力要素を出力する出力ステップと、
出力タイミング制御装置から送信された、前記出力ステップにおける出力要素の出力タイミングを制御するのに使用する制御情報を受信する制御情報受信ステップと、
前記制御情報受信ステップにおいて受信した制御情報に基づき、出力要素の出力タイミングを修正する出力タイミング修正ステップと、を含むことを特徴としている。
これにより、発明１７の出力装置と同等の作用効果が得られる。
【００７３】
〔発明４０〕  一方、発明４０の統合データ提供装置制御方法は、
Ｎ（Ｎは、２以上の整数）個の出力要素に係る情報を含んでなる統合データを、出力タイミング制御装置及び出力装置に送信する統合データ送信ステップと、
前記Ｎ個の出力要素を統合するときの同期タイミングに係る情報を前記出力タイミング制御装置に送信する同期情報送信ステップと、を含むことを特徴としている。
これにより、発明１８の統合データ提供装置と同等の作用効果が得られる。
【発明を実施するための最良の形態】
【００７４】
〔第１の実施の形態〕
以下、本発明の第１の実施の形態を図面に基づき説明する。図１〜図１０は、本発明に係る出力タイミング制御装置、映像出力装置、出力タイミング制御システム、出力装置、統合データ提供装置、出力タイミング制御プログラム、出力装置制御プログラム、統合データ提供装置制御プログラム、出力タイミング制御装置制御方法、出力装置制御方法及び統合データ提供装置制御方法の第１の実施の形態を示す図である。
【００７５】
本実施の形態においては、映像及び音声を統合してなる映画等の出力結果を構成する映像データ及び音声データからなる統合データに基いて、映像及び音声のそれぞれを別々の出力装置から出力する映像表示システムにおいて、各出力装置からの映像及び音声の出力タイミングを、音声を出力するスピーカ及び映像を表示するスクリーンから離れた位置にある視聴者席において、これらの到達タイミングが同期するように制御する。
【００７６】
まず、本発明に係る映像表示システム１の構成を図１に基づき説明する。図１は、本発明に係る映像表示システム１の概観図である。
映像表示システム１は、図１に示すように、映像データ及び音声データからなる統合データを、後述する映像再生装置３及び音声再生装置４に送信する統合データ送信装置２と、統合データ送信装置２から受信した統合データに基づいて映像を再生し、当該再生された映像を後述する映像投射部３３において光投射出力すると共に、当該統合データと、後述する視聴者席に配設した音声情報取得部３２において取得される音声情報とに基づいて視聴者席における音声及び映像の到達タイミングの同期をとる映像再生装置３と、統合データ送信装置２から受信した統合データに基づいて音声を再生し、当該音声を後述するスピーカ４ａ及び４ｂから出力する音声再生装置４と、映像再生装置３から光投射される映像を表示するスクリーン５と、を含んだ構成となっている。
【００７７】
本実施の形態において、スピーカ４ａ及び４ｂと、視聴者のいる視聴者席との距離は大きく離れており、従って、映像が視聴者席に到達する時間と音声が視聴者席に到達する時間とに差が生じる。つまり、視聴者の見る映像に対して音声が遅れて到達するために映像と音声とにずれが生じることになる。そこで、本実施の形態に係る映像再生装置３においては、音声再生装置４のスピーカ４ａ及び４ｂから出力され且つ視聴者席に到達する音声情報を上記音声情報取得部３２によって取得し、当該取得した音声情報に基づいて映像の出力タイミングを制御することで、視聴者席に到達する映像の到達タイミング及び音声の到達タイミングを同期させる。ここで、同期させるとは、視聴者席に到達した音声に対し、これに対応する映像が当該音声と同じ到達タイミングとなるようにすることである。
【００７８】
また、統合データ送信装置２は、映像再生装置３に対して、統合データと共に音声と映像との同期をとるための同期情報を送信するようになっている。ここで、同期情報には、音声データの一部を同期マーカとしたときの、当該マーカを検出するための情報が含まれている。また、同期マーカは、他の同期情報と共にメタデータとして所定の記述言語によって記述されており、コンテンツの内容、データフォーマット、サイズなどと共に、同期マーカの特徴パラメータが記述されている。
【００７９】
更に、図２に基づき、映像再生装置３の詳細な構成を説明する。図２は、映像再生装置３の詳細構成を示すブロック図である。
映像再生装置３は、図２に示すように、映像再生部３０と、同期マーカ検出部３１と、音声情報取得部３２と、映像投射部３３と、データ通信部３４とを含んだ構成となっている。
【００８０】
映像再生部３０は、クロック発生回路３０ａと、同期タイミング算出部３０ｂと、同期ずれ算出部３０ｃと、再生回路／遅延回路３０ｄとを含んだ構成となっている。
クロック発生回路３０ａは、水晶発振器等から構成され、所定周期のクロック信号を発生する機能を有している。そして、発生したクロック信号を、同期タイミング算出部３０ｂと、再生回路／遅延回路３０ｄと、同期マーカ検出部３１とに供給する。
【００８１】
同期タイミング算出部３０ｂは、映像の再生開始時刻と同期マーカに対応する音声の再生時刻とから同期マーカに対応する音声の映像再生装置３における再生映像に対応した再生開始時刻Ｔ２を算出し、当該算出した再生開始時刻Ｔ２を同期ずれ算出部３０ｃに伝送する。更に、データ通信部３４を介して統合データ送信部２から受信した同期情報を同期マーカ検出部３１に伝送する。
【００８２】
同期ずれ算出部３０ｃは、同期タイミング算出部３０ｂから受信した再生開始時刻Ｔ２と、同期マーカ検出部３１から受信した到達時刻Ｔ１とに基づき、視聴者席における映像及び音声の到達タイミングの同期タイミングからのずれｄＴ［ｓ］（＝Ｔ１−Ｔ２）を算出し、当該算出したずれｄＴ（以下、単にずれｄＴと称す）を再生回路／遅延回路３０ｄに伝送する。
【００８３】
再生回路／遅延回路３０ｄは、データ通信部３４を介して統合データ送信装置２から受信した統合データに含まれる映像データに基づき映像を再生すると共に、同期ずれ算出部３０ｄから受信したずれｄＴに基づき映像の再生速度を修正する。
同期マーカ検出部３１は、同期タイミング算出部３０ｂから受信し図示しない記憶部に記憶された同期情報と、音声情報取得部３２から受信した音声情報とに基づき、当該音声情報の中から同期マーカと一致する情報を検出し、当該検出された情報の到達時刻Ｔ１をクロック発生回路３０ａからのクロック信号に基づき算出する。そして、算出された到達時刻Ｔ１を、同期ずれ算出部３０ｃに伝送する。本実施の形態において、同期マーカの検出処理は、取得した音声情報を、Ａ／Ｄ変換器によってＡ／Ｄ変換すると共に、当該変換後のデータに対してＦＦＴ（Fast Fourier Transform）処理を施し、音声情報からその周波数成分を特徴量として抽出し、この特徴量と、同期情報に含まれる同期マーカ（特徴パラメータ）とを比較することで行う。本実施の形態においては、特徴量と、特徴パラメータとの誤差が所定値以下であれば両者は一致していると判断し、音声データにおける一致したデータ部分を同期マーカとして検出する。
【００８４】
音声情報取得部３２は、集音用のマイクを含んで構成され、当該マイクを介して視聴者席における音声情報（アナログ信号）を取得し、当該取得した音声情報を同期マーカ検出部３１に伝送する。従って、マイクは視聴者席に配設される。
映像投射部３３は、再生回路／遅延回路３０ｄからの映像信号に基づき、公知の液晶プロジェクタと同様の原理によって、当該映像信号によって構成される映像をスクリーン５に光投射する機能を有している。具体的には、超高圧水銀ランプやキセノンランプ等から成る光源と、照射面で一様な照度分布を得るためのフライアイレンズと、映像信号に基づき、入射した光の波長領域のうちＲＧＢ３原色の輝度をそれぞれ変調する色変調部と、色変調部から入射した光をスクリーン５に光投射する投射部とで構成されている。
【００８５】
色変調部は、透過率を独立に制御可能な複数の画素をマトリクス状に配列した構成の３枚の液晶ライトバルブと、フィールドレンズと、特定色の光のみを透過しそれ以外の光を反射するダイクロイックミラーと、白色光を反射するミラーと、入射した各色の光を合成するダイクロイックプリズムとで構成されている。
投射部は、投射レンズを備え、当該投射レンズによって、入射光をスクリーン５に拡大投射するように構成されている。
【００８６】
データ通信部３４は、統合データ送信装置２からの統合データ及び同期情報を受信し図示しない記憶部に記憶したり、再生開始タイミングの情報を音声再生装置４に送信したりするなど、映像再生装置３とデータ通信可能な装置との間のデータ送受信を行う機能を有している。
ここで、映像再生装置３は、図示しない、プロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）とを備えており、プロセッサにより専用のプログラムを実行することにより上記各構成要素の機能を果たす。また、上記各構成要素は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすもの等が混在している。
【００８７】
更に、映像再生装置３は、プロセッサによって、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図３のフローチャートに示す再生タイミング制御処理を実行するようになっている。
図３は、映像再生装置３における再生タイミング制御処理を示すフローチャートである。
【００８８】
再生タイミング制御処理は、プロセッサによって実行されると、図３に示すように、まず、ステップＳ１００に移行するようになっている。
ステップＳ１００では、データ通信部３４において、統合データ送信装置２から同期情報を受信したか否かを判定し、受信したと判定された場合(Yes)は図示しない記憶部に記憶してステップＳ１０２に移行し、そうでない場合(No)は受信するまで待機する。
【００８９】
ステップＳ１０２に移行した場合は、データ通信部３４を介してステップＳ１００で受信した同期情報に対応する統合データを受信したか否かを判定し、受信したと判定された場合(Yes)はステップＳ１０４に移行し、そうでない場合(No)は受信するまで待機する。
ステップＳ１０４に移行した場合は、再生回路／遅延回路３０ｄにおいて、ステップＳ１０２で受信した統合データに含まれる映像データに基づき、映像を再生開始してステップＳ１０６に移行する。
【００９０】
ステップＳ１０６では、ステップＳ１００で受信した同期情報及びステップＳ１０２で受信した統合データに基づき、同期情報に含まれる同期マーカに対応した音声の映像再生装置３における再生映像に対応した再生開始時刻Ｔ２を算出してステップＳ１０８に移行する。
ステップＳ１０８では、音声情報取得部３２において音声情報を取得したか否かを判定し、取得したと判定された場合(Yes)はステップＳ１１０に移行し、そうでない場合(No)は取得するまで判定処理を継続する。
【００９１】
ステップＳ１１０に移行した場合は、同期マーカ検出部３１において、同期マーカ検出処理を行いステップＳ１１２に移行する。
ステップＳ１１２では、同期マーカ検出部３１からの検出成功通知又は検出失敗通知のいずれかに基づいて、同期マーカが検出されたか否かを判定し、検出されたと判定された場合(Yes)はステップＳ１１４に移行し、そうでない場合(No)はステップＳ１２０に移行する。
【００９２】
ステップＳ１１４に移行した場合は、同期ずれ算出部３０ｃにおいて、同期タイミング算出部３０ｂで算出された再生開始時刻Ｔ２及び同期マーカ検出部３１で算出された到達時刻Ｔ１に基づき、視聴者席における映像と音声の同期タイミングからのずれｄＴを算出してステップＳ１１６に移行する。
ステップＳ１１６では、再生回路／遅延回路３０ｄにおいて、同期ずれ算出部３０ｃからの通知結果に基づき、同期タイミングからのずれがあるか否かを判定し、ずれがあると判定された場合(Yes)はステップＳ１１８に移行し、そうでない場合(No)はステップＳ１２０に移行する。本実施の形態において、誤検出の通知を受けた場合は、その同期マーカは修正対象から外す。
【００９３】
ステップＳ１１８に移行した場合は、再生回路／遅延回路３０ｄにおいて、映像の再生タイミングを修正してステップＳ１２０に移行する。ここで、再生タイミングの修正は、ずれｄＴがｄＴ＞０なら映像の再生速度を現在の速度より必要な時間だけ速め、一方、ｄＴ≦０なら映像の再生速度を現在の速度より必要な時間だけ遅める。
ステップＳ１２０では、再生回路／遅延回路３０ｄにおいて、統合データに含まれる映像データに基づき、映像を再生してステップＳ１２２に移行する。
【００９４】
ステップＳ１２２では、再生回路／遅延回路３０ｄにおいて、映像の再生が終了したか否かを判定し、終了したと判定された場合(Yes)はステップＳ１００に移行し、そうでない場合(No)はステップＳ１０８に移行する。
つまり、映像再生装置３において映像の再生が開始されると、映像の再生が終了するまで、ステップＳ１０８〜ステップＳ１２２までの処理を繰り返し行う。
【００９５】
次に、図４に基づき、ステップＳ１１０の同期マーカ検出処理を詳細に説明する。
図４は、映像再生装置３における、同期マーカ検出処理を示すフローチャートである。
同期マーカ検出処理は、同期情報及び音声情報に基づき、音声情報から同期マーカを検出すると共に、当該検出した同期マーカの到達時刻を算出する処理であって、ステップＳ１１０において実行されると、図４に示すように、まず、ステップＳ２００に移行するようになっている。
【００９６】
ステップＳ２００では、同期マーカ検出部３１において、音声情報取得部３２から取得した音声情報を、Ａ／Ｄ変換器によってＡ／Ｄ変換してステップＳ２０２に移行する。
ステップＳ２０２に移行した場合は、同期マーカ検出部３１において、ステップＳ２００でＡ／Ｄ変換した音声情報に対してＦＦＴ処理を施してステップＳ２０４に移行する。
ステップＳ２０４では、ステップＳ２０２でＦＦＴ処理した結果と、同期タイミング算出部３０ｂから取得した同期情報に含まれる同期マーカ（特徴パラメータ）とを比較してステップＳ２０６に移行する。本実施の形態においては、メタデータに含まれる特徴パラメータとＦＦＴ処理結果とを比較することになる。
【００９７】
ステップＳ２０６では、同期マーカ検出部３１において、ＦＦＴ処理結果と特徴パラメータとが所定誤差範囲にあるか否かにより、特徴量が一致しているか否かを判定し、一致していると判定された場合(Yes)はステップＳ２０８に移行し、そうでない場合(No)はステップＳ２１０に移行する。
ステップＳ２０８に移行した場合は、同期マーカ検出部３１において、音声情報取得部３２から取得した音声情報に同期マーカが含まれているとして、その開始時刻を到達時刻Ｔ１としてクロック発生回路３０ａから供給されるクロックに基づき算出して、当該算出結果を検出成功通知と共に同期ずれ算出部３０ｃに伝送して、一連の処理を終了し元の処理に復帰する。
【００９８】
一方、ステップＳ２１０に移行した場合は、同期マーカ検出部３１において、音声情報取得部３２から取得した音声情報に同期マーカが含まれていないとして、検出失敗通知を同期ずれ算出部３０ｃに伝送して、一連の処理を終了し元の処理に復帰する。
次に、図５に基づき、ステップＳ１１４の同期ずれ算出処理を詳細に説明する。
図５は、映像再生装置３における、同期ずれ算出処理を示すフローチャートである。
【００９９】
同期ずれ算出処理は、再生開始時刻Ｔ２及び到達時刻Ｔ１に基づき、音声と映像との同期タイミングに対するずれｄＴを算出する処理であって、ステップＳ１１４において実行されると、図５に示すように、まず、ステップＳ３００に移行するようになっている。ここで、映像と音声の同期タイミングとは、再生映像に対応した音声が再生されるタイミングであり、
ステップＳ３００では、同期ずれ算出部３０ｃにおいて、記憶部に記憶された再生開始時刻Ｔ２を取得してステップＳ３０２に移行する。
【０１００】
ステップＳ３０２では、同期ずれ算出部３０ｃにおいて、ステップＳ３００で読み出した再生開始時刻Ｔ２及び同期マーカ検出部３１から取得した到達時刻Ｔ１に基づき、視聴者席における、映像と音声との同期タイミングに対するずれｄＴ（＝Ｔ１−Ｔ２）を算出してステップＳ３０４に移行する。
ステップＳ３０４では、同期ずれ算出部３０ｃにおいて、ずれｄＴの大きさが所定値以上か否かを判定し、所定値以上であると判定された場合(Yes)はステップＳ３０６に移行し、そうでない場合(No)はステップＳ３０８に移行する。
【０１０１】
ステップＳ３０６に移行した場合は、同期ずれ算出部３０ｃにおいて、再生回路／遅延回路３０ｄに、誤検出であることを通知し、一連の処理を終了して元の処理に復帰する。
一方、ステップＳ３０８に移行した場合は、同期ずれ算出部３０ｃにおいて、再生回路／遅延回路３０ｄに、算出結果を通知し、一連の処理を終了して元の処理に復帰する。
次に、図６に基づき、ステップＳ１１８の再生タイミング修正処理を詳細に説明する。
【０１０２】
図６は、映像再生装置３における、再生タイミング修正処理を示すフローチャートである。
再生タイミング修正処理は、同期ずれ算出部３０ｃからの算出結果に基づき再生回路の再生タイミングを修正して、音声と映像との同期タイミングに対するずれｄＴを修正する処理であって、ステップＳ１１８において実行されると、図６に示すように、まず、ステップＳ４００に移行するようになっている。
【０１０３】
ステップＳ４００では、再生回路／遅延回路３０ｄにおいて、ｄＴは０より大きいか否かを判定し、０より大きいと判定された場合(Yes)はステップＳ４０２に移行し、そうでない場合(No)はステップＳ４０４に移行する。
ステップＳ４０２に移行した場合は、再生回路／遅延回路３０ｄにおいて、映像の再生速度を変化させる制御を算出された時間だけ行い、一連の処理を終了して元の処理に復帰する。
【０１０４】
一方、ステップＳ４０４に移行した場合は、再生回路／遅延回路３０ｄにおいて、映像の再生速度を減少させる制御を行い、一連の処理を終了して元の処理に復帰する。
次に、図７〜図１０に基づき、本実施の形態の動作を説明する。
ここで、図７は、同期情報及び統合データ（音声データ及び映像データ）の伝送状態を示す図であり、図８は、音声情報から同期マーカを検出するまでの一連の流れを示す図である。また、図９は、メタデータの記述例を示す図であり、図１０は、同期マーカに対応する音声の再生開始時刻のテーブル例を示す図である。
【０１０５】
まず、統合データ送信装置２は、同期情報を映像再生装置３に送信し、次いで、この同期情報に対応した統合データを映像再生装置３及び音声再生装置４に送信する。
映像再生装置３は、データ通信部３４を介して、同期情報を受信し図示しない記憶部に記憶し（ステップＳ１００）、且つ当該同期情報に対応する統合データを受信すると（ステップＳ１０２）、統合データに含まれる映像データに基づいて、再生回路／遅延回路３０ｄによって、映像を再生する（ステップＳ１０４）。本実施の形態において、映像及び音声の再生開始タイミングは、映像再生装置３の利用者からの指示に応じたタイミングとなり、この再生開始タイミングの情報は音声再生装置４にも伝送される。従って、映像再生装置３及び音声再生装置４は、利用者からの指示に従い、指示のあった時刻に再生を開始する。なお、映像再生装置３においては、映像の再生を開始した時刻を同期タイミング算出部３０ｂに伝送する。また、同期情報及び統合データは、図７に示すような順で、統合データ送信装置２から伝送される。図７に示すように、同期情報（メタデータ）には、同期マーカの情報が含まれる。他にも、同期情報には、同期マーカに対応する映像データの再生時間の情報が含まれており、統合データは、音声データと映像データとが統合されたデータであり、このうち音声データには、同期マーカに対応するデータが含まれている。再生回路／遅延回路３０ｄによって、映像が再生されると、映像投射部３３は、再生された映像をスクリーン５に拡大投射する。
【０１０６】
映像再生装置３の同期タイミング算出部３０ｂにおいては、再生回路／遅延回路３０ｄによって映像の再生が開始され、且つ再生回路／遅延回路３０ｄから映像の再生開始時刻を取得すると、当該再生開始時刻と、同期情報に含まれる同期マーカに対応した音声の再生時刻とに基づき、同期マーカに対応した音声の、映像再生装置３において再生された映像に対応する実時間上の再生開始時刻Ｔ２が算出される。同期マーカに対応した音声の再生開始時刻Ｔ２は、図９に示すメタデータにおいて、タグ＜ｔｉｍｅ＞及びタグ＜／ｔｉｍｅ＞との間に記述されている。また、同期マーカは、＜ｄａｔａ  ｉｄ＞タグにおいて、例えば、＜ｄａｔａ  ｉｄ＝１＞といったように、識別番号を付与することで、その種類を識別している。例えば、映像再生装置３における映像の再生開始時刻が「０９：００：００：００」であるとすると、識別番号１の同期マーカは、「００：０３：１２：０４」が再生開始時刻と記述されているので、同期マーカに対応した音声の実時間上の再生開始時刻Ｔ２は、映像の再生開始時刻を加算した「０９：０３：１２：０４」となる。同様に、識別番号１の同期マーカは、「００：０６：２５：３６」が再生開始時刻と記述されているので、実時間上の再生開始時刻Ｔ２は、「０９：０６：２５：３６」となる。このようにして算出された、開始時刻Ｔ２は、図１０に示すように、開始時刻Ｔ２と同期マーカの識別番号とが対応付けられたデータテーブルとして構成され、図示しない記憶部に記憶される。
【０１０７】
一方、音声再生装置４は、統合データ送信装置２からの統合データを受信すると、映像再生装置３からの再生開始タイミングの情報に基づき、音声の再生を開始する。そして、再生された音声は、スピーカ４ａ及び４ｂから出力される。
映像及び音声が再生されると、スピーカ４ａ及び４ｂから離れた位置にある視聴者席に配設された音声情報取得部３２には、スピーカ４ａ及び４ｂから出力された音声が到達する。これにより、音声情報取得部３２は、マイクを介して到達した音声情報を取得する（ステップＳ１０８）。音声情報取得部３２において音声情報が取得されると、同期マーカ検出部３１において、同期マーカ検出処理が開始される（ステップＳ１１０）。
【０１０８】
同期マーカ検出部３１は、音声情報取得部３２から取得される音声情報が、図８（ａ）に示すようにアナログ信号であるため、まず、これをＡ／Ｄ変換し（ステップＳ２００）、更に、当該変換した音声情報に対してＦＦＴ処理を施し、特徴量を抽出する（ステップＳ２０２）。ここで、ＦＦＴ処理において用いる窓のサイズは、同期マーカの時間長が解っているので、これに合わせて設定する。また、窓の重み付けに使用する窓関数は、矩形窓、ハミング窓、ハニング窓、ブラックマン-ハリス窓等から適当なものを選択して使用する。従って、設定された窓を所定時間幅でシフトしてＦＦＴ処理を施すことにより、図８（ｂ）に示すような特徴量が抽出される。
【０１０９】
音声情報から特徴量が抽出されると、この特徴量（図８（ｂ）参照）と、図８（ｃ）に示すような、抽出された特徴量と同様の特徴パラメータを有する同期マーカとを比較し（ステップＳ２０４）、両者の誤差（％）が所定値以下（例えば、３％以下）であった場合に、両者が一致していると判断し、所定値より大きい場合に、両者が不一致であると判断する（ステップＳ２０６）。ここで、同期マーカは、図９に示すように、他の同期情報と共にメタデータとして記述されており、各識別番号の同期マーカ毎に、＜ｄａｔａ  ｉｄ＞タグと＜／ｄａｔａ＞タグとの間に、特徴パラメータ値が記述されている。
【０１１０】
各識別番号の同期マーカと抽出された特徴量とを比較し、両者が一致していると判断された場合は、クロック発生回路３０ａから供給されるクロック信号に基づき、音声データにおける一致したデータ部分の開始時刻を到達時刻Ｔ１として算出する。算出された到達時刻Ｔ１及び対応する識別番号（Ｉｄ）は、検出成功を示す情報と共に、同期ずれ算出部３０ｃに伝送される（ステップＳ２０８）。
【０１１１】
一方、各識別番号の同期マーカと抽出された特徴量とを比較し、両者が一致するものが無いと判断された場合は、検出失敗を示す情報を、同期ずれ算出部３０ｃに伝送する（ステップＳ２１０）。
同期ずれ算出部３０ｃは、同期マーカ検出部３１から検出結果を示す情報を取得すると、取得した情報に基づき、同期マーカが検出されたか否かを判定し、検出成功を示す情報を取得した場合は検出されたと判定し、検出失敗を示す情報を取得した場合は検出されなかったと判定する（ステップＳ１１４）。そして、同期ずれ算出部３０ｃにおいて、同期マーカが検出されたと判定された場合は、同期ずれ算出処理が開始される（ステップＳ１１６）。
【０１１２】
同期ずれ算出部３０ｃは、まず、記憶部に記憶された開始時刻Ｔ２を読み出す（ステップＳ３００）。次に、読み出したＴ２と、同期マーカ検出部３１から取得した到達時刻Ｔ１及び識別番号とに基づき、同期マーカの識別番号毎に同期ずれｄＴ（＝Ｔ１−Ｔ２）を算出する（ステップＳ３０２）。ここで、同期マーカ検出部３１からは、到達時刻Ｔ１として時刻「０９：０７：２２：０４」及び識別番号として「Ｉｄ＝１」が伝送されてきたとする。図１０に示す、Ｉｄが１の開始時刻Ｔ２と、到達時刻Ｔ１とから、Ｔ２が「０９：０３：１２：０４」のときは、ｄＴ（＝Ｔ１−Ｔ２）は、「００：０４：１０：００」と算出され、これをｄＴ１とする。一方、Ｔ２が「０９：０７：２１：４８」のときは、ｄＴ（＝Ｔ１−Ｔ２）は、「００：００：００：１６」と算出され、これをｄＴ２とする。そして、ｄＴが算出されると、当該算出されたｄＴの絶対値を所定値（ここでは、１０［ｓ］（「００：００：１０：００」））と比較する（ステップＳ３０４）。この比較結果に基づき、ｄＴの絶対値が１０［ｓ］以上の場合は、検出された同期マーカを誤検出された同期マーカと判定し、誤検出を示す情報を再生回路／遅延回路３０ｄに送信する（ステップＳ３０６）。一方、ｄＴの絶対値が１０［ｓ］未満の場合は、算出されたｄＴを再生回路／遅延回路３０ｄに送信する（ステップＳ３０８）。
【０１１３】
再生回路／遅延回路３０ｄは、同期ずれ算出部３０ｃからの通知結果に基づき、同期ずれがあるか否かを判定する（ステップＳ１１６）。ここで、同期ずれがあるか否かの判定は、同期ずれ算出部３０ｃから取得したｄＴの算出結果が、ｄＴ＝０（本実施の形態では、「００：００：００：００」）である場合は、同期ずれが無いと判定し、ｄＴ≠０である場合は、同期ずれがあると判定する。
【０１１４】
同期ずれがあると判定された場合は、再生回路／遅延回路３０ｄにおいて、映像の再生タイミングの修正処理が開始される（ステップＳ１１８）。
再生回路／遅延回路３０ｄは、まず、同期ずれ算出部３０ｃから取得したｄＴが「０」よりも大きいか否かを判定する（ステップＳ４００）。つまり、ｄＴが「０」よりも大きいときは、同期マーカに対応した映像に対して、当該同期マーカに対応した音声が先に視聴者席に到達していることになり、一方、ｄＴが「０」よりも小さいときは、同期マーカに対応した映像に対して、当該同期マーカに対応した音声が遅れて視聴者席に到達していることになる。
【０１１５】
従って、ｄＴが「０」よりも大きいときは、再生回路／遅延回路３０ｄにおいて、映像の再生速度を増加させる制御量を算出し（ステップＳ４０２）、一方、ｄＴが「０」よりも小さいときは、再生回路／遅延回路３０ｄにおいて、映像の再生速度を減少させる制御量を算出する（ステップＳ４０４）。再生速度の制御量は、例えば、ｄＴが「０」よりも大きいときは、再生速度を（１＋ａ）倍（例えば、ａは０．１）する制御量を算出し、一方、ｄＴが「０」よりも小さいときは、再生速度を（１−ａ）倍（例えば、ａは０．１）する制御量とずれを解消するのに必要な時間を算出する。
【０１１６】
制御量及び時間が算出されると、再生回路／遅延回路３０ｄにおいて、当該制御量に基づき、算出された時間だけ再生速度を変化させて映像の再生処理を行う（ステップＳ１２０）。
このように、映像の再生速度を増加又は減少することで、視聴者席における映像と音声との到達タイミングの同期タイミングに対するずれｄＴを修正する。
【０１１７】
このようにして、本実施の形態では、視聴者席から離れた位置にあるスピーカ４ａ及び４ｂからの音声情報を視聴者席において取得し、当該取得した音声情報から、予め設定した同期マーカを検出することで、音声の到達時刻Ｔ１を算出し、この到達時刻Ｔ１と、同期マーカに対応した音声の実際の再生開始時刻Ｔ２とから、同期タイミングに対する両者のずれｄＴを算出し、当該算出されたずれｄＴに基づき、映像再生装置３における映像の再生速度を変化させることでずれｄＴを修正することが可能である。従って、視聴者席における映像と音声との到達タイミングの同期タイミングに対するずれを修正することが可能である。
【０１１８】
上記第１の実施の形態において、統合データ送信装置２から同期情報を記憶し図示しない記憶部に記憶する処理は、発明１、３、５、６、８、１９、２１、２３、２４、２６、３０、３２、３４、３５及び３７のいずれか１の同期情報記憶手段に対応し、同期タイミング算出部３０ｂ、同期ずれ算出部３０ｃ及び同期マーカ検出部３１によって行われる同期ずれｄＴを算出する一連の処理は、発明１、３、５、６及び８のいずれか１の同期ずれ算出手段に対応し、音声情報取得部３２は、発明１、３、５、６及び８の出力情報取得手段に対応し、再生回路／遅延回路３０ｄにおける映像の再生速度の修正処理は、発明１又は１４の出力タイミング制御手段に対応する。
【０１１９】
また、上記第１の実施の形態において、データ通信部３４を介して、同期情報を受信する処理は、発明１４の同期情報受信手段に対応し、データ通信部３４を介して統合データを受信する処理は、発明１４の統合データ受信手段に対応する。
また、上記第１の実施の形態において、ステップＳ１００は、発明２７又は発明３７の同期情報受信ステップに対応し、ステップＳ１０２は、発明２８又は発明３９の統合データ受信ステップに対応し、ステップＳ１１０及びステップＳ１１４は、発明１９、２１、２３、２４、２６、３０、３２、３４、３５及び３７のいずれか１の同期ずれ算出ステップに対応し、ステップＳ１１６及びステップＳ１１８は、発明１９又は発明３０の出力タイミング制御ステップに対応する。
【０１２０】
なお、上記第１の実施の形態において、同期タイミングのずれｄＴは、再生速度を変化させて修正するだけに限らず、音声が進んでいる場合は、ｄＴの分だけ映像を読み飛ばしたり、音声が遅れている場合は、ｄＴの分だけ映像の再生を一時停止したりすることで行っても良い。
なお、上記第１の実施の形態において、視聴者が聴くことのできる可聴帯域の音声データの一部を同期マーカとしたが、これに限らず、音声データにおいて可聴帯域（20〜20ｋHz）の外のデータを音声信号に重畳し、この信号を同期マーカとして検出しても良い。この場合、信号の開始、信号の終了、周波数の変化、ボリュームの変化は、すべて同期マーカとして扱うことができる。
【０１２１】
〔第２の実施の形態〕
以下、本発明の第２の実施の形態を図面に基づき説明する。図１１〜図１５は、本発明に係る出力タイミング制御装置、出力タイミング制御システム、出力装置、統合データ提供装置、出力タイミング制御プログラム、出力装置制御プログラム、統合データ提供装置制御プログラム、出力タイミング制御装置制御方法、出力装置制御方法及び統合データ提供装置制御方法の第２の実施の形態を示す図である。
【０１２２】
本実施の形態においては、映像及び音声を統合してなる映画等の出力結果を構成する映像データ及び音声データからなる統合データに基いて、映像及び音声のそれぞれを別々の出力装置から出力する映像表示システムにおいて、各出力装置からの映像及び音声の出力タイミングを、音声を出力するスピーカ及び映像を表示するスクリーンから離れた位置にある視聴者席において、これらの到達タイミングが同期するように制御する。
【０１２３】
上記第１の実施の形態と異なるのは、スクリーン５に表示された映像を視聴者席から撮影して映像情報を取得し、当該映像情報から同期マーカを検出し、当該検出された同期マーカの開始時刻に基づいて、視聴者席における音声と映像との到達タイミングの同期タイミングに対するずれｄＴを算出し、当該算出したｄＴに基づき、音声の再生速度を変化させてずれを修正する点にある。
【０１２４】
まず、本発明に係る映像表示システム６の構成を図１１に基づき説明する。図１１は、本発明に係る映像表示システム６の概観図である。
映像表示システム６は、図１１に示すように、映像データ及び音声データからなる統合データを、後述する音声再生装置７及び映像再生装置８に送信する統合データ送信装置２と、統合データ送信装置２から受信した統合データに基づいて音声を再生し、当該再生された音声を後述するスピーカ７３及び７４から出力すると共に、当該統合データと、後述する視聴者席に配設した映像情報取得部７２において取得される映像情報とに基づいて視聴者席における音声及び映像の到達タイミングの同期をとる音声再生装置７と、統合データ送信装置２から受信した統合データに基づいて映像を再生し、当該映像をスクリーン５に光投射する映像再生装置８と、映像再生装置８から光投射される映像を表示するスクリーン５と、を含んだ構成となっている。
【０１２５】
本実施の形態において、スピーカ７３及び７４と、視聴者のいる視聴者席との距離は大きく離れており、従って、映像が視聴者席に到達する時間と音声が視聴者席に到達する時間とに差が生じる。つまり、視聴者の見る映像に対して音声が遅れて到達するために映像と音声とにずれが生じることになる。そこで、本実施の形態に係る音声再生装置７においては、映像再生装置８からスクリーン５に投射表示され視聴者席に到達する映像情報を上記映像情報取得部７２によって取得し、当該取得した映像情報に基づいて音声の出力タイミングを制御することで、視聴者席に到達する音声の到達タイミング及び映像の到達タイミングを同期させる。ここで、同期させるとは、視聴者席に到達した映像に対し、これに対応する音声が当該映像と同じ到達タイミングとなるようにすることである。
【０１２６】
また、統合データ送信装置２は、映像再生装置３に対して、統合データと共に音声と映像との同期をとるための同期情報を送信するようになっている。ここで、同期情報には、映像データの一部を同期マーカとしたときの、当該マーカを検出するための情報が含まれている。また、同期マーカは、他の同期情報と共にメタデータとして所定の記述言語によって記述されており、コンテンツの内容、データフォーマット、サイズなどと共に、同期マーカの特徴パラメータが記述されている。
【０１２７】
更に、図１２に基づき、音声再生装置７の詳細な構成を説明する。図１２は、音声再生装置７の詳細構成を示すブロック図である。
音声再生装置７は、図１２に示すように、音声再生部７０と、同期マーカ検出部７１と、映像情報取得部７２と、スピーカ７３，７４と、データ通信部７５とを含んだ構成となっている。
【０１２８】
音声再生部７０は、クロック発生回路７０ａと、同期タイミング算出部７０ｂと、同期ずれ算出部７０ｃと、再生回路／遅延回路７０ｄとを含んだ構成となっている。
クロック発生回路７０ａは、上記第１の実施の形態における、クロック発生回路３０ａと同様であるので記載を省略する。
同期タイミング算出部７０ｂは、音声の再生開始時刻と同期マーカに対応する映像の再生時刻とから同期マーカに対応する映像の音声再生装置７における再生音声に対応した再生開始時刻Ｔ２を算出し、当該算出した再生開始時刻Ｔ２を同期ずれ算出部７０ｃに伝送する。更に、データ通信部７５を介して統合データ送信部２から受信し図示しない記憶部に記憶された同期情報を同期マーカ検出部７１に伝送する。
【０１２９】
同期ずれ算出部７０ｃは、同期タイミング算出部７０ｂから受信した再生開始時刻Ｔ２と、同期マーカ検出部７１から受信した到達時刻Ｔ１とに基づき、視聴者席における映像及び音声の到達タイミングの同期タイミングからのずれｄＴ［ｓ］（＝Ｔ１−Ｔ２）を算出し、当該算出したずれｄＴ（以下、単にずれｄＴと称す）を再生回路／遅延回路３０ｄに伝送する。
【０１３０】
再生回路／遅延回路７０ｄは、データ通信部７５を介して統合データ送信装置２から受信した統合データに含まれる音声データに基づき音声を再生すると共に、同期ずれ算出部７０ｄから受信したずれｄＴに基づき音声の再生速度を修正する。
同期マーカ検出部７１は、同期タイミング算出部７０ｂから受信した同期情報と、映像情報取得部７２から受信した映像情報とに基づき、当該映像情報の中から同期マーカと一致する情報を検出し、当該検出された情報の到達時刻Ｔ１をクロック発生回路７０ａからのクロック信号に基づき算出する。そして、算出された到達時刻Ｔ１を、同期ずれ算出部７０ｃに伝送する。本実施の形態において、同期マーカの検出処理は、取得した映像情報から、画面領域（統合データの映像部分に対応する領域）を抽出し、当該抽出された画面領域の映像を４分割し、当該４分割した各領域の輝度値の平均値を算出し、この算出結果を特徴量として、この特徴量と、同期情報に含まれる同期マーカ（特徴パラメータ）とを比較することで行う。本実施の形態においては、特徴量と、特徴パラメータとの差が所定値以下であれば両者は一致していると判断し、音声データにおける一致したデータ部分を同期マーカとして検出する。
【０１３１】
映像情報取得部７２は、デジタルビデオカメラを含んで構成され、当該デジタルビデオカメラによってスクリーン５に表示された映像を視聴者席から撮影し、当該撮影した映像情報（デジタルデータ）を同期マーカ検出部７１に伝送する。従って、デジタルビデオカメラは視聴者席に配設される。
スピーカ７３，７４は、再生回路／遅延回路７０ｄにおいて再生された音声信号を音波に変換して出力する。
【０１３２】
データ通信部７５は、統合データ送信装置２からの統合データ及び同期情報を受信したり、再生開始タイミングの情報を映像再生装置８に送信したりするなど、音声再生装置７とデータ通信可能な装置との間のデータ送受信を行う機能を有している。
ここで、音声再生装置７は、図示しない、プロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）とを備えており、プロセッサにより専用のプログラムを実行することにより上記各構成要素の機能を果たす。また、上記各構成要素は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすもの等が混在している。
【０１３３】
更に、音声再生装置７は、プロセッサによって、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図１３のフローチャートに示す再生タイミング制御処理を実行するようになっている。
図１３は、音声再生装置７における再生タイミング制御処理を示すフローチャートである。
【０１３４】
再生タイミング制御処理は、プロセッサによって実行されると、図１３に示すように、まず、ステップＳ５００に移行するようになっている。
ステップＳ５００では、データ通信部７５において、統合データ送信装置２から同期情報を受信したか否かを判定し、受信したと判定された場合(Yes)は当該同期情報を図示しない記憶部に記憶してステップＳ５０２に移行し、そうでない場合(No)は受信するまで待機する。
【０１３５】
ステップＳ５０２に移行した場合は、データ通信部７５を介してステップＳ５００で受信した同期情報に対応する統合データを受信したか否かを判定し、受信したと判定された場合(Yes)はステップＳ５０４に移行し、そうでない場合(No)は受信するまで待機する。
ステップＳ５０４に移行した場合は、再生回路／遅延回路７０ｄにおいて、ステップＳ５０２で受信した統合データに含まれる音声データに基づき、音声を再生開始してステップＳ５０６に移行する。
【０１３６】
ステップＳ５０６では、ステップＳ５００で受信した同期情報及びステップＳ５０２で受信した統合データに基づき、同期情報に含まれる同期マーカに対応した映像の音声再生装置７における再生音声に対応した再生開始時刻Ｔ２を算出してステップＳ５０８に移行する。
ステップＳ５０８では、映像情報取得部７２において映像情報を取得したか否かを判定し、取得したと判定された場合(Yes)はステップＳ５１０に移行し、そうでない場合(No)は取得するまで判定処理を継続する。
【０１３７】
ステップＳ５１０に移行した場合は、同期マーカ検出部７１において、同期マーカ検出処理を行いステップＳ５１２に移行する。
ステップＳ５１２では、同期マーカ検出部７１からの検出成功通知又は検出失敗通知のいずれかに基づいて、同期マーカが検出されたか否かを判定し、検出されたと判定された場合(Yes)はステップＳ５１４に移行し、そうでない場合(No)はステップＳ５２０に移行する。
【０１３８】
ステップＳ５１４に移行した場合は、同期ずれ算出部７０ｃにおいて、同期タイミング算出部７０ｂで算出された再生開始時刻Ｔ２及び同期マーカ検出部７１で算出された到達時刻Ｔ１に基づき、視聴者席における映像と音声との同期タイミングからのずれｄＴを算出してステップＳ５１６に移行する。
ステップＳ５１６では、再生回路／遅延回路７０ｄにおいて、同期ずれ算出部７０ｃからの通知結果に基づき、同期タイミングからのずれがあるか否かを判定し、ずれがあると判定された場合(Yes)はステップＳ５１８に移行し、そうでない場合(No)はステップＳ５２０に移行する。本実施の形態において、誤検出の通知を受けた場合は、その同期マーカは修正対象から外す。
【０１３９】
ステップＳ５１８に移行した場合は、再生回路／遅延回路７０ｄにおいて、映像の再生タイミングを修正してステップＳ５２０に移行する。ここで、再生タイミングの修正は、ずれｄＴがｄＴ＞０なら音声の再生速度を現在の速度より速め、一方、ｄＴ≦０なら音声の再生速度を現在の速度より遅める。
ステップＳ５２０では、再生回路／遅延回路７０ｄにおいて、統合データに含まれる音声データに基づき、映像を再生してステップＳ５２２に移行する。このとき、再生速度に変更があったときは算出された時間だけ変更された再生速度で音声を再生する。
【０１４０】
ステップＳ５２２では、再生回路／遅延回路７０ｄにおいて、音声の再生が終了したか否かを判定し、終了したと判定された場合(Yes)はステップＳ５００に移行し、そうでない場合(No)はステップＳ５０８に移行する。
つまり、音声再生装置７において音声の再生が開始されると、音声の再生が終了するまで、ステップＳ５０８〜ステップＳ５２２までの処理を繰り返し行う。
【０１４１】
次に、図１４に基づき、ステップＳ５１０の同期マーカ検出処理を詳細に説明する。
図１４は、音声再生装置７における、同期マーカ検出処理を示すフローチャートである。
同期マーカ検出処理は、同期情報及び映像情報に基づき、映像情報から同期マーカを検出すると共に、当該検出した同期マーカの到達時刻を算出する処理であって、ステップＳ５１０において実行されると、図１４に示すように、まず、ステップＳ６００に移行するようになっている。
【０１４２】
ステップＳ６００では、同期マーカ検出部７１において、映像情報取得部７２から取得した映像情報から、統合データに含まれる映像データの表示内容が表示される画面領域を抽出してステップＳ６０２に移行する。つまり、映像データの表示内容以外のスクリーン５の枠部分等を含む映像から映像データの表示内容に該当する部分だけを抽出する。
ステップＳ６０２では、同期マーカ検出部７１において、ステップＳ６００で抽出した画面領域を４分割すると共に、分割された各領域の輝度値に基づき、各領域の輝度値の平均値を算出してステップＳ６０４に移行する。つまり、映像情報から輝度値の平均値を特徴量として抽出する。
【０１４３】
ステップＳ６０４では、ステップＳ６０２で抽出した結果と、同期タイミング算出部７０ｂから取得した同期情報に含まれる同期マーカ（特徴パラメータ）とを比較してステップＳ６０６に移行する。本実施の形態においては、メタデータに含まれる特徴パラメータと抽出結果（輝度平均値）とを比較することになる。
ステップＳ６０６では、同期マーカ検出部７１において、抽出結果と特徴パラメータとが所定誤差範囲にあるか否かにより、特徴量が一致しているか否かを判定し、一致していると判定された場合(Yes)はステップＳ６０８に移行し、そうでない場合(No)はステップＳ６１０に移行する。
【０１４４】
ステップＳ６０８に移行した場合は、同期マーカ検出部７１において、映像情報取得部７２から取得した映像情報に同期マーカが含まれているとして、その開始時刻を到達時刻Ｔ１としてクロック発生回路７０ａから供給されるクロックに基づき算出して、当該算出結果を検出成功通知と共に同期ずれ算出部７０ｃに伝送して、一連の処理を終了し元の処理に復帰する。
【０１４５】
一方、ステップＳ６１０に移行した場合は、同期マーカ検出部７１において、映像情報取得部７２から取得した映像情報に同期マーカが含まれていないとして、検出失敗通知を同期ずれ算出部７０ｃに伝送して、一連の処理を終了し元の処理に復帰する。
ここで、ステップＳ５１４の同期ずれ算出処理及びステップＳ５１８の再生タイミング修正処理は、上記第１の実施の形態における、図３のフローチャートの、ステップＳ１１８の同期ずれ算出処理及びステップＳ１１８の再生タイミング修正処理と同様の処理となるので記載を省略する。
【０１４６】
次に、図１５に基づき、本実施の形態の動作を説明する。
ここで、図１５（ａ）〜（ｃ）は、映像情報から同期マーカを検出するまでの一連の流れを示す図である。
まず、統合データ送信装置２は、同期情報を音声再生装置７に送信し、次いで、この同期情報に対応した統合データを音声再生装置７及び映像再生装置８に送信する。
【０１４７】
音声再生装置７は、データ通信部７５を介して、同期情報を受信し図示しない記憶部に記憶し（ステップＳ５００）、且つ当該同期情報に対応する統合データを受信すると（ステップＳ５０２）、統合データに含まれる音声データに基づいて、再生回路／遅延回路７０ｄによって、音声を再生する（ステップＳ５０４）。本実施の形態において、映像及び音声の再生開始タイミングは、音声再生装置７の利用者からの指示に応じたタイミングとなり、この再生開始タイミングの情報は映像再生装置８にも伝送される。従って、音声再生装置７及び映像再生装置８は、利用者からの指示に従い、指示のあった時刻に再生を開始する。なお、音声再生装置７においては、音声の再生を開始した時刻を同期タイミング算出部７０ｂに伝送する。再生回路／遅延回路７０ｄによって、音声が再生されると、スピーカ７３，７４は、再生された音声信号を音波に変換して出力する。
【０１４８】
音声再生装置７の同期タイミング算出部７０ｂにおいては、再生回路／遅延回路７０ｄによって音声の再生が開始され、且つ再生回路／遅延回路７０ｄから音声の再生開始時刻を取得すると、当該再生開始時刻と、同期情報に含まれる同期マーカに対応した映像の再生時刻とに基づき、同期マーカに対応した映像の、音声再生装置７において再生された音声に対応する実時間上の再生開始時刻Ｔ２が算出される。同期マーカに対応した音声の再生開始時刻Ｔ２は、上記第１の実施の形態と同様に、メタデータにおいて、タグ＜ｔｉｍｅ＞及びタグ＜／ｔｉｍｅ＞との間に記述されている。従って、同期マーカに対応した映像の実時間上の再生開始時刻Ｔ２は、同期マーカに対応した映像の再生時刻に音声の再生開始時刻を加算したものとして算出される。このようにして算出された、開始時刻Ｔ２は、上記第１の実施の形態と同様に、開始時刻Ｔ２と同期マーカの識別番号とが対応付けられたデータテーブルとして構成され、図示しない記憶部に記憶される。
【０１４９】
一方、映像再生装置８は、統合データ送信装置２からの統合データを受信すると、音声再生装置７からの再生開始タイミングの情報に基づき、映像の再生を開始する。そして、再生された映像は、スクリーン５に光投射表示される。
映像及び音声が再生されると、スクリーン５並びにスピーカ７３及び７４から離れた位置にある視聴者席に配設された映像情報取得部７２によって、スクリーン５に表示された映像がデジタルビデオカメラにより撮影される（ステップＳ５０８）。映像情報取得部７２において映像情報が取得されると、同期マーカ検出部７１において、同期マーカ検出処理が開始される（ステップＳ５１０）。
【０１５０】
同期マーカ検出部７１は、まず、映像情報取得部７２から取得した映像情報から画面領域の映像を抽出する（ステップＳ６００）。画面領域の映像抽出は、まず、映像の複数フレームを比較し、この比較結果から所定領域（画面の中央部分を除く端の部分）において映像内容が変わっている部分がスクリーン５の枠の部分等の周辺領域であると判断し、それ以外の部分を画面領域として判断する。このような比較処理は１回だけ行えばよく、１度画面領域が解れば、これと同じ領域範囲を用いて映像情報から必要な映像部分だけ抽出することができる。この抽出処理により、図１５（ａ）に示すような映像が抽出される。
【０１５１】
映像情報から画面領域の映像が抽出されると、当該画面領域の映像を図１５（ｂ）に示すようにそれぞれ等分に４分割して、各分割領域における映像データに基づき、領域内の各画素の輝度値から分割領域における輝度値の平均値を算出する（ステップＳ６０２）。この算出された輝度値の平均値が各映像情報の特徴量となる。
映像情報から特徴量が抽出されると、当該抽出された特徴量と、図１５（ｃ）に示すような、抽出された特徴量と同様の特徴パラメータを有する同期マーカとを比較し（ステップＳ６０４）、両者の差が所定値以下（例えば、８以下）であった場合に、両者が一致していると判断し、所定値より大きい場合に、両者が不一致であると判断する（ステップＳ６０６）。ここで、同期マーカは、上記第１の実施の形態と同様に、他の同期情報と共にメタデータとして記述されており、各識別番号の同期マーカ毎に、＜ｄａｔａ  ｉｄ＞タグと＜／ｄａｔａ＞タグとの間に、特徴パラメータ値が記述されている。
【０１５２】
各識別番号の同期マーカと抽出された特徴量とを比較し、両者が一致していると判断された場合は、クロック発生回路７０ａから供給されるクロック信号に基づき、映像データにおける一致したデータ部分の開始時刻を到達時刻Ｔ１として算出する。算出された到達時刻Ｔ１及び対応する識別番号（Ｉｄ）は、検出成功を示す情報と共に、同期ずれ算出部７０ｃに伝送される（ステップＳ６０８）。
【０１５３】
一方、各識別番号の同期マーカと抽出された特徴量とを比較し、両者が一致するものが無いと判断された場合は、検出失敗を示す情報を、同期ずれ算出部７０ｃに伝送する（ステップＳ６１０）。
同期ずれ算出部７０ｃは、上記第１の実施の形態と同様に、記憶部に記憶された開始時刻Ｔ２のテーブルと、同期マーカ検出部７１から取得した到達時刻Ｔ１及び識別番号とに基づき、同期マーカの識別番号毎に同期ずれｄＴ（＝Ｔ１−Ｔ２）を算出する（ステップＳ３０２）。そして、ｄＴが算出されると、当該算出されたｄＴの絶対値を所定値（ここでは、１０［ｓ］（「００：００：１０：００」））と比較する（ステップＳ３０４）。この比較結果に基づき、ｄＴの絶対値が１０［ｓ］以上の場合は、検出された同期マーカを誤検出された同期マーカと判定し、誤検出を示す情報を再生回路／遅延回路７０ｄに送信する（ステップＳ３０６）。一方、ｄＴの絶対値が１０［ｓ］未満の場合は、算出されたｄＴを再生回路／遅延回路３０ｄに送信する（ステップＳ３０８）。
【０１５４】
再生回路／遅延回路３０ｄは、同期ずれ算出部７０ｃからの通知結果に基づき、同期ずれがあるか否かを判定し（ステップＳ５１６）、同期ずれがあると判定された場合は、再生回路／遅延回路７０ｄにおいて、映像の再生タイミングの修正処理が開始される（ステップＳ５１８）。
再生回路／遅延回路７０ｄは、上記第１の実施の形態における再生回路／遅延回路３０ｄと同様に、同期ずれ算出部７０ｃから取得したｄＴが「０」よりも大きいか否かを判定する（ステップＳ４００）。そして、この判定結果に基づき、同期マーカに対応した音声に対して、当該同期マーカに対応した映像が先に視聴者席に到達している場合は、音声の再生速度を増加させる制御量とずれを解消するのに必要な時間とを算出し（ステップＳ４０２）、同期マーカに対応した音声に対して、当該同期マーカに対応した映像が遅れて視聴者席に到達している場合は、音声の再生速度を減少させる制御量とずれを解消するのに必要な時間とを算出する（ステップＳ４０４）。
【０１５５】
制御量及び時間が算出されると、再生回路／遅延回路３０ｄにおいて、当該制御量に基づき、算出された時間だけ再生速度を変化させて音声の再生処理を行う（ステップＳ５２０）。
このように、音声の再生速度を増加又は減少することで、視聴者席における映像と音声との到達タイミングの同期タイミングに対するずれｄＴを修正する。
【０１５６】
なお、同期タイミングのずれｄＴは、再生速度を変化させて修正するだけに限らず、映像が進んでいる場合は、ｄＴの分だけ音声を読み飛ばしたり、映像が遅れている場合は、ｄＴの分だけ音声の再生を一時停止したりすることで行っても良い。
このようにして、本実施の形態では、視聴者席から離れた位置にあるスクリーン５に表示された映像情報を視聴者席において取得し、当該取得した映像情報から、予め設定した同期マーカを検出することで、映像の到達時刻Ｔ１を算出し、この到達時刻Ｔ１と、同期マーカに対応した映像の実際の再生開始時刻Ｔ２とから、同期タイミングに対する両者のずれｄＴを算出し、当該算出されたずれｄＴに基づき、音声再生装置７における音声の再生速度を変化させることでずれｄＴを修正することが可能である。従って、視聴者席における映像と音声との到達タイミングの同期タイミングに対するずれを修正することが可能である。
【０１５７】
上記第２の実施の形態において、統合データ送信装置２から同期情報を記憶し図示しない記憶部に記憶する処理は、発明１、３、５、６、７、１９、２１、２３、２４、２６、３０、３２、３４、３５及び３７のいずれか１の同期情報記憶手段に対応し、同期タイミング算出部７０ｂ、同期ずれ算出部７０ｃ及び同期マーカ検出部７１によって行われる同期ずれｄＴを算出する一連の処理は、発明１、３、５、６及び８のいずれか１の同期ずれ算出手段に対応し、映像情報取得部７２は、発明１、３、５、６及び８の出力情報取得手段に対応し、再生回路／遅延回路７０ｄにおける音声の再生速度の修正処理は、発明１又は１４の出力タイミング制御手段に対応する。
【０１５８】
また、上記第２の実施の形態において、データ通信部７５を介して、同期情報を受信する処理は、発明１４の同期情報受信手段に対応し、データ通信部７５を介して統合データを受信する処理は、発明１４の統合データ受信手段に対応する。
また、上記第２の実施の形態において、ステップＳ５００は、発明２７又は発明３８の同期情報受信ステップに対応し、ステップＳ５０２は、発明２８又は発明３９の統合データ受信ステップに対応し、ステップＳ５１０及びステップＳ５１４は、発明１９、２１、２３、２４、２６、３０、３２、３４、３５及び３７のいずれか１の同期ずれ算出ステップに対応し、ステップＳ５１６及びステップＳ５１８は、発明１９又は発明３０の出力タイミング制御ステップに対応する。
【０１５９】
なお、上記第２の実施の形態においては、特徴量として、画面領域を４分割して各分割領域の平均輝度値を求めるようにしたが、これに限らず、平均輝度に代えて平均色を求めたり、画面領域全体の平均輝度又は平均色を求めるなど、他の値を特徴量として求めるようにしても良い。
また、上記実施の形態において、同期マーカを、実際にスクリーンに表示され且つ視聴者に知覚される映像データの一部としたが、これに限らず、可視光（400〜700nm）の外の赤外などの信号を映像信号に重畳し、この信号を同期マーカとして検出しても良い。この場合、信号の開始、信号の終了、波長の変化（色の変化）、輝度の変化は、すべて同期マーカとして扱うことができる。また、映像の１フレームを同期を示す画面（例えば、カラーテストパターンのような予め定めたパターン）とする。１フレームであれば、サブリミナル効果と同様に視聴者が明示的に知覚する可能性は低い。つまり、挿入されたフレームを同期マーカとして扱うことができる。
【０１６０】
また、上記実施の形態においては、視聴者に見せたい映像のデータの一部を同期マーカとしたが、これに限らず、視聴者に見せたい映像に同期をとるための映像を付加しても良い。例えば、映画でフィルム交換を示すパンチマーク（画面の右上に黒い●が映される）のように映像の所定位置に所定の形状と色の図形を表示して、それを同期マーカとして検出する。つまり、パンチマークを同期マーカとして扱うこともできる。
【０１６１】
〔第３の実施の形態〕
以下、本発明の第３の実施の形態を図面に基づき説明する。図１６〜図２０は、本発明に係る出力タイミング制御装置、出力タイミング制御システム、出力装置、映像出力装置、統合データ提供装置、出力タイミング制御プログラム、出力装置制御プログラム、統合データ提供装置制御プログラム、出力タイミング制御装置制御方法、出力装置制御方法及び統合データ提供装置制御方法の第３の実施の形態を示す図である。
【０１６２】
本実施の形態においては、映像及び音声を統合してなる映画等の出力結果を構成する映像データ及び音声データからなる統合データに基いて、映像及び音声のそれぞれを別々の出力装置から出力する映像表示システムにおいて、各出力装置からの映像及び音声の出力タイミングを、音声を出力するスピーカ及び映像を表示するスクリーンから離れた位置にある視聴者席において、これらの到達タイミングが同期するように制御する。
【０１６３】
上記第１の実施の形態及び第２の実施の形態と異なるのは、視聴者席における音声と映像との到達タイミングの同期タイミングに対するずれｄＴを求めるのに、同期マーカを用いずに音声信号に重畳した可聴帯域外の周波数の信号を用いる点にある。
まず、本発明に係る映像表示システム９の構成を図１６に基づき説明する。図１６は、本発明に係る映像表示システム９の概観図である。
【０１６４】
映像表示システム９は、図１６に示すように、映像データ及び音声データからなる統合データのうち、音声データを後述する音声再生装置４に送信し、映像データを映像再生装置１０に送信する統合データ送信装置２と、統合データ送信装置２から受信した音声データに基づいて音声を再生し、当該再生された音声を後述するスピーカ４ａ及び４ｂから出力する音声再生装置４と、統合データ送信装置２から受信した統合データに基づいて映像を再生し、当該映像をスクリーン５に光投射すると共に、当該統合データと、後述する視聴者席に配設した音声情報取得部１２０において取得される音声情報とに基づいて視聴者席における音声及び映像の到達タイミングの同期をとる映像再生装置１０と、映像再生装置１０から光投射される映像を表示するスクリーン５と、を含んだ構成となっている。
【０１６５】
本実施の形態においては、スピーカ４ａ及び４ｂと、視聴者のいる視聴者席との距離は大きく離れており、従って、映像が視聴者席に到達する時間と音声が視聴者席に到達する時間とに差が生じる。つまり、視聴者の見る映像に対して音声が遅れて到達するために映像と音声とにずれが生じることになる。そこで、本実施の形態に係る映像再生装置１０においては、音声再生装置４のスピーカ４ａ及び４ｂから出力され且つ視聴者席に到達する音声情報を上記音声情報取得部１２０によって取得し、当該取得した音声情報に基づいて映像の出力タイミングを制御することで、視聴者席に到達する映像の到達タイミング及び音声の到達タイミングを同期させる。
【０１６６】
また、統合データ送信装置２は、音声再生装置４に送信する音声データとして、音声信号に可聴周波数帯域外の周波数の同期用信号（以下、同期用重畳信号と称す）を重畳した信号のデータを生成する。同期用重畳信号は、所定周期で別の周波数に切り替わる変調信号となっており、この変調周期の情報及び初期位相の情報は、同期情報として映像再生装置１０に送信される。
【０１６７】
更に、図１７に基づき、映像再生装置１０の詳細な構成を説明する。図１７は、映像再生装置１０の詳細構成を示すブロック図である。
映像再生装置１０は、図１７に示すように、映像再生部１００と、同期ずれ検出部１１０と、音声情報取得部１２０と、映像投射部１３０と、データ通信部１４０とを含んだ構成となっている。
【０１６８】
映像再生部１００は、クロック発生回路１００ａと、再生回路／遅延回路１００ｂとを含んだ構成となっている。
クロック発生回路１００ａは、水晶発振器等から構成され、所定周期のクロック信号を発生する機能を有している。そして、発生したクロック信号を、再生回路／遅延回路１００ｂと、後述する、同期信号発生回路１１０ａと、位相検出部１１０ｂと、周波数解析部１１０ｃとに供給する。
【０１６９】
再生回路／遅延回路１００ｂは、データ通信部１４０を介して統合データ送信装置２から受信した映像データに基づき映像を再生すると共に、同期ずれ検出部１１０から受信した映像と音声との視聴者席における到達タイミングの同期タイミングに対するずれｄＴに基づき映像の再生速度を修正する。
同期ずれ検出部１１０は、同期信号発生回路１１０ａと、位相差検出部１１０ｂと、周波数解析部１１０ｃと、バンドパスフィルタ１１０ｄとを含んだ構成となっている。
【０１７０】
同期信号発生回路１１０ａは、統合データ送信装置２からの同期情報から、音声データに重畳される同期用重畳信号の変調周期ａと同じ変調周期と、初期位相ｃとを有した同期信号を発生する。
位相差検出部１１０ｂは、同期用重畳信号の周波数解析結果に基づき、同期用重畳信号と、同期信号発生回路１１０ａにおいて発生する同期信号との位相差を検出する。本実施の形態においては、時刻ｔにおける、同期用重畳信号のピーク周波数と、同期信号のピーク周波数との位相差を検出する。つまり、この位相差は、上記第１の実施の形態及び第２の実施の形態における、視聴者席における、音声と映像との到達タイミングの同期タイミングに対するずれｄＴと同じである。検出された位相差ｄＴは、再生回路／遅延回路１００ｂに伝送される。
【０１７１】
周波数解析部１１０ｃは、バンドパスフィルタ１１０ｄにおいて音声信号から抽出された同期用重畳信号をＡ／Ｄ変換し、当該Ａ／Ｄ変換後の信号に対してＦＦＴ処理を施し、ＦＦＴ処理結果に基づきピーク周波数を求める。
バンドパスフィルタ１１０ｄは、音声情報取得部１２０で取得された音声信号から、当該音声信号に含まれる同期用重畳信号を抽出する帯域フィルタである。
【０１７２】
ここで、音声情報取得部１２０、映像投射部１３０及びデータ通信部１４０は、上記第１の実施の形態における、音声情報取得部３２、映像投射部３３及びデータ通信部３４と同様であるので説明を省略する。
ここで、映像再生装置１０は、図示しない、プロセッサと、ＲＡＭ（Random Access Memory）と、専用のプログラムの記憶されたＲＯＭ（Read Only Memory）とを備えており、プロセッサにより専用のプログラムを実行することにより上記各構成要素の機能を果たす。また、上記各構成要素は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすもの等が混在している。
【０１７３】
更に、映像再生装置１０は、プロセッサによって、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図１８のフローチャートに示す再生タイミング制御処理を実行するようになっている。
図１８は、映像再生装置１０における再生タイミング制御処理を示すフローチャートである。
【０１７４】
再生タイミング制御処理は、プロセッサによって実行されると、図１８に示すように、まず、ステップＳ７００に移行するようになっている。
ステップＳ７００では、データ通信部１４０において、統合データ送信装置２から同期情報を受信したか否かを判定し、受信したと判定された場合(Yes)は当該同期情報を図示しない記憶部に記憶してステップＳ７０２に移行し、そうでない場合(No)は受信するまで待機する。
【０１７５】
ステップＳ７０２に移行した場合は、データ通信部１４０を介してステップＳ７００で受信した同期情報に対応する映像データを受信したか否かを判定し、受信したと判定された場合(Yes)はステップＳ７０４に移行し、そうでない場合(No)は受信するまで待機する。
ステップＳ７０４に移行した場合は、再生回路／遅延回路１００ｂにおいて、ステップＳ７０２で受信した映像データに基づき、映像を再生してステップＳ７０６に移行する。
【０１７６】
ステップＳ７０６では、音声情報取得部１２０において音声情報を取得したか否かを判定し、取得したと判定された場合(Yes)はステップＳ７０８に移行し、そうでない場合(No)は取得するまで判定処理を継続する。
ステップＳ７０８に移行した場合は、同期ずれ検出部１１０において、同期ずれ検出処理を行いステップＳ７１０に移行する。
【０１７７】
ステップＳ７１０では、同期ずれ検出部１１０からの検出を取得したか否かを判定し、取得したと判定された場合(Yes)はステップＳ７１２に移行し、そうでない場合(No)は取得するまで待機する。
ステップＳ７１２に移行した場合は、再生回路／遅延回路１００ｂにおいて、同期ずれ検出部１１０から取得した検出結果に基づき、同期ずれがあるか否かを判定し、あると判定された場合(Yes)はステップＳ７１４に移行し、そうでない場合(No)はステップＳ７１６に移行する。
【０１７８】
ステップＳ７１４では、再生回路／遅延回路１００ｂにおいて、映像の再生タイミングを修正してステップＳ７１６に移行する。ここで、再生タイミングの修正は、ずれｄＴがｄＴ＞０なら映像の再生速度を現在の速度より速め、一方、ｄＴ≦０なら映像の再生速度を現在の速度より遅める。
ステップＳ７１６では、再生回路／遅延回路１００ｂにおいて、映像データに基づき、映像を再生してステップＳ７１８に移行する。このとき、再生速度に変更があったときは変更された再生速度で映像を再生する。
【０１７９】
ステップＳ７１８では、再生回路／遅延回路１００ｂにおいて、映像の再生が終了したか否かを判定し、終了したと判定された場合(Yes)はステップＳ７００に移行し、そうでない場合(No)はステップＳ７０６に移行する。
つまり、映像再生装置３において映像の再生が開始されると、映像の再生が終了するまで、ステップＳ７０６〜ステップＳ７１８までの処理を繰り返し行う。
【０１８０】
次に、図１９に基づき、ステップＳ７０８の同期ずれ検出処理を詳細に説明する。
図１９は、映像再生装置１０における、同期ずれ検出処理を示すフローチャートである。
同期ずれ検出処理は、音声情報に重畳された同期用重畳信号に基づき、視聴者席における音声と映像との到達タイミングの同期タイミングに対するずれｄＴを検出する処理であって、ステップＳ７０８において実行されると、図１９に示すように、まず、ステップＳ８００に移行するようになっている。
【０１８１】
ステップＳ８００では、バンドパスフィルタ１１０ｄにおいて、音声情報取得部１２０から取得した音声信号から、同期用重畳信号を抽出してステップＳ８０２に移行する。
ステップＳ８０２では、周波数解析部１１０ｃにおいて、ステップＳ８００で抽出した同期用重畳信号をＡ／Ｄ変換してステップＳ８０４に移行する。
ステップＳ８０４では、周波数解析部１１０ｃにおいて、ステップＳ８０２でＡ／Ｄ変換した結果に対してＦＦＴ処理を施してステップＳ８０６に移行する。
【０１８２】
ステップＳ８０６では、周波数解析部１１０ｃにおいて、ステップＳ８０４でＦＦＴ処理した結果に基づき、同期用重畳信号のピーク周波数を検出してステップＳ８０８に移行する。
ステップＳ８０８では、位相差検出部１１０ｂにおいて、同期信号発生回路１１０ａからの同期信号と、周波数解析部１１０ｃからの解析結果とから、同期信号と同期用重畳信号との位相差ｄＴ［ｓ］を検出してステップＳ８１０に移行する。
【０１８３】
ステップＳ８１０では、位相検出部１１０ｂにおいて、位相差ｄＴの検出結果を、再生回路／遅延回路１００ｂに伝送して、全ての処理を終了して元の処理に復帰する。
次に、図２０に基づき、本実施の形態の動作を説明する。
ここで、図２０は、音声情報から同期ずれを検出するまでの一連の流れを示す図である。
【０１８４】
まず、統合データ送信装置２は、同期情報を映像再生装置１０に送信し、次いで、この同期情報に対応した映像データを映像再生装置１０に送信し、一方、同期情報に対応した音声データを音声再生装置４に送信する。ここで、音声データは、映像に対応した音声信号に、可聴周波数帯域外の周波数の同期用重畳信号が重畳された信号のデータとなっている。本実施の形態において、同期用重畳信号は、所定周期で周波数が何種類かの周波数に規則的に変更されており、長い時間で見ると同じ変調周期が繰り返される定常的な信号となっている。
【０１８５】
映像再生装置１０は、データ通信部１４０を介して、同期情報を受信し図示しない記憶部に記憶し（ステップＳ７００）、且つ当該同期情報に対応する映像データを受信すると（ステップＳ７０２）、映像データに基づいて、再生回路／遅延回路１００ｂによって、映像を再生する（ステップＳ７０４）。本実施の形態において、映像及び音声の再生開始タイミングは、映像再生装置１０の利用者からの指示に応じたタイミングとなり、この再生開始タイミングの情報は音声再生装置４にも伝送される。従って、映像再生装置１０及び音声再生装置４は、利用者からの指示に従い、指示のあった時刻に再生を開始する。
【０１８６】
再生回路／遅延回路１００ｂによって、映像が再生されると、映像投射部１３０は、再生された映像をスクリーン５に拡大投射する。
一方、音声再生装置４は、統合データ送信装置２からの音声データを受信すると、映像再生装置１０からの再生開始タイミングの情報に基づき、音声の再生を開始する。そして、再生された音声は、スピーカ４ａ及び４ｂから出力される。
【０１８７】
映像及び音声が再生されると、スピーカ４ａ及び４ｂから離れた位置にある視聴者席に配設された音声情報取得部１２０には、スピーカ４ａ及び４ｂから出力された音声が到達する。これにより、音声情報取得部１２０は、マイクを介して到達した音声情報を取得する（ステップＳ７０６）。音声情報取得部１２０において音声情報が取得されると、同期ずれ検出部１１０において、同期ずれ検出処理が開始される（ステップＳ７０８）。
【０１８８】
同期ずれ検出部１１０は、まず、バンドパスフィルタ１１０ｄにおいて、音声情報取得部１２０から取得した図２０（ａ）に示すような音声信号から、図２０（ｂ）に示すような同期用重畳信号を抽出する（ステップＳ８００）。つまり、予め設定された可聴周波数帯域外の周波数帯域の信号を抽出できるようにバンドパスフィルタのバンドを設定する。図２０（ｂ）に示すように、同期用重畳信号は、周波数が一定では無く変化しているのが解る。次に、周波数解析部１１０ｃにおいて、バンドパスフィルタ１１０ｄによって抽出された同期用重畳信号をＡ／Ｄ変換し（ステップＳ８０２）、更に、当該変換した同期用重畳信号に対してＦＦＴ処理を施し（ステップＳ８０４）、当該ＦＦＴ処理結果（図２０（ｃ）参照）に基づきピーク周波数を検出する（ステップＳ８０６）。ここで、ＦＦＴ処理において用いる窓のサイズは、同期用重畳信号の変調周期が解っているので、これに合わせて設定する。また、時刻ｔにおける同期用重畳信号のピーク周波数は、下記式（１）のように表すことができる。
ｆ（ｔ）＝ｓｉｎ（ａ・ｔ＋ｂ）                                    ・・・（１）
但し、ａは変調周期であり、ｂは音声信号が視聴者席に到達したときの位相である。
【０１８９】
同期用重畳信号からピーク周波数が検出されると、位相差検出部１１０ｂにおいて、同期用重畳信号のピーク周波数（図２０（ｃ）参照）と、図２０（ｄ）に示すような、同期信号発生回路１１０ａから発生する同期信号のピーク周波数との位相差ｄＴを検出する（ステップＳ８０８）。
また、同期信号発生回路１１０ａは、統合データ送信装置２からの同期情報に基づき、同期用重畳信号の変調周期ａ及び初期位相ｃに基づき、映像再生部１００のクロック発生回路１００ａから供給されるクロック信号に同期して、変調周期ａ及び初期位相ｃの同期信号を発生する。従って、時刻ｔにおける同期信号のピーク周波数は、下記式（２）のように表すことができる。
ｆ０（ｔ）＝ｓｉｎ（ａ・ｔ＋ｃ）                                  ・・・（２）
つまり、位相差検出部１１０ｂにおいては、視聴者席に音声信号が到達した時刻ｔにおける、同期信号のピーク周波数と、同期用重畳信号のピーク周波数との位相差を検出する。ここで、位相差の検出には、例えば、ＰＬＬに用いられる公知の位相ディテクタを用いる。
【０１９０】
位相差ｄＴが検出されると、位相差検出部１１０ｂは、当該検出結果を再生回路／遅延回路１００ｂに伝送する（ステップＳ８１０）。
再生回路／遅延回路１００ｂは、同期ずれ検出部１１０からの通知結果に基づき、同期ずれがあるか否かを判定する（ステップＳ７１２）。ここで、同期ずれがあるか否かの判定は、同期ずれ検出部１１０から取得した位相差ｄＴが、ｄＴ＝０（本実施の形態では、「００（ｈ）：００（ｍ）：００（ｓ）：００」）である場合は、同期ずれが無いと判定し、ｄＴ≠０である場合は、同期ずれがあると判定する。
【０１９１】
同期ずれがあると判定された場合は、再生回路／遅延回路１００ｂにおいて、映像の再生タイミングの修正処理が開始される（ステップＳ７１４）。
修正タイミング修正処理は、上記第１の実施の形態と同様であるので、説明を省略する。
このようにして、本実施の形態では、視聴者席から離れた位置にあるスピーカ４ａ及び４ｂからの音声情報を視聴者席において取得し、当該取得した音声情報から、予め重畳された可聴周波数帯域外の周波数からなる同期用重畳信号を抽出し、更に、当該抽出した同期用重畳信号のピーク周波数を検出し、このピーク周波数と、同期用重畳信号と同じ変調周期及び初期位相の同期信号のピーク周波数との位相差ｄＴを検出し、当該検出された位相差ｄＴに基づき、映像再生装置１０における映像の再生速度を変化させることで位相差ｄＴを修正することが可能である。従って、視聴者席における映像と音声との到達タイミングの同期タイミングに対するずれを修正することが可能である。
【０１９２】
上記第３の実施の形態において、統合データ送信装置２から同期情報を記憶し図示しない記憶部に記憶する処理は、発明１、５、６、８、１９、２３、２４、２６、３０、３４、３５及び３６のいずれか１の同期情報記憶手段に対応し、同期ずれ検出部１１０によって行われる同期ずれｄＴを算出する一連の処理は、発明５、６及び８のいずれか１の同期ずれ算出手段に対応し、音声情報取得部１２０は、発明４、５、６及び８の出力情報取得手段に対応し、再生回路／遅延回路１００ｂにおける映像の再生速度の修正処理は、発明１４の出力タイミング制御手段に対応する。
【０１９３】
上記第３の実施の形態において、データ通信部１４０を介して、同期情報を受信する処理は、発明１４の同期情報受信手段に対応し、データ通信部１４０を介して映像データを受信する処理は、発明１４の統合データ受信手段に対応する。
また、上記第３の実施の形態において、ステップＳ７００は、発明２７又は発明３８の同期情報受信ステップに対応し、ステップＳ７０２は、発明２８又は発明３９の統合データ受信ステップに対応し、ステップＳ７０８は、発明２３、２４、２６、３４、３５及び３７のいずれか１の同期ずれ算出ステップに対応し、ステップＳ７１２及びステップＳ７１４は、発明１９又は発明３０の出力タイミング制御ステップに対応する。
【０１９４】
なお、上記第３の実施の形態において、視聴者が聴くことのできる可聴帯域の音声データの一部を同期マーカとしたが、これに限らず、音声データにおいて可聴帯域（20〜20ｋHz）の外のデータを音声信号に重畳し、この信号を同期マーカとして検出しても良い。この場合、信号の開始、信号の終了、周波数の変化、ボリュームの変化は、すべて同期マーカとして扱うことができる。
【０１９５】
また、上記第３の実施の形態においては、可聴周波数帯域外の音声信号を用いて、同期ずれ（位相差）ｄＴを求める例を説明したが、これに限らず、例えば、可視光の外の赤外などの光を、その輝度を所定周期でシフトさせながら流しつづけて、輝度変調の位相ずれを同期ずれとして検出したり、映像中の特定色（例えば黒色）の部分の輝度を所定周期でシフトさせながら流しつづけて、位相ずれを同期ずれとして検出したりするなど、システムの構成に応じて、別の信号を用いても良い。
【０１９６】
また、上記第１〜第３の実施の形態で説明したシステムの構成例の他に、本発明は、以下の（１）〜（４）に示す他のシステム構成にも適用することが可能である。
（１）音源から遠い装置と近い装置
図２１は、複数の映像表示装置がある場合に、各映像表示装置の、音源からの距離が異なるようなシステムに本発明を適用した場合のシステム構成の例を示す概観図である。
【０１９７】
図２１に示すように、ステージで演奏が行われ、その演奏に合わせた映像をステージから離れた位置にいる各観客の手元にあるディスプレイ（映像再生装置）で表示するような場合、ステージやスピーカからの距離によって、映像再生装置に表示される映像に対して音声が聞こえるタイミングにはずれが生じる。こういった場合、統合データ送信装置において、映像と音声との同期タイミングを合わせることは不可能であり、各々の映像再生装置において同期をタイミングを合わせる必要がある。このようなシステムにおいても、上記第１又は第３の実施の形態における映像再生装置３又は映像再生装置１０と同等の機能を観客の手元にある映像再生装置に具備することで、演奏と映像との同期を取ることが可能である。特に、各々の映像再生装置が自律的に同期を取るので、映像再生装置が複数ある場合でも、処理が増えずに同期を取ることが可能である。
【０１９８】
（２）ホームシアタ（音声と音声との同期）
図２２は、本発明をホームシアタのようなシステムに適用した場合のシステム構成例を示す概観図である。
複数の音声チャンネルにより構成されるホームシアタのようなシステムの場合、図２２に示すように、各チャネルに対応したスピーカの配置や音響によって、聴者の位置に対する各スピーカ間の音声の同期ずれも生じる。本発明は、このような場合にも有効である。
【０１９９】
例えば、上記第２の実施の形態における音声再生装置７と同等の機能を有し、各スピーカーごと、ないしは、フロントスピーカーとリアスピーカのようにグループごとに、音声の再生タイミングを修正できるような音声再生装置によりシステムを構成する。音声の同期マーカとしては、同期を取ろうとするスピーカないしスピーカー群のみが鳴るような音声データの一部を用いる。この例あるいは図２３のシステムに示すように、統合データの伝送は必ずしも必須の構成要素ではない。ここで、図２３は、統合データを有する装置が映像再生装置及び音声再生装置に直接接続された構成の映像表示システムの一例を示す図である。
【０２００】
（３）伝送経路が異なる場合（映像と映像との同期）
図２４は、統合データの伝送経路が複数種類あるようなシステムに本発明を適用した場合のシステム構成例を示す概観図である。
２つの伝送装置から送られてくる映像の同期を取るような場合である。例えば、海外から送られてくる映像と国内から送られてくる映像とを同期させて見せるような場合である。ここで、同期の処理方法は上記第２の実施の形態と同様である。
【０２０１】
図２４に示すように、統合データ送信装置１及び２の２つの統合データ送信装置が同期を取ってコンテンツを送出したとしても、一方が通信衛星を介し、他方がＬＡＮ等の回線を介すといったように両者の伝送経路が異なる場合は、視聴者の位置からスクリーンを見た場合に、スクリーンに表示される２つの映像間には同期ずれが発生する。従来は伝送経路による遅延を予め測定又は予測しておいて、その分だけ送信装置からの送出タイミングをずらしたり、再生装置で遅延させたりしていた。しかしながら、伝送経路の安定性によって、必ずしも伝送遅延が一定とは限らず、測定時と再生時との遅延が異なることや、再生中に伝送遅延が変わることなどが有り得る。本発明を適用することにより、再生されている映像との同期を取れるので、従来はできなかったリアルタイムでの確実な同期を取ることが可能となる。
【０２０２】
図２４の例においては、統合データ送信装置が２つあり伝送経路がそれぞれ異なる場合を示したが、統合データ送信装置が１つで伝送経路が２種類ある場合、統合データ送信装置が２つで伝送経路が１種類の場合でも同様である。さらには、統合データ送信装置と伝送経路が１つの場合でも、同期ずれが生じるのは、再生装置の能力やコンテンツの複雑さ（復号の難しさ）などの要因が考えられるので、同じ再生内容であっても、同期ずれが生じる可能性はある。
【０２０３】
また、統合データ送信装置と有線ネットワークを介して接続されているプロジェクタと、無線ＬＡＮを介してつながっていて視聴者の手元にある映像出力端末との同期を取るような場合にも、映像出力端末に本発明の機能を持たせることが有効である。
（４）映像や音声以外の再生内容
これまでは、再生出力として、映像、音声を例として説明してきたが、これ以外にも人間に知覚される出力内容を時間軸に沿って出力する再生装置であればどのような装置に対しても本発明は有用である。
【０２０４】
図２５は、映像に同期させて香りを出すシステムに本発明を適用した場合のシステム構成例を示す概観図である。
例えば、図２５に示すように、映像と同期させて香りを出すようなシステムにおいて、香りの発生器（図中の香り再生装置）からユーザのいるところまでの香りの伝達状態は、ユーザ数や気温、湿度など、様々な要因で容易に変化し、到達タイミングにはずれが生じるので、このような場合に、本発明を適用して香りの到達タイミングを映像と同期させることは可能である。図２５の例においては、嗅覚モニター手段によってユーザのいる位置に到達した香りの情報を取得し、この情報に基づいて、映像再生装置において映像の再生速度を制御して同期をとっている。この他にも、ドライアイスを用いて、表示映像に同期させて霧を発生するような演出を行う場合等の他の再生内容にも本発明は有用である。
【０２０５】
また、上記第１〜第３の実施の形態においては、視聴者席における映像と音声との同期タイミングからのずれを検出し、この同期ずれを修正するための制御量を算出する機能を、映像再生装置又は音声再生装置が具備する例を説明したが、これに限らず、映像装置や音声装置などの出力装置とは別体で、これらの出力情報を取得して同期ずれを検出し、この同期ずれを修正するための制御量を算出する機能を具備する装置を設けるようにしても良い。
【０２０６】
また、上記第１〜第３の実施の形態において、図３〜図６、図１３、図１４、図１８及び図１９のフローチャートに示す処理を実行するにあたっては、ＲＯＭにあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭに読み込んで実行するようにしてもよい。
【０２０７】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【図面の簡単な説明】
【０２０８】
【図１】本発明に係る映像表示システム１の概観図である。
【図２】映像再生装置３の詳細構成を示すブロック図である。
【図３】映像再生装置３における再生タイミング制御処理を示すフローチャートである。
【図４】映像再生装置３における、同期マーカ検出処理を示すフローチャートである。
【図５】映像再生装置３における、同期ずれ算出処理を示すフローチャートである。
【図６】映像再生装置３における、再生タイミング修正処理を示すフローチャートである。
【図７】同期情報及び統合データ（音声データ及び映像データ）の伝送状態を示す図である。
【図８】音声情報から同期マーカを検出するまでの一連の流れを示す図である。
【図９】メタデータの記述例を示す図である。
【図１０】同期マーカに対応する音声の再生開始時刻のテーブル例を示す図である。
【図１１】本発明に係る映像表示システム６の概観図である。
【図１２】音声再生装置７の詳細構成を示すブロック図である。
【図１３】音声再生装置７における再生タイミング制御処理を示すフローチャートである。
【図１４】音声再生装置７における、同期マーカ検出処理を示すフローチャートである。
【図１５】（ａ）〜（ｃ）は、映像情報から同期マーカを検出するまでの一連の流れを示す図である。
【図１６】本発明に係る映像表示システム９の概観図である。
【図１７】映像再生装置１０の詳細構成を示すブロック図である。
【図１８】映像再生装置１０における再生タイミング制御処理を示すフローチャートである。
【図１９】映像再生装置１０における、同期ずれ検出処理を示すフローチャートである。
【図２０】音声情報から同期ずれを検出するまでの一連の流れを示す図である。
【図２１】複数の映像表示装置がある場合に、各映像表示装置の、音源からの距離が異なるようなシステムに本発明を適用した場合のシステム構成の例を示す概観図である。
【図２２】本発明をホームシアタのようなシステムに適用した場合のシステム構成例を示す概観図である。
【図２３】統合データを有する装置が映像再生装置及び音声再生装置に直接接続された構成の映像表示システムの一例を示す図である。
【図２４】統合データの伝送経路が複数種類あるようなシステムに本発明を適用した場合のシステム構成例を示す概観図である。
【図２５】映像に同期させて香りを出すシステムに本発明を適用した場合のシステム構成例を示す概観図である。
【符号の説明】
【０２０９】
１，６，９…映像表示システム、２…統合データ送信装置、３…映像再生装置、３０…映像再生部、３０ａ…クロック発生回路、３０ｂ…同期タイミング算出部、３０ｃ…同期ずれ算出部、３０ｄ…再生回路／遅延回路、３１…同期マーカ検出部、３２…音声情報取得部、３３…映像投射部、３４…データ通信部、４…音声再生装置、４ａ，４ｂ…スピーカ、５…スクリーン、７…音声再生装置、７０…音声再生部、７０ａ…クロック発生回路、７０ｂ…同期タイミング算出部、７０ｃ…同期ずれ算出部、７０ｄ…再生回路／遅延回路、７１…同期マーカ検出部、７２…映像情報取得部、７３，７４…スピーカ、７５…データ通信部、８…映像再生装置、１０…映像再生装置、１００…映像再生部、１００ａ…クロック発生回路、１００ｂ…再生回路／遅延回路、１１０…同期ずれ検出部、１１０ａ…同期信号発生回路、１１０ｂ…位相差検出部、１１０ｃ…周波数解析部、１１０ｄ…バンドパスフィルタ、１２０…音声情報取得部、１３０…映像投射部、１４０…データ通信部
【図１】
2006121388.tif 000003
【図２】
2006121388.tif 000004
【図３】
2006121388.tif 000005
【図４】
2006121388.tif 000006
【図５】
2006121388.tif 000007
【図６】
2006121388.tif 000008
【図７】
2006121388.tif 000009
【図８】
2006121388.tif 000010
【図９】
2006121388.tif 000011
【図１０】
2006121388.tif 000012
【図１１】
2006121388.tif 000013
【図１２】
2006121388.tif 000014
【図１３】
2006121388.tif 000015
【図１４】
2006121388.tif 000016
【図１５】
2006121388.tif 000017
【図１６】
2006121388.tif 000018
【図１７】
2006121388.tif 000019
【図１８】
2006121388.tif 000020
【図１９】
2006121388.tif 000021
【図２０】
2006121388.tif 000022
【図２１】
2006121388.tif 000023
【図２２】
2006121388.tif 000024
【図２３】
2006121388.tif 000025
【図２４】
2006121388.tif 000026
【図２５】
2006121388.tif 000027