(57)【特許請求の範囲】
【請求項１】
観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、
上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段と、
を備えた観客状況判定装置。
【請求項２】
上記第２の全体動作状態検出手段は、上記第１，第２の個別動作状態検出手段による検出情報から判定される観客数に応じて設定される基準レベルを用いて、観客全体が発する音の音量が静寂状態であるか否かを判定する請求項１に記載の観客状況判定装置。
【請求項３】
観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、
上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段と、
観客に視聴させるデータを再生出力する再生手段と、
上記判定手段の判定結果に基づいて、上記再生手段の動作を制御する制御手段と、
を備えた再生出力制御システム。
【請求項４】
上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生するデータを選択する制御を行う請求項３に記載の再生出力制御システム。
【請求項５】
上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生されたデータに対する信号処理の制御を行う請求項３に記載の再生出力制御システム。
【請求項６】
観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、
上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、
が行われる観客状況判定方法。
【請求項７】
観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、
上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、
上記判定ステップでの判定結果に基づいて、観客に視聴させるデータの再生動作を制御する制御ステップと、
が行われる再生出力制御方法。
【請求項８】
観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、
上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、
をコンピュータ装置に実行させる処理プログラムが記録された記録媒体。
【請求項９】
観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、
観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、
個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、
個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、
上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、
上記判定ステップでの判定結果に基づいて、観客に視聴させるデータの再生動作を制御する制御ステップと、
をコンピュータ装置に実行させる処理プログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映画上映、音楽コンサート、演劇、演芸、各種イベント、スポーツ観戦などで、多数の観客を集めるエンターテイメント施設において好適な、観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、及びこれらの装置又は方法の実現に好適な記録媒体に関するものである。
【０００２】
【従来の技術】
例えば映画上映、音楽コンサート、演劇、演芸、各種イベント、スポーツ観戦などの、多数の観客を対象としたエンターテイメントが多数催されているが、近年、観客に対してより大きな満足を与えるための各種の手法や設備が求められ、また提案されている。
【０００３】
【発明が解決しようとする課題】
ところが一般に、映画館やコンサートホールなど（以下、これら観客が集まって映画、演奏等を視聴する場所を総称して「会場」という）においては、観客はあくまでも受動的に、上映／上演される内容を視聴するのみであった。
一方、会場に多数の観客が集まる場合は、いわゆる群衆心理的な効果や、視聴対象（上映内容や演奏者、演技者等）との一体感などから、個人が家庭等で映画や演奏などを鑑賞する場合と比べて、観客は大きな反応が示すことが多い。例えば拍手、手拍子、歓声、スタンディングオベーション、応援、唱和、身振りなどは著しいものとなる。
このような観客の反応に対しては、例えばライブ演奏などでは演奏者が自発的に対応して、より観客が盛りあがるように予定されていた演奏内容を変更したりアンコールに応えたりすることはあるにせよ、映画や、演技或いは演奏内容を容易には変更できないような演目の場合などは、観客の反応をくみ取って対応することは困難であった。また観客の反応に応じて演出効果を変えるというようなことも実際上は困難であった。
【０００４】
さらには、多数の観客の中には、声やアクションの大きい人や小さい人、視聴している内容をおもしろいと思っている人やつまらないと思っている人、などが混在しており、観客の全体としての反応を的確に把握するといったこと自体が、困難なものでもあった。
【０００５】
【課題を解決するための手段】
本発明はこのような事情に鑑みて、例えば会場における観客の状況を的確に判別し、またさらにその判別した観客の状況に応じて、より観客の楽しみを増大させるような制御を実現できるようにすることを目的とする。
【０００６】
このため本発明の観客状況判定装置は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段とを備える。
これにより会場にいる観客の、映画、演奏等の視聴対象に対する総体的な反応を判定し、その判定結果を何らかの形で利用できるようにする。
【０００７】
また本発明の再生出力制御システムは、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出手段と、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出手段と、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出手段と、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出手段と、上記第１，第２の全体動作状態検出手段による検出情報と、上記第１，第２の個別動作状態検出手段による検出情報とを用いて観客状況を判定する判定手段と、観客に視聴させるデータを再生出力する再生手段と、上記判定手段の判定結果に基づいて、上記再生手段の動作を制御する制御手段とを備える。
つまり会場にいる観客の、映画等の視聴対象に対する総体的な反応を判定し、その判定結果を映画等の再生動作制御に利用する。
例えば上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生するデータを選択する制御を行う。即ち再生内容自体を制御する。
また、上記制御手段は、上記判定手段の判定結果に基づいて、上記再生手段で再生されたデータに対する信号処理の制御を行う。即ち再生内容についての例えば映像効果、音響効果等の制御を行う。
【０００９】
本発明の観客状況判定方法は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップとが行われるようにする。
また本発明の記録媒体は、このような方法に相当する処理を実行させる処理プログラムが記録されるものとする。
【００１０】
本発明の再生出力制御方法は、観客の全体を撮像し、撮像された画像で検出される動きベクトルから観客全体の身体動作状態として、少なくとも静止状態か否かに応じた検出信号を出力する第１の全体動作状態検出ステップと、観客の全体が発する音を集音し、集音された音から観客全体が発する音について、少なくとも音量に応じた検出信号を出力する第２の全体動作状態検出ステップと、個々の観客の座席への荷重により、少なくとも着席状態に応じた検出信号を出力する第１の個別動作状態検出ステップと、個々の観客の踏力の状態を検出し、少なくとも起立状態か否かに応じた検出信号を出力する第２の個別動作状態検出ステップと、上記第１，第２の全体動作状態検出ステップによる検出情報と、上記第１，第２の個別動作状態検出ステップによる検出情報とを用いて観客状況を判定する判定ステップと、上記判定ステップでの判定結果に基づいて、観客に視聴させるデータの再生動作を制御する制御ステップとが行われるようにする。
また本発明の記録媒体は、このような方法に相当する処理を実行させる処理プログラムが記録されるものとする。
【００１１】
【発明の実施の形態】
以下、映画フィルムをビデオデータに変換して保持し、そのビデオデータを再生してビデオ投影機で上映する映画館において本発明を適用した例としての実施の形態を説明する。説明は次の順で行う。
１．システム構成
２．検出信号処理部の判別信号生成動作
３．判定処理部の判定／制御処理
４．各種変形例
５．実施の形態の実現のための構成例
【００１２】
１．システム構成
図１に本例のシステム構成を模式的に示す。本例は映画としてのビデオデータをビデオ投影機（プロジェクタ）で上映する映画館であるとすることから、図示するように映画としての映像が投影されるスクリーン１、及びスクリーン１に対して映像を投影するプロジェクタ２が設けられる。
プロジェクタ２に供給されるビデオデータは、サーバ９に格納されている。サーバ９は検出／コントロール部１０の制御に基づいて所要のビデオデータを再生し、プロジェクタ２に供給する。
また映画等における音声を出力するスピーカ３も例えばスクリーン１の左右に配置される。サーバ９においてビデオデータとともに再生されたオーディオデータは、図示しないパワーアンプ部を介してスピーカ３に供給され、音声出力される。
【００１３】
スクリーン１に対しては観客Ｐが座る座席ＳＴが多数用意され、観客Ｐは通常、座席ＳＴに座ってスクリーン１に映し出される映画等を鑑賞する。
ビデオカメラ４は、例えばスクリーン４側から観客全体の画像を撮像するように配置されている。つまりこのビデオカメラ４は、上映中などにおいて観客Ｐの様子を撮像した画像データを得るものとなる。
また、会場内の音声を集音するために、観客Ｐの全体に対するマイクロホン５が配置されている。
【００１４】
また各座席ＳＴには、それぞれ荷重センサ６が配備されており、観客Ｐが座席ＳＴに座っている状態、座っていない状態を、荷重の有無により検出できるようにされている。
さらに各座席ＳＴの前方下部には踏力センサ７が配備されている。この踏力センサは、観客Ｐが座席ＳＴに座った状態、及び座席ＳＴから立ち上がった状態において、観客Ｐの足が乗せられていることとなる位置に設けられている。これにより観客Ｐの足による荷重状態を検出できるようにされる。
【００１５】
図２は、図１の各部をブロック図により示したものである。
検出／コントロール部１０は、検出信号処理部１１、判定処理部１２，出力信号処理部１３が設けられる。
【００１６】
検出信号処理部１１は、観客Ｐや会場内の様子を検出する各種センサからの信号が入力され、それらの信号について検出処理を行う。即ち、観客全体の様子についての画像センサとして機能するビデオカメラ４からの画像信号ＳＶと、会場内の音声を検出する音声センサとしてのマイクロホン５からの音声信号ＳＡと、各座席ＳＴのそれぞれに配置された荷重センサ６からの荷重検出信号ＳＷと、各座席ＳＴの足下に配置された踏力センサ７からの踏力検出信号ＳＦとが、検出信号処理部１１に供給される。
【００１７】
なお後述するが、荷重センサ６は各座席に配置されており、つまり座席数ｎ個の荷重センサ６が存在するため、実際に検出信号処理部１１に供給される荷重検出信号ＳＷは、各荷重センサ６からの荷重検出信号ＳＷ１〜ＳＷ（ｎ）となる。
【００１８】
また同じく踏力センサ７も、座席数と同数存在するため、検出信号処理部１１に供給される踏力検出信号ＳＦは、各踏力センサ７からの踏力検出信号ＳＦ１〜ＳＦ（ｎ）となる。さらに１つの踏力センサ７は、図１３で後述するが、観客の左足に略対応して踏力を検出する左検出部７Ｌと、観客の右足に略対応して踏力を検出する右検出部７Ｒとに分割されて形成されており、それぞれ独立して踏力検出信号を出力できるようにされている。従って、各踏力検出信号ＳＦ１〜ＳＦ（ｎ）は、それぞれ左検出部７Ｌからの踏力検出信号ＳＦＬと、右検出部７Ｒからの踏力検出信号ＳＦＲとを含むものとなる。
【００１９】
詳しくは後述するが、検出信号処理部１１は、これらの画像信号ＳＶ、音声信号ＳＡ、荷重検出信号ＳＷ、踏力検出信号ＳＦのそれぞれについて所要の信号処理を行い、観客の全体の状況及び個別の状況を判別信号を生成する。
即ち画像信号ＳＶに基づいて画像判別信号ＳＳＶを生成し、音声信号ＳＡに基づいて音声判別信号ＳＳＡを生成し、荷重検出信号ＳＷに基づいて荷重判別信号ＳＳＷを生成し、踏力検出信号ＳＦに基づいて踏力判別信号ＳＳＦを生成する。そしてこれらの判別信号を判定処理部１２に供給する。
【００２０】
判定処理部１２は、供給された画像判別信号ＳＳＶ、音声判別信号ＳＳＡ、荷重判別信号ＳＳＷ、踏力検出信号ＳＦを用いて、観客の動作状況を判定する。例えば観客が注視・傾聴している状態にあるか、拍手している状態にあるかなど、観客全体の状況を具体的に判別する。
そして判定処理部１２は、観客状況の判定結果に基づいて、サーバ９に対する制御信号Ｃｄｂや、出力信号処理部１３に対する制御信号Ｃｓｐを出力する。
【００２１】
サーバ９は、映画やフィルムコンサートなどのコンテンツとしてのビデオデータ、オーディオデータを格納した１又は複数のデータベース２１（２１−１〜２１−ｍ）が設けられるとともに、これらデータベース２１（２１−１〜２１−ｍ）に対するデータの再生動作、書込動作を制御する制御部２３と、記録データや再生データの入出力を行うインターフェース部２２を有する。
【００２２】
制御部２２は、図示しない操作部（例えば劇場のオペレータにより操作指示が行われる操作装置）からの操作に応じてデータベース２１からの所要のデータ再生や、新たなデータの書込を実行するように制御を行うほか、上記の判定処理部１２から供給された制御信号Ｃｄｂに基づいて、データベース２１からの再生動作等の制御も行う。
また、映画コンテンツ等のデータ再生中は、現在の再生内容を示す情報を補足情報ＩＰとして判定処理部１２に供給する。補足情報ＩＰは、後述するように判定処理部１２での観客状況の判定処理に利用される。
補足情報ＩＰの具体的内容としては各種考えられるが、現在の上映状況を表すものとして、上映中か非上映中の区別、本編上映中か否かの区別、現在上映されている場面の種別、楽曲の再生中か否かの区別などを識別可能な情報とする。
【００２３】
制御部２３の制御に基づいてデータベース２１から読み出され、インターフェース部２２から出力されたビデオデータＶｏｕｔ、オーディオデータＡｏｕｔは、出力信号処理部１３において必要な映像信号処理、音声信号処理が行われた後、プロジェクタ２及びスピーカ３に供給され、上映出力されることになる。
出力信号処理部１３は、図３に示すようにビデオデータＶｏｕｔに対する映像信号処理部６１、及びオーディオデータＡｏｕｔに対する音声信号処理部６２が設けられ、映像信号処理部６１，音声信号処理部６２は図示しない操作部からのオペレータの操作指示や、或いは判定処理部１２からの制御信号Ｃｓｐに応じて、指示された信号処理を行う。
【００２４】
例えば映像信号処理部６１では、ビデオデータＶｏｕｔに対して、画像サイズ変更、画像提示位置、キャラクタ画像やテキスト画像の重畳、ズーム／モザイク／画像エフェクトなどの特殊画像処理等が可能である。
また音声信号処理部６２では、オーディオデータＡｏｕｔに対して、音量レベル処理、エコー／リバーブなどの音声エフェクト処置、出力音像定位の変更／パンニング処理、或いはアナウンス、効果音等の他の音声の重畳処理などが可能とされる。
【００２５】
２．検出信号処理部の判別信号生成動作
検出／コントロール部１０における、検出信号処理部１１，判定処理部１２の構成を図４に示す。なお、図４に示す各ブロックはハードウエアで構成されてもよいし、ソフトウエアにより実現されるものでもよい。
まず検出信号処理部１１の構成及び各判別信号ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦの生成動作について説明する。
【００２６】
検出信号処理部１１には、画像信号ＳＶに対する処理ブロックとして、観客画像抽出部３１，動きベクトル判別部３２が設けられる。
観客画像抽出部３１は、画像信号ＳＶから検出上の外乱成分を取り除き、実際の観客の動きなどの変化情報としての画像信号ＳＶ１を出力する。
ビデオカメラ４で撮像された客席全体の画像には、スクリーン１に投射されている映像（光）の照り返しの影響が表れる。そしてその照り返しによる画像信号ＳＶ上の変化は、観客の反応に相当する変化ではない。そこで観客画像抽出部３１には、サーバ９で再生されているビデオデータＶｏｕｔが供給されており、例えばそのビデオデータＶｏｕｔの輝度レベルを判定して、その輝度レベル相当成分を画像信号ＳＶからキャンセルして画像信号ＳＶ１とする。
照り返し成分がキャンセルされた画像信号ＳＶ１は、動きベクトル判別部３２で、画像上の動き（変化）のベクトル（動きの量及び方向）を判別する。そして動きベクトルの状態から、観客の状態を推定する画像判別信号ＳＳＶを生成し、判定処理部１２に出力する。
【００２７】
図５（ａ）、図６（ａ）、図７（ａ）にそれぞれ、観客側をビデオカメラ４で撮像した画像の例を示す。
図５（ａ）は、観客が拍手や歓声をあげている状態が撮像されたものであるが、このような画像が得られる期間に、例えば画像信号ＳＶ１を１フレーム毎に比較していき、動きベクトルを検出すると、例えば図５（ｂ）のようにランダムな動きが検出される。このように拍手をしている場合の動きベクトルの特徴としては、動き量は大きくなく、局所的に停滞している。そして総じてランダムな方向及び量であり、客席全体の総和としてのマクロ動き量は０に近いものとなる。
【００２８】
図６（ａ）は、観客が楽曲に合わせて手を振る、手拍子をする、或いは観客が見ている映像や聞いている音声に従って手を挙げるなどの状態を示しており、この場合の動きベクトルは、図６（ｂ）のように総じて秩序だったものとなっている。そしてこの場合は、局所動きに類似性があり、客席全体の総和としてのマクロ動きにも一定の特徴が観測される。
【００２９】
図７（ａ）は、観客が上映されているコンテンツの映像や音声に対して注視・傾聴している場合である。この場合動きベクトルは図７（ｂ）のようになり、即ち、提示されているコンテンツに誘発される動きはなく、ミクロにもマクロにも動きは観測されない。
【００３０】
画像信号ＳＶ１について動きベクトルを観測すると、大別して上記の３つの状態が判別可能である。
そこで動きベクトル判別部３２では、観測された動きベクトルが、これらの３つのどれに相当するかを判断し、その判断結果としての画像判別信号ＳＳＶを出力する。
従って画像判別信号ＳＳＶは、図８に示したＶａ、Ｖｂ、Ｖｃの３つの状態を識別する情報として判定処理部１２に供給されることになる。即ち、動きベクトルの観測結果として、静止状態（Ｖａ）、秩序ある動作状態（Ｖｂ）、ランダムな動作状態（Ｖｃ）のいずれかを示す画像判別信号ＳＳＶが供給される。
【００３１】
画像判別信号ＳＳＶ＝静止状態（Ｖａ）の場合は、図７のような、観客が注視・傾聴している状態を推定させるものとなる。
画像判別信号ＳＳＶ＝秩序ある動作状態（Ｖｂ）の場合は、図６のような、観客が曲に合わせた手拍子やアクションなど、秩序だった動きを行っている状態を推定させるものとなる。
画像判別信号ＳＳＶ＝ランダムな動作状態（Ｖｃ）の場合は、図５のような、観客が拍手等を行っている状態を推定させるものとなる。
【００３２】
図４に示すように検出信号処理部１１には、音声信号ＳＡに対する処理ブロックとして、観客音声抽出部３３，音声特徴検出部３４が設けられる。
観客音声抽出部３３は、音声信号ＳＡから検出上の外乱成分を取り除き、実際に観客が発生させている音声成分を抽出し、音声信号ＳＡ１として出力する。
マイクロホン５で集音された音声には、スピーカ３から出力される音声成分、つまり上映されているコンテンツのオーディオデータ成分が含まれる。当然そのオーディオデータ成分は観客の発した音声ではないため検出動作上のノイズとなる。
そこで観客音声抽出部３３には、サーバ９で再生されているオーディオデータＡｏｕｔが供給されており、音声信号ＳＡからオーディオデータＡｏｕｔを減算することにより、オーディオデータ成分がキャンセルされた音声信号ＳＡ１を得るようにしている。
また、マイクロホン５で客席から集音された音声信号ＳＡは、その会場の大きさや造りなどにより音響特性上の影響を受けている。また会場の空調設備などによる固定的なノイズ成分もある。ただしこれらの会場の造作によって影響を受ける音響特性は予め既知のものである。そこで観客音声抽出部３３には、当該システムが設置される会場に応じた音声信号ＳＡへの影響成分に相当する情報Ａｆが固定値として供給されるようにし、音声信号ＳＡに対して会場による影響をキャンセル（音響特性の補正や空調ノイズ成分のキャンセルなど）する処理も行うようにしている。
【００３３】
即ち観客音声抽出部３３では、集音された音声信号ＳＡから、スピーカ３からの出力音声や、会場の造作による音響特性やノイズなどの影響を排除して、実際に観客Ｐが発生させた声や拍手などの音としての音声信号ＳＡ１を出力するものとなる。
なお、上記画像信号ＳＶについては述べなかったが、映像信号ＳＶについても会場の造りによる影響が発生する場合がある。例えばドアの開閉や何らかの移動物が画像信号ＳＶとして撮像される場合がある。このような会場の造作による影響が考えられる場合は、音声信号ＳＡの場合と同様に、その固定的な影響をキャンセルして画像信号ＳＶ１が得られるようにすればよい。
【００３４】
音声信号ＳＡ１は音声特徴検出部３４で特徴が判別され、音声判別信号ＳＳＡが生成される。
音声特徴検出部３４は図９のように構成される。即ち音声信号ＳＡ１と基準レベルＡｔｈを比較して、基準レベル以下の音量状態（静寂状態）を検出する検出部５２、音声信号ＳＡ１を断続するスイッチ５１、それぞれ異なる通過帯域が設定された所要数のバンドパスフィルタ５３ａ、５３ｂ・・・、各バンドパスフィルタ５３ａ、５３ｂ・・・からの出力が供給される規則性評価部５４ａ、５４ｂ・・・、及び特徴判別部５５が設けられる。
【００３５】
検出部５２は、音声信号ＳＡ１と基準レベルＡｔｈを比較して、音声信号ＳＡ１の音量レベルが基準レベルＡｔｈを越えているか否かを示す比較結果信号を出力する。これは観客Ｐが発した音の総合レベルとして、観客が静寂状態にあるか否かを判別する信号となる。従って、基準レベルＡｔｈは、観客が静寂状態にあると考えられる音量の上限値として設定されたものである。
なお、この基準レベルＡｔｈは、図４に示すように判定処理部１２における、後述する観客動作判定部４１から供給されるが、これは観客動作判定部４１が現在の観客数に応じて基準レベルＡｔｈを可変設定することを意味している。即ち観客数の多少に応じて、観客全体が静寂状態にあると判断できるスレッショルド値は変化されるべきものであるためである。観客数の判別は、後述するように荷重センサ６及び踏力センサ７からの検出信号により可能となる。
【００３６】
検出部５２は、比較結果として、現在、観客全体が静寂状態にあるか否かを判断する比較結果信号を出力することになるが、その比較結果信号はスイッチ５１及び特徴判別部５５に供給される。
比較結果信号が静寂状態を示す値である場合は、スイッチ５１はオフとされ、信号ＳＡ１はバンドパスフィルタ５３ａ、５３ｂ・・・には供給されない。また、その場合は、特徴判別部５５は、比較結果信号の値に基づいて観客全体が静寂状態にあることを判別することになる。
【００３７】
観客全体が静寂状態にない場合は、スイッチ５１はオンとされ、音声信号ＳＡ１がバンドパスフィルタ５３ａ、５３ｂ・・・に供給される。
バンドパスフィルタ５３ａ、５３ｂ・・・は、それぞれ目的とする音声の帯域に合わせた通過帯域を有する。例えばバンドパスフィルタ５３ａの通過帯域ｆ１は、人の声に対応した帯域とされる。またバンドパスフィルタ５３ｂの通過帯域ｆ２は、人が手をたたく音に対応した帯域とされる。
本例では説明の簡略化のために、バンドパスフィルタ５３ａ、５３ｂの２つで、それぞれ観客の声の成分と、観客が手をたたいた音の成分を抽出することを例に挙げて説明するが、音声の特徴判別の目的に合わせてバンドパスフィルタの数や通過帯域が設定されればよい。例えば女性客の反応と男性客の反応とをそれぞれ検出したい場合は、女性の声の帯域の信号成分を抽出するバンドパスフィルタと、男性の声の帯域の信号成分を抽出するバンドパスフィルタが用意されればよい。
【００３８】
バンドパスフィルタ５３ａでは、音声信号ＳＡ１から人の声の帯域の成分を抽出し、規則性評価部５４ａに供給する。またバンドパスフィルタ５３ｂでは、音声信号ＳＡ１から人が手をたたく音の帯域の成分を抽出し、規則性評価部５４ｂに供給する。
各規則性評価部５４ａ、５４ｂでは、入力された音声信号について、所定の評価期間内で時間軸上の規則性を評価する処理を行う。例えば評価期間内の局所ダイナミックレンジとマクロダイナミックレンジの比率評価などを行う。
具体的には、曲に合わせた手拍子や唱和の音声は、或る程度の規則性が観測される。一方、拍手や歓声は規則性はなく無秩序なものである。
例えば評価期間内で図１０（ａ）のような音圧レベルの変動は規則性が観測され、一方図１０（ｂ）のような音圧レベルの変動はランダム性が高いものとなる。
【００３９】
各規則性評価部５４ａ、５４ｂで観測された規則性の評価結果は、特徴判別部５５に供給され、特徴判別部５５は、各バンドパスフィルタ５３ａ、５３ｂで抽出された音声成分の規則性評価結果に基づいて、観客状況を推定する音声判別信号ＳＳＡを生成する。
つまりこの例の場合は、特徴判別部５５は、観客の声が規則的かランダムか、観客が手をたたく音が規則的かランダムか、或いは上記検出部５２の検出結果として静寂状態か、という要素に基づいて、音声判別信号ＳＳＡを生成し、判定処理部１２に出力することになる。
【００４０】
音声判別信号ＳＳＡは、例えば図１１に示したＡａ、Ａｂ、Ａｃ、Ａｄ、Ａｅの５つの状態を識別する情報として判定処理部１２に供給される。即ち、特徴判別部５５での上記各要素に基づく判定結果として、静寂状態（Ａａ）、秩序ある発声状態（Ａｂ）、ランダムな発声状態（Ａｃ）、秩序ある手叩音が発せられている状態（Ａｄ）、ランダムな手叩音が発せられている状態（Ａｅ）、のいずれかを示す画像判別信号ＳＳＡが生成される。
【００４１】
音声判別信号ＳＳＡ＝静寂状態（Ａａ）の場合は、観客が注視・傾聴している状態を推定させるものとなる。
音声判別信号ＳＳＡ＝秩序ある発声状態（Ａｂ）の場合は、観客が曲に唱和していたり、演目上の呼びかけに対する返答、そろった応援などの状態を推定させるものとなる。
音声判別信号ＳＳＡ＝ランダムな発声状態（Ａｃ）の場合は、観客が歓声をあげている状態などを推定させるものとなる。
音声判別信号ＳＳＡ＝秩序ある手叩音が発せられている状態（Ａｄ）の場合は、観客が曲に合わせて手拍子をおこなっていたり、アンコール要求などでそろって手拍子を打っている場合などを推定させるものとなる。
音声判別信号ＳＳＡ＝ランダムな手叩音が発せられている状態（Ａｅ）の場合は、観客が拍手をおこなっている場合などを推定させるものとなる。
【００４２】
図４に示すように検出信号処理部１１には、荷重検出信号ＳＷに対する処理ブロックとして、荷重状況検出部３５が設けられる。上述したように、荷重センサ６は各座席ＳＴ毎に設けられており、従って座席数ｎに対応する荷重検出信号ＳＷ１〜ＳＷ（ｎ）が発生されるが、各荷重検出信号ＳＷ１〜ＳＷ（ｎ）にそれぞれ対応して荷重状況検出部３５−１〜３５−ｎが設けられる。
各荷重状況検出部３５−１〜３５−ｎは、それぞれ荷重検出信号ＳＷ１〜ＳＷ（ｎ）を所定の基準値Ｗｔｈ１と比較し、その比較結果として荷重の有無を示す荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）を出力する。
【００４３】
例えば図１２（ａ）に示すように観客Ｐが座席ＳＴに着席している場合は、観客Ｐの体重による荷重が、荷重センサ６と踏力センサ７に分散してかかり、従って荷重センサ６では、観客Ｐによる荷重に応じたレベルの荷重検出信号ＳＷを出力する。一方、図１２（ｂ）のように観客Ｐが起立している状態では、観客Ｐの体重による荷重は、踏力センサ７のみにかかり、従って荷重センサ６では、観客Ｐによる荷重がないこと示すゼロレベルの荷重検出信号ＳＷを出力する。
従って、基準値Ｗｔｈ１は、体重の軽い子供が座った状態なども考慮し、一方観客の荷物がおかれた場合などは除外できるように、数Ｋｇ〜１０数Ｋｇ程度の荷重に相当する値として、座席ＳＰへの荷重の有無が検出できるようにすればよい。
【００４４】
そしてその基準値Ｗｔｈ１と荷重検出信号ＳＷの比較結果としての荷重判別信号ＳＳＷは、例えば図１４に示したＷａ、Ｗｂの２つの状態を識別する情報として判定処理部１２に供給される。即ち、観客による荷重有り（Ｗａ）、観客による荷重なし（Ｗｂ）のいずれかを示す荷重判別信号ＳＳＷが生成される。
荷重判別信号ＳＳＷ＝荷重有り（Ｗａ）の場合は、観客が着席している状態を推定させるものとなる。
荷重判別信号ＳＳＷ＝荷重なし（Ｗｂ）の場合は、観客が立ち上がっているか、或いはその座席に観客がいない状態を推定させるものとなる。
【００４５】
また図４に示すように検出信号処理部１１には、踏力検出信号ＳＦに対する処理ブロックとして、踏力状況検出部３６が設けられる。上述したように、踏力センサ７は各座席ＳＴ毎に設けられており、従って座席数ｎに対応する踏力検出信号ＳＦ１〜ＳＦ（ｎ）が発生されるが、その各踏力検出信号ＳＦ１〜ＳＦ（ｎ）にそれぞれ対応して踏力状況検出部３６−１〜３６−ｎが設けられる。
各踏力状況検出部３６−１〜３６−ｎは、それぞれ踏力検出信号ＳＦ１〜ＳＦ（ｎ）を所定の基準値Ｗｔｈ２と比較し、その比較結果として荷重の大／小（又は無）を判別する。
さらに、各踏力センサ７は図１３（ａ）に示すように左検出部７Ｌと右検出部７Ｒに分割されており、それぞれ左足の荷重による踏力検出信号ＳＦＬと、右足の荷重による踏力検出信号ＳＦＲを出力する。
各踏力状況検出部３６−１〜３６−ｎでは、踏力検出信号ＳＦＬ、ＳＦＲの荷重値の変化を観測することで観客の重心移動を推定し、例えばその重心移動が時間軸方向に規則性のあるものか否かにより、観客が秩序だった動作を行っているか、或いはランダムな動作を行っているかを判別する。
そして各踏力状況検出部３６−１〜３６−ｎは、これら荷重の大／小（無）、及び秩序性／ランダム性を示す踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）を出力する。
【００４６】
上記図１２で説明したように、観客Ｐが座席ＳＴに着席している場合は、観客Ｐの体重による荷重は、踏力センサ７には軽くかかるのみである。一方、観客Ｐが起立している状態では、観客Ｐの体重による荷重は、全て踏力センサ７にかかる。もちろんその座席ＳＴに観客がいないときは踏力センサ７への荷重はゼロとなる。
各踏力状況検出部３６−１〜３６−ｎでは、荷重の大／小（又は無）を判別するが、これは踏力検出信号ＳＦＬ＋ＳＦＲの値を、基準値Ｗｔｈ２と比較する処理となる。
例えば観客が起立して全体重が踏力センサ７にかかっている場合は、踏力検出信号ＳＦＬ＋ＳＦＲの値は、その観客の体重に応じた値となる。
そこで基準値Ｗｔｈ２は、体重の軽い子供などの場合も考慮し、一方で観客が座った状態においての荷重も考慮して、例えば１０数Ｋｇ程度の荷重に相当する値とする。これにより荷重が大きく、観客が起立している状態であるか、或いは荷重が小さいか又はゼロで、観客が着席もしくは無人の状態であるか、を推定できるようにする。
【００４７】
また各踏力状況検出部３６−１〜３６−ｎでは、踏力検出信号ＳＦＬ、ＳＦＲの値を個別に時間軸方向に観測していき、かつ比較することで、観客の動作状況が秩序だったものかランダムなものかを判定する。
例えば踏力検出信号ＳＦＬ、ＳＦＲが、それぞれ図１３（ｂ）に示すように変化したとすると、この期間において観客の重心が左足から右足に移動したことがわかる。従って、このような重心移動が引き続き、右足→左足→右足・・・と観測されると、例えば観客が曲に合わせて体を動かしているなどの、規則的な動きがあると判定できる。
一方、このような重心移動が時間軸方向に単発的、不規則的に観測される場合は、観客がランダムな動きを行っていると判定できる。
さらに重心移動が所定期間観測されなければ、観客が起立した状態で動いていないと判定できる。
【００４８】
各踏力状況検出部３６−１〜３６−ｎは、踏力検出信号ＳＦ１〜ＳＦ（ｎ）について、これらの判別処理を行い、その結果値としての踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）を出力する。
踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）はそれぞれ、例えば図１５に示したＦａ、Ｆｂ、Ｆｃ、Ｆｄの４つの状態を識別する情報として判定処理部１２に供給される。
即ち、観客による荷重が小又は無（Ｆａ）、観客による荷重大で動き無し（Ｆｂ）、観客による荷重大で秩序ある動き（Ｆｃ）、観客による荷重大でランダムな動き（Ｆｄ）のいずれかを示す踏力判別信号ＳＳＦが生成される。
踏力判別信号ＳＳＦ＝荷重小又は無（Ｆａ）の場合は、観客が着席している状態か、或いはその座席には観客がいない状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大で動き無し（Ｆｂ）の場合は、観客が起立した状態で動いていない状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大で秩序ある動き（Ｆｃ）の場合は、観客が起立した状態で、例えば曲に合わせて体を動かしているなどの状態を推定させるものとなる。
踏力判別信号ＳＳＦ＝観客による荷重大でランダムな動き（Ｆｄ）の場合は、観客が起立した状態で無秩序に体を動かしている状態を推定させるものとなる。
【００４９】
以上のように検出信号処理部１１では、各センサ（ビデオカメラ４，マイクロホン５、荷重センサ６，踏力センサ７）からの情報に基づいて、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）を生成し、判定処理部１２に供給することとなる。
なお、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）がそれぞれ所定の値として提示する内容は、図８，図１１，図１４，図１５に示したものとしたが、検出処理方式により、さらに多様な内容を判別することも当然可能である。
例えば動きベクトルを観測した結果の画像判別信号ＳＳＡとしては、秩序動作の場合でも、動きの変化パターンから手拍子とアクションを区別したり、例えば観客によるウェーブのような動作を判別することも可能である。
また荷重判別信号ＳＳＷや踏力判別信号ＳＳＦでは、荷重をより細かく識別して、観客が大人と思われるか、子供と思われるかなどを示す信号とすることも可能である。
【００５０】
３．判定処理部の判定／制御処理
図４に示すように判定処理部１２は、観客動作判定部４１と制御決定部４２を備える。
観客動作判定部４１は、上述した各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）の値、及びサーバ９から供給される現在の再生内容を示す補足情報ＩＰを参照して、現在の観客の動作状況を推定する処理を行う。
制御決定部４２は、観客動作判定部４１の推定結果に応じて、再生されるコンテンツデータの選定や、再生されるビデオデータＶｏｕｔ、オーディオデータＡｏｕｔ所定の処理を指示する制御信号Ｃｄｂ、Ｃｓｐを出力する。
【００５１】
図１６に判定処理部１２による判定／制御処理を示す。なお、このフローチャートにおいてステップＦ１０９は制御決定部４２の処理となり、他のステップは観客動作判定部４１の処理となる。
【００５２】
判定／制御処理としては、観客動作判定部４１はステップＦ１０１として荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）をチェックする。即ち、会場内の各座席ＳＴにつき、荷重の有無の情報（図１４のＷａ、Ｗｂのいづれかの情報）を取り込む。またステップＦ１０２で、踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）をチェックする。これは各会場内の各座席ＳＴについての踏力センサ７に対する荷重の大／小（又は無）、及び観客の動作についての動作無し／秩序動作／ランダム動作の情報（図１５のＦａ〜Ｆｄのいづれかの情報）を取り込むものとなる。
【００５３】
ステップＦ１０３では、荷重判別信号ＳＳＷ１〜ＳＳＷ（ｎ）、及び踏力判別信号ＳＳＦ１〜ＳＳＦ（ｎ）の値から、会場に観客が存在するか否かを判別する。
もし、荷重判別信号ＳＳＡ１＝Ｗｂ（荷重無し）であり、かつ踏力判別信号ＳＳＦ１＝Ｆａ（荷重無又は小）であるとしたら、その座席ＳＴには観客がいないと推定できる。従って、全ての座席について、同様にして観客がいないと判定されるのであれば、現在会場に観客はいないと判断できる。
その場合は、ステップＦ１０３からＦ１１０に進み、処理を終了するのでなければステップＦ１０１にに戻ることになる。
【００５４】
観客が存在する場合はステップＦ１０４に進み、観客数を判別する。これは上記ステップＦ１０３で観客がいないと判断された座席数を全座席数から減算すればよい。或いは、荷重判別信号ＳＳＡが「Ｗｂ（荷重無し）」でないか、或いは踏力判別信号ＳＳＦが「Ｆａ（荷重無又は小）」でないというＯＲ条件が満たされる座席数をカウントすればよい。
そして観客数を判別したら、それに応じて音声特徴検出部３４に供給する基準値Ａｔｈを設定する。この基準値Ａｔｈは、上記図４，図９で説明したように、音声信号ＳＡ１が静寂状態のレベルであるか否かを判別する基準値であり、静寂状態と判断する基準は観客数によって変更することが正確な推定処理のために好適であるためである。
【００５５】
続いて観客動作判定部４１は、ステップＦ１０５で音声判別信号ＳＳＡのチェックを行い、図１１のＡａ〜Ａｅのいづれの状態であるかを確認する。
また観客動作判定部４１は、ステップＦ１０６で画像判別信号ＳＳＶのチェックを行い、図８のＶａ〜Ｖｃのいづれの状態であるかを確認する。
さらに観客動作判定部４１は、ステップＦ１０７でサーバ９から供給されている補足情報ＩＰを確認する。
【００５６】
観客動作判定部４１はここまでの処理で、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）の値、及び補足情報ＩＰを確認したら、それらの値に基づいて、実際の観客の状況を推定する。推定例については後述する。
そして観客動作判定部４１は観客の状況を推定したら、その推定結果を示す信号を制御決定部４２に送り、制御決定部４２はステップＦ１０９として、推定結果に基づいて必要な動作を実行させるための制御信号Ｃｄｂ、Ｃｓｐを出力する処理を行う。制御内容の例は後述する。
【００５７】
ステップＦ１１０では、当該判定／制御処理を終了させるか否かを判断し、終了されない場合はステップＦ１０１に戻る。またオペレータが図示しない操作部から終了操作を行うなどして、終了と判断される場合は、ステップＦ１１０から一連の処理を終了させる。
【００５８】
上記ステップＦ１０８で観客動作判定部４１が推定する観客状況とは、各種の状況が考えられるが、説明上の例として、図１７のＪ１〜Ｊ５の各状況を推定するものとする。
状況Ｊ１は、大部分の観客が上映されているコンテンツに対して注視・傾聴している状態である。
状況Ｊ２は、大部分の観客が再生されている楽曲に合わせて手拍子や唱和をしている状態である。
状況Ｊ３は、大部分の観客が例えばアンコール要求などのために、そろって手拍子や声を出している状態である。
状況Ｊ４は、大部分の観客が、拍手や歓声などをあげている状態である。
状況Ｊ５は、大部分の観客が、座席から立ち上がっている状態である。
【００５９】
ステップＦ１０８でのこれらの５つの状況の判別は、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）及び補足情報ＩＰの値に基づいて、例えば図１８のマトリクス関係から推定する。
【００６０】
まず実際に観客が注視・傾聴状態である場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖａ（静止）。
音声判別信号ＳＳＡ＝Ａａ（静寂）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有り）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って換言すれば、これらの全部が満たされていればほぼ確実に観客が注視・傾聴状態Ｊ１にあると推定できる。また全部が満たされていなくても、例えば画像、音声、荷重の３つ、或いは画像、音声の２つについて、これらの値が検出された場合も、注視・傾聴状態Ｊ１にあると推定できる。さらには、画像、音声のいづれか一方でも、これらの値が検出された場合に、注視・傾聴状態Ｊ１にあると推定してよい場合も考えられる。
【００６１】
なお、荷重判別信号ＳＳＡは、ＳＳＡ１〜ＳＳＡ（ｎ）があるが、図１８に示すような荷重判別信号ＳＳＡとしては、ｎ個の荷重判別信号のうちの代表値と考えればよい。例えばｎ個の荷重判別信号ＳＳＡ１〜ＳＳＡ（ｎ）の中で支配的な値が「Ｗａ」であったとしたら、ここでは荷重判別信号ＳＳＡ＝Ｗａとすればよい。
踏力検出信号ＳＳＦについても同様である。
【００６２】
次に、観客が着席した状態で例えばコンテンツに反応して秩序だった動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｂ（秩序動）。
音声判別信号ＳＳＡ＝Ａｂ（秩序ある声）又はＡｄ（秩序ある手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がコンテンツに反応して秩序だった動作を行っていると推定できる。
この場合において、補足情報ＩＰより楽曲出力中であることが確認できれば、楽曲に合わせた手拍子又は唱和を行っていると推定できる。つまり状態Ｊ２である。
【００６３】
一方、補足情報ＩＰから、現在、楽曲出力中でないと確認された場合は、曲に合わせた動作ではないと判断でき、例えば再生中（上映中）であるなら、コンテンツに応じた何らかのアクション、手拍子、発声等が行われていると推定できる。さらに再生終了後であれば、これは、アンコールやカーテンコールなどのための観客の動作（手拍子や「アンコール」という揃った声）と推定できる。つまり状態Ｊ３と推定できる。
【００６４】
観客が着席した状態で無秩序な動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｃ（ランダム動）。
音声判別信号ＳＳＡ＝Ａｃ（ランダムな声）又はＡｅ（ランダムな手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がランダムな動作を行っていると推定できる。例えば拍手喝采がおこっているよう場合である。
【００６５】
観客が着席した状態で無秩序な動作を行っている場合は、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖｃ（ランダム動）。
音声判別信号ＳＳＡ＝Ａｃ（ランダムな声）又はＡｅ（ランダムな手叩音）。
荷重判別信号ＳＳＷ＝Ｗａ（荷重有）。
踏力判別信号ＳＳＦ＝Ｆａ（荷重小）。
従って、これらの全部又は一部が満たされていればほぼ確実に観客がランダムな動作を行っていると推定できる。例えば拍手喝采がおこっているよう場合である。
【００６６】
観客が起立した状態では、各判別信号は次の値となっている可能性が高い。
画像判別信号ＳＳＶ＝Ｖａ〜Ｖｃ（いづれの状態もあり得る）。
音声判別信号ＳＳＡ＝Ａａ〜Ａｅ（いづれの状態もあり得る）
荷重判別信号ＳＳＷ＝Ｗｂ（荷重無）。
踏力判別信号ＳＳＦ＝Ｆｂ〜Ｆｄ（荷重大で各状態）。
従って、特に荷重判別信号ＳＳＷと踏力判別信号ＳＳＦがこれらを満足していれば、観客が起立していると推定できる。
【００６７】
例えば図１７に示した状態Ｊ１〜Ｊ５を推定するという動作を行うとすれば、以上のように各判別信号の値を判断していけば、ほぼ正しく状態Ｊ１〜Ｊ５を判別できる。
上記図１６のステップＦ１０８において、このようにして観客の状態を推定したら、ステップＦ１０９で、推定結果に応じた制御を行うことになるが、この制御は図１７にも示しているが、例えば次のようになる。
【００６８】
状態Ｊ１の場合は、コンテンツとしての映像及び音声を通常に呈示出力させればよい。つまり特殊な制御は不要である。
状態Ｊ２の場合は、手拍子や唱和があっても曲が聞き取りやすくなるように例えば制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。またビデオデータＶｏｕｔに、歌詞としてのテキストデータを重畳させ、観客が唱和しやすくする。コンテンツに応じた歌詞としてのテキストデータは、例えば制御信号Ｃｄｂによりサーバ９に要求して、データベース２１から読み出させるようにすればよい。
【００６９】
状態Ｊ３の場合、コンテンツ再生中であれば、手拍子や唱和があってもコンテンツ音声が聞き取りやすくなるように制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。
またコンテンツ再生中ではなく、観客のアンコール要求と判別される場合は、制御信号Ｃｄｂによりサーバ９に、コンテンツの再度の再生や、呈示（再生）するコンテンツの追加や変更を指示する。
【００７０】
状態Ｊ４の場合は、拍手や歓声があってもコンテンツ音声が聞き取りやすくなるように制御信号ＣｓｐによりオーディオデータＡｏｕｔの音量レベルをアップさせたり、聞き取りやすい音響エフェクト処理を行う。
また特に反応のよいシーンと想定できるため、そのシーンをマーキングして後のアンコール部分として記憶したり、或いはそのシーンを繰り返し再生させるように制御信号Ｃｄｂによりサーバ９に指示する。
さらに好評場面であることに応じて輝度ダイナミックレンジを変化させるといったビデオデータ処理も可能である。
【００７１】
状態Ｊ５の場合も、特に反応のよいシーンと想定できるため、そのシーンをマーキングして後のアンコール部分として記憶したり、或いはそのシーンを繰り返し再生させるように制御信号Ｃｄｂによりサーバ９に指示する。
さらに起立状態であるため、観客が見やすいようにスクリーン１上での画像呈示位置が情報にシフトされるようにしたり、スクリーン一杯に拡大させたりするというビデオデータ処理も行う。もちろん輝度の変化も可能である。
さらには、場合によっては着席を促す文字をビデオデータＶｏｕｔに重畳して呈示したり、アナウンス音声を出力させるようにしてもよい。
【００７２】
例えば以上のように本例では、観客状況に応じて、再生されるコンテンツ内容や再生される信号（ビデオデータＶｏｕｔ、オーディオデータＡｏｕｔ）についての制御を行うことで、観客の状況に応じた再生を実現でき、観客にとってより満足度の高いエンターテイメントを提供できる。特に再生する内容を選択するように制御することで、観客の求めるアンコール場面の繰り返し再生や、或いは観客の嗜好に応じた内容の再生などが可能となる。また再生データに対する信号処理の制御を行うことで、例えば映像効果、音響効果、音量等を、観客の状況に合致した状態を実現できる。
【００７３】
４．各種変形例
ところで以上の説明は、あくまでも一例として述べたものであり、実際にはさらに多様な例が考えられる。特に推定される観客状態の種類、推定結果に応じた制御方式、適用できる会場、観客状態の検出方式などは、それぞれ会場やイベント内容などに応じて、また制御可能なシステム設備に応じて、具体的な内容は異なるものとなる。以下、変形例をそれぞれ挙げていく。
【００７４】
まず推定すべき観客状態としては、上記例では図１７の状態Ｊ１〜Ｊ５を推定するとして説明したが、各判別信号（ＳＳＶ、ＳＳＡ、ＳＳＷ、ＳＳＦ）及び補足情報ＩＰの値（又は補足情報の種類）を用いれば、例えば以下のような各状況を推定することも可能である。
【００７５】
まず、上記例では起立状態について細かく分けなかったが、起立状態を次のように分類することも可能である。
・観客が起立して注視・傾聴
・観客が起立して手拍子や唱和
・観客が起立して拍手
・観客が起立して歓声
・観客が起立して曲等に合わせた唱和
・観客が起立して曲等に合わせたアクションや手拍子
これらは、荷重判別信号ＳＳＡ＝Ｗｂの状態で、踏力判別信号ＳＳＦの値がＦｂ、Ｆｃ、Ｆｄの何れであるかを判別したり、或いは画像判別信号ＳＳＶ、音声判別信号ＳＳＡの値を参照することで推定可能であることはいうまでもない。
【００７６】
また、同様に各判別信号の値から、
・観客が映像に合わせた動作を行っている状態
・観客が映像や音楽に合わせて足踏みを行っている状態
・観客が拍手・手拍子はせずに、歓声或いは唱和を行っている状態
なども推定可能である。
【００７７】
さらには、観客数が徐々に減っていっていることで、コンテンツが不評であることや、席を立ったり戻ってくる観客が多いことで、中だるみ状態であることなども推定可能である。
また、上述したように音声判別信号ＳＳＡから、女性に好評であるか男性に好評であるかを推定したり、或いはブーイング状態を推定することも可能である。
また検出された荷重値をより細かく判定することで、荷重判別信号ＳＳＷや踏力判別信号ＳＳＦにより、子供中心の客層か、大人中心の客層かなども推定できる。
【００７８】
推定結果に基づく制御としては、上記例以外にも、次のような例が考えられる。
制御信号Ｃｄｂによるコンテンツデータの選択にかかる制御としては、観客の反応の悪い場面を他の場面に差し替えたり、観客の反応に応じて次の場面を選択していくことで、観客状況に応じてストーリーが変化するなどの制御も可能である。このような場合はさらに、予め観客の反応に対するストーリー制御方式を公開しておき、観客が明示的な要求（コンテンツに対する反応）を行うことで観客が主導して上映内容を変化させるといったような上映方式も実現できる。
また呈示されるコンテンツ内に、観客の選択を求める内容を含ませておく。例えば選択肢を用意して、観客が望む方を拍手させるなどする。そして拍手の大小に応じて選択決定し、再生すべきコンテンツ内容を選択制御するといったことも可能である。
【００７９】
また、コンテンツ選択や再生データに対する画像処理、音響処理についての制御だけでなく、会場内の設備に対する制御を実行するようにしてもよい。
例えば観客の反応に応じて、照明装置を制御して明るさや照明色を可変したり、ミラーボール、レーザー光などの視覚的効果を動作させるなどして、観客の高揚をより促進させてもよい。
また空調設備を制御して、観客にとって快適な状態を提供してもよい。例えば観客の動きが少ない、注視・傾聴状態では、冷房を弱め（又は暖房を高め）、逆に観客が起立して踊っている場合などは冷房を強め（又は暖房を弱め）たりすることも好適である。
【００８０】
また上記例では、ビデオカメラ４及びマイクロホン５で検出される画像信号ＳＶ、音声信号ＳＡを、観客全体についての検出情報とし、荷重センサ６、踏力センサ７で検出される荷重検出信号ＳＷ、踏力検出信号ＳＦを、個々の観客についての検出情報としたが、これらに限られるものではない。
例えばビデオカメラ４やマイクロホン５を各座席に対応して設けて、観客個別に画像や音声を検出できるようにもしてもよいし、荷重センサや踏力センサを観客全体の情報として処理してもよい。
また、観客の全体／個別というだけでなく、例えば客席のエリア毎に映像、音声、荷重等を検出してもよい。
【００８１】
観客状態の推定のための情報としては、他のセンサや、或いは何らかの入力情報を参照するようにしてもよい。例えば上映開始前にアンケートや或いは係員による調査などにより客層を判別し、その情報を入力して推定や制御に反映させたり、上映する時間帯、季節、月日又は曜日、その日の天候、気温、会場の場所などを入力して推定や制御に反映させてもよい。
【００８２】
上記例では、映画上映を行う会場を前提にして考えたが、本発明はさらに多様な会場において採用可能である。例えばコンサートホール、ライブハウス、演劇場、寄席、放送スタジオ、野外イベント会場、競技場、多目的ホールなどである。
そして、例えばライブ演奏やスポーツなどの場合は、観客がモニタスクリーンなどで演奏者や選手の姿などを写すことが行われているが、その場合に観客の反応に応じて、好評な演奏場面や選手のアップなどを映し出したり、或いは効果音・音楽等を再生出力するといったような制御が考えられる。
【００８３】
また、本発明は観客の状況を推定した結果を、出力するコンテンツ等の制御に用いるのではなく、例えば推定結果を表示出力するなどして、出演者、演出者、オペレータ等に告知するものであってもよい。
出演者等は、観客状態の推定結果に基づいて、演技／演奏の内容を変更したり、視覚効果、音響効果を制御／設定することなどが考えられる。また、観客の状態に応じて後日の内容を変更するといったことも可能となる。
【００８４】
５．実施の形態の実現のための構成例
以上、実施の形態について説明してきたが、ここで実施の形態の実現のための構成例を述べておく。
上述した実施の形態における検出コントロール部１０やサーバ９の動作は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。検出コントロール部１０における検出信号処理部１１の動作や、判定処理部１２の動作、或いは判定処理部１２の観客動作判定部４１や制御決定部４２の動作についても同様である。
【００８５】
これら各部の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての送受信装置、記録再生装置等に組み込まれているコンピュータや、汎用のコンピュータ等にインストールされる。
【００８６】
そこで図１９に、上述した一連の処理を実行するプログラムがインストールされるコンピュータの構成例を示す。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【００８７】
あるいはまた、プログラムは、フロッピーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウェアとして提供することができる。
【００８８】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【００８９】
コンピュータは、ＣＰＵ(Central Processing Unit)４０２を内蔵している。ＣＰＵ４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、ＣＰＵ４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それに従って、ＲＯＭ(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、ＲＡＭ(Random Access Memory)４０４にロードして実行する。これにより、ＣＰＵ４０２は、上述した各フローチャートに示した処理を実行する。
そしてＣＰＵ４０２は、その処理結果を、必要に応じて、例えば入出力インタフェース４１０を介して、ＬＣＤ(Liquid Crystal Display)やスピーカ等で構成される出力部４０６から出力、あるいは通信部４０８から送信、さらにはハードディスク４０５に記録等させる。
【００９０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップ、例えば上記図１６のような処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００９１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００９２】
【発明の効果】
以上の説明から理解されるように本発明では、観客の全体としての動作状態と、個々の観客の動作状態とを検出して、観客の状況を判定するようにしているため、上映内容、演奏、演技等に対する観客の総体的な反応を的確に判別することができるという効果がある。
そして例えば映画上映などの場合は、そのような観客状況に応じて、再生動作を制御することで、観客の状況に応じた再生を実現でき、観客にとってより満足度の高いエンターテイメントを提供できる。
特に再生する内容を選択するように制御することで、観客の求める場面の繰り返し再生や、或いは観客の嗜好に応じた内容の再生などが可能となる。
また再生データに対する信号処理の制御を行うことで、例えば映像効果、音響効果、音量等を、観客の状況に合致した状態を実現できる。
【００９３】
また観客の全体を撮像し、撮像された画像から観客全体としての身体動作状態を検出したり、観客の全体が発する音を集音し、集音された音から観客全体としての動作状態を検出することで、観客の全体としての動作状態は容易かつ的確に検出できる。
さらに、個々の観客の座席への荷重を検出したり、個々の観客の踏力の状態を検出することで、観客の個別の状況も容易かつ的確に検出できる。
【００９４】
また本発明の記録媒体を用いれば、本発明の観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法が容易に実現でき、各種会場の設備として広く提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態のシステムの構成の説明図である。
【図２】実施の形態のシステムのブロック図である。
【図３】実施の形態の出力信号処理部のブロック図である。
【図４】実施の形態の検出信号処理部及び判定処理部のブロック図である。
【図５】実施の形態の画像判定の説明図である。
【図６】実施の形態の画像判定の説明図である。
【図７】実施の形態の画像判定の説明図である。
【図８】実施の形態の画像判別信号の説明図である。
【図９】実施の形態の音声特徴検出部のブロック図である。
【図１０】実施の形態の音声特徴検出動作の説明図である。
【図１１】実施の形態の音声判別信号の説明図である。
【図１２】実施の形態の荷重センサ及び踏力センサの荷重状態の説明図である。
【図１３】実施の形態の踏力センサの説明図である。
【図１４】実施の形態の荷重判別信号の説明図である。
【図１５】実施の形態の踏力判別信号の説明図である。
【図１６】実施の形態の判定／制御処理のフローチャートである。
【図１７】実施の形態の推定結果の例の説明図である。
【図１８】実施の形態の推定処理の説明図である。
【図１９】実施の形態に適用できるコンピュータ構成のブロック図である。
【符号の説明】
１  スクリーン、２  プロジェクタ、３  スピーカ、４  ビデオカメラ、５  マイクロホン、６  荷重センサ、７  踏力センサ、９  サーバ、１０  検出／コントロール部、１１  検出信号処理部、１２  判定処理部、１３  出力信号処理部、２１  データベース、２２  インターフェース部、２３  制御部
【図１】
0004432246.tif 000002
【図２】
0004432246.tif 000003
【図３】
0004432246.tif 000004
【図４】
0004432246.tif 000005
【図５】
0004432246.tif 000006
【図６】
0004432246.tif 000007
【図７】
0004432246.tif 000008
【図８】
0004432246.tif 000009
【図９】
0004432246.tif 000010
【図１０】
0004432246.tif 000011
【図１１】
0004432246.tif 000012
【図１２】
0004432246.tif 000013
【図１３】
0004432246.tif 000014
【図１４】
0004432246.tif 000015
【図１５】
0004432246.tif 000016
【図１６】
0004432246.tif 000017
【図１７】
0004432246.tif 000018
【図１８】
0004432246.tif 000019
【図１９】
0004432246.tif 000020