(57)【要約】【課題】人が観客状況を観察しなくとも、観客状況を容易に推定できるものとする。【解決手段】観客を撮影した画像信号ＳＶや観客からの音声に応じた音声信号ＳＡを入力部２０で生成する。特徴量検出部３０（８０）では、信号ＳＶや信号ＳＡに基づいて、例えば観客状況の動き量や動き周期性、音量、音声の周期性、音声の周波数成分に関する情報を検出する。この検出結果に基づき推定部４０（９０）で観客状況を推定する。出力部５０では、観客状況の推定結果を出力する。【選択図】　　　　図１
2004032424.tif 000002
【特許請求の範囲】
【請求項１】
観客を撮影した画像信号を生成する撮像手段と、
前記画像信号に基づいて、前記観客の動き量を検出する動き量検出手段と、
前記動き量に基づいて観客状況を推定する推定手段とを有する
ことを特徴とする観客状況推定装置。
【請求項２】
前記動き量検出手段は、前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を、前記観客の動き量とする
ことを特徴とする請求項１記載の観客状況推定装置。
【請求項３】
前記動き量検出手段は、前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の時間方向の平均値である時間マクロ動き量を、前記観客の動き量とする
ことを特徴とする請求項１記載の観客状況推定装置。
【請求項４】
前記推定手段では、前記動き量が所定レベルよりも大きいとき、前記観客状況を手拍子状態あるいは手拍子状態と推定する
ことを特徴とする請求項１記載の観客状況推定装置。
【請求項５】
観客を撮影した画像信号を生成する撮像手段と、
前記画像信号に基づいて、前記観客の動き周期性を検出する動き周期性検出手段と、
前記観客の動き周期性に基づいて観客状況を推定する推定手段とを有する
ことを特徴とする観客状況推定装置。
【請求項６】
前記動き周期性検出手段は、前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の自己相関最大位置を検出し、該自己相関最大位置の分散を、前記動き周期性とする
ことを特徴とする請求項５記載の観客状況推定装置。
【請求項７】
前記動き周期性検出手段は、前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量における低周波周波成分比を前記動き周期性とする
ことを特徴とする請求項５記載の観客状況推定装置。
【請求項８】
前記推定手段では、前記動き周期性が所定レベルよりも大きいときには前記観客状況を手拍子状態、前記所定レベルよりも大きくないときには前記観客状況を拍手状態と推定する
ことを特徴とする請求項５記載の観客状況推定装置。
【請求項９】
観客からの音声に応じた音声信号を生成する音声取得手段と、
前記音声信号に基づいて、前記観客からの音声の音量を検出する音量検出手段と、
前記音量に基づいて観客状況を推定する推定手段とを有する
ことを特徴とする観客状況推定装置。
【請求項１０】
前記音量検出手段は、前記音声信号の音声レベルの分散を前記音量とする
ことを特徴とする請求項９記載の観客状況推定装置。
【請求項１１】
前記音量検出手段は、前記音声信号の音声レベルの分散を算出して、該分散の時間方向の平均値である時間マクロ音量を前記音量とする
ことを特徴とする請求項９記載の観客状況推定装置。
【請求項１２】
前記推定手段では、前記音量が所定レベルよりも大きいときには前記観客状況を笑い状態と推定する
ことを特徴とする請求項９記載の観客状況推定装置。
【請求項１３】
観客からの音声に応じた音声信号を生成する音声取得手段と、
前記音声信号に基づいて、前記観客からの音声の周期性を検出する音声周期性検出手段と、
前記音声の周期性に基づいて観客状況を推定する推定手段とを有する
ことを特徴とする観客状況推定装置。
【請求項１４】
前記音声周期性検出手段は、前記音声信号から自己相関最大位置を順次検出し、該自己相関最大位置の分散を、前記音声の周期性とする
ことを特徴とする請求項１３記載の観客状況推定装置。
【請求項１５】
音量検出手段を設け、
前記音声周期性検出手段は、前記音声信号に基づいて前記音量検出手段で検出された前記観客からの音声の音量における低周波成分比を、前記音声の周期性とする
ことを特徴とする請求項１３記載の観客状況推定装置。
【請求項１６】
前記推定手段では、前記音声の周期性が所定レベルよりも大きいときには前記観客状況を拍手状態と推定する
ことを特徴とする請求項１３記載の観客状況推定装置。
【請求項１７】
観客からの音声に応じた音声信号を生成する音声取得手段と、
前記音声信号のフーリエ変換を行い、該フーリエ変換結果の重心を検出するスペクトル検出手段と、
前記重心に基づいて観客状況を推定する推定手段とを有する
ことを特徴とする観客状況推定装置。
【請求項１８】
前記推定手段は、前記重心が所定レベルよりも大きいときには前記観客状況を手拍子状態あるいは拍手状態と推定する
ことを特徴とする請求項１７記載の観客状況推定装置。
【請求項１９】
観客からの音声に応じた音声信号を生成する音声取得手段と、
前記音声信号に基づく前記のフーリエ変換を行い、該フーリエ変換結果に基づいて高周波対低周波成分比を算出する成分比検出手段と、
前記高周波対低周波成分比に基づいて観客状況を推定する推定手段とを有することを特徴とする観客状況推定装置。
【請求項２０】
前記推定手段は、前記高周波対低周波成分比によって、前記低周波成分に対する前記高周波成分の割合が所定レベルよりも大きいときには前記観客状況を手拍子状態あるいは拍手状態と推定する
ことを特徴とする請求項１９記載の観客状況推定装置。
【請求項２１】
観客を撮影した画像信号および／または前記観客からの音声に応じた音声信号を生成する入力手段と、
前記画像信号に基づき、前記観客の動き量や動き周期性をいずれか１つあるいは両方を検出し、前記音声信号に基づき、前記観客のからの音声の音量や前記音声の周期性や前記音声の周波数成分に関する情報のいずれか１つあるいは複数を検出する特徴量検出手段と、
前記特徴量検出手段での検出結果に基づいて、観客状況を推定する推定手段とを有する
ことを特徴とする観客状況推定装置。
【請求項２２】
観客を撮影して画像信号を生成し、
前記画像信号に基づいて、前記観客の動き量を検出し、
前記動き量に基づいて観客状況を推定する
ことを特徴とする観客状況推定方法。
【請求項２３】
前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を、前記観客の動き量とする
ことを特徴とする請求項２２記載の観客状況推定方法。
【請求項２４】
前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の時間方向の平均値である時間マクロ動き量を、前記観客の動き量とする
ことを特徴とする請求項２２記載の観客状況推定方法。
【請求項２５】
前記動き量が所定レベルよりも大きいとき、前記観客状況を手拍子状態あるいは拍手状態と推定する
ことを特徴とする請求項２２記載の観客状況推定方法。
【請求項２６】
観客を撮影して画像信号を生成し、
前記画像信号に基づいて、前記観客の動き周期性を検出し、
前記観客の動き周期性に基づいて観客状況を推定する
ことを特徴とする観客状況推定方法。
【請求項２７】
前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量の自己相関最大位置を検出し、該自己相関最大位置の分散を、前記動き周期性とする
ことを特徴とする請求項２６記載の観客状況推定方法。
【請求項２８】
前記画像信号に基づき画像の動きベクトルを求め、該動きベクトルの大きさの平均を示す平均動き量を算出して、該平均動き量における低周波周波成分比を前記動き周期性とする
ことを特徴とする請求項２６記載の観客状況推定方法。
【請求項２９】
前記動き周期性が所定レベルよりも大きいときには前記観客状況を手拍子状態、前記所定レベルよりも大きくないときには前記観客状況を拍手状態と推定する
ことを特徴とする請求項２６記載の観客状況推定方法。
【請求項３０】
観客からの音声に応じた音声信号を生成し、
前記音声信号に基づいて、前記観客からの音声の音量を検出し、
前記音量に基づいて観客状況を推定する
ことを特徴とする観客状況推定方法。
【請求項３１】
前記音声信号の音声レベルの分散を前記音量とする
ことを特徴とする請求項３０記載の観客状況推定方法。
【請求項３２】
前記音声信号の音声レベルの分散を算出して、該分散の時間方向の平均値である時間マクロ音量を前記音量とする
ことを特徴とする請求項３０記載の観客状況推定方法。
【請求項３３】
前記音量が所定レベルよりも大きいときには前記観客状況を笑い状態と推定する
ことを特徴とする請求項３０記載の観客状況推定方法。
【請求項３４】
観客からの音声に応じた音声信号を生成し、
前記音声信号に基づいて、前記観客からの音声の周期性を検出し、
前記音声の周期性に基づいて観客状況を推定する
ことを特徴とする観客状況推定方法。
【請求項３５】
前記音量から自己相関最大位置を順次検出し、該自己相関最大位置の分散を、前記音声の周期性とする
ことを特徴とする請求項３４記載の観客状況推定方法。
【請求項３６】
前記音声信号に基づいて検出された前記観客からの音声の音量における低周波成分比を、前記音声の周期性とする
ことを特徴とする請求項３４記載の観客状況推定方法。
【請求項３７】
前記音声の周期性が所定レベルよりも大きいときには前記観客状況を拍手状態と推定する
ことを特徴とする請求項３４記載の観客状況推定方法。
【請求項３８】
観客からの音声に応じた音声信号を生成し、
前記音声信号のフーリエ変換を行い、該フーリエ変換結果の重心を検出し、
前記重心に基づいて観客状況を推定する
ことを特徴とする観客状況推定方法。
【請求項３９】
前記重心が所定レベルよりも大きいときには前記観客状況を手拍子状態あるいは拍手状態と推定する
ことを特徴とする請求項３８記載の観客状況推定方法。
【請求項４０】
観客からの音声に応じた音声信号を生成し、
前記音声信号のフーリエ変換を行い、該フーリエ変換結果に基づいて高周波対低周波成分比を算出し、
前記高周波対低周波成分比に基づいて観客状況を推定する
ことを特徴とする観客状況推定方法。
【請求項４１】
前記高周波対低周波成分比によって、前記低周波成分に対する前記高周波成分の割合が所定レベルよりも大きいときには前記観客状況を手拍子状態あるいは拍手状態と推定する
ことを特徴とする請求項４０記載の観客状況推定方法。
【請求項４２】
観客を撮影した画像信号および／または前記観客からの音声に応じた音声信号を生成し、
前記画像信号に基づき、前記観客の動き量や動き周期性のいずれか１つあるいは両方を検出し、前記音声信号に基づき、前記観客のからの音声の音量や前記音声の周期性や前記音声の周波数成分に関する情報のいずれか１つあるいは複数を検出し、
前記検出の結果に基づいて、観客状況を推定する
ことを特徴とする観客状況推定方法。
【請求項４３】
コンピュータに、
観客を撮影した画像信号に基づき、前記観客の動き量や動き周期性のいずれか１つあるいは両方を検出し、および／または前記観客からの音声に応じた音声信号に基づき、前記観客のからの音声の音量や前記音声の周期性や前記音声の周波数成分に関する情報のいずれか１つあるいは複数を検出する手順と、
前記検出の結果に基づいて、観客状況を推定する手順とを実行させる
ための観客状況推定プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、観客状況推定装置と観客状況推定方法および観客状況推定プログラムに関する。詳しくは、観客を撮影した画像信号や観客からの音声に応じた音声信号に基づき、観客の動き量や動き周期性、音量、音声の周期性等が検出されて、この検出結果に基づき観客状況を推定するものである。
【０００２】
【従来の技術】
従来、映画や番組等のコンテンツを提供する場合、画像表示装置や音声出力装置等を用いて、予め作成されている画像信号や音声信号に基づいて画像表示や音声提示が行われている。
【０００３】
ここで、コンテンツの提供を効果的に行うためには、視聴者の状況を把握することが重要である。例えば、どのようなシーンで笑いや拍手が生じたを把握すれば、コンテンツの提供の際に、視聴者の反応状況に応じた効果音等を付加することで、より効果的なコンテンツ提供を行うことができる。また、コンテンツの製作者は、視聴者の反応状況を利用して、笑いが生じたシーンや拍手が生じたシーンを容易に判別することが可能となり、新たにコンテンツを制作する上で、視聴者の反応状況を有効に活用することができる。また、コンテンツの制作段階で視聴者の反応状況を利用すれば、さらに効果的なコンテンツ制作を行うことも可能となる。
【０００４】
【発明が解決しようとする課題】
ところで、このように視聴者の反応状況を把握する場合、人が視聴者を観察して、どのようなシーンでどのような反応状況を示したかを判別しなければならないため、簡単に視聴者の反応状況を把握することができない。
【０００５】
そこで、この発明では、人が観客状況を観察しなくとも、観客状況を容易に推定できる観客状況推定装置および観客状況推定方法および観客状況推定プログラムを提供するものである。
【０００６】
【課題を解決するための手段】
この発明に係る観客状況推定装置は、観客を撮影した画像信号を生成する撮像手段と、前記画像信号に基づいて、前記観客の動き量を検出する動き量検出手段と、前記動き量に基づいて観客状況を推定する推定手段とを有するものである。
【０００７】
また、観客を撮影した画像信号を生成する撮像手段と、前記画像信号に基づいて、前記観客の動き周期性を検出する動き周期性検出手段と、前記観客の動き周期性に基づいて観客状況を推定する推定手段とを有するものである。
【０００８】
また、観客からの音声に応じた音声信号を生成する音声取得手段と、前記音声信号に基づいて、前記観客からの音声の音量を検出する音量検出手段と、前記音量に基づいて観客状況を推定する推定手段とを有するものである。
【０００９】
また、観客からの音声に応じた音声信号を生成する音声取得手段と、前記音声信号に基づいて、前記観客からの音声の周期性を検出する音声周期性検出手段と、前記音声の周期性に基づいて観客状況を推定する推定手段とを有するものである。
【００１０】
また、観客からの音声に応じた音声信号を生成する音声取得手段と、前記音声信号のフーリエ変換を行い、該フーリエ変換結果の重心を検出するスペクトル検出手段と、前記重心に基づいて観客状況を推定する推定手段とを有するものである。
【００１１】
また、観客からの音声に応じた音声信号を生成する音声取得手段と、前記音声信号のフーリエ変換を行い、該フーリエ変換結果に基づいて高周波対低周波成分比を算出する成分比検出手段と、前記高周波対低周波成分比に基づいて観客状況を推定する推定手段とを有するものである。
【００１２】
さらに、観客を撮影した画像信号および／または前記観客からの音声に応じた音声信号を生成する入力手段と、前記画像信号に基づき、前記観客の動き量や動き周期性をいずれか１つあるいは両方を検出し、前記音声信号に基づき、前記観客のからの音声の音量や前記音声の周期性や前記音声の周波数成分に関する情報のいずれか１つあるいは複数を検出する特徴量検出手段と、前記特徴量検出手段での検出結果に基づいて、観客状況を推定する推定手段とを有するものである。
【００１３】
次に、この発明に係る観客状況推定方法は、観客を撮影して画像信号を生成し、前記画像信号に基づいて、前記観客の動き量を検出し、前記動き量に基づいて観客状況を推定するものである。
【００１４】
また、観客を撮影して画像信号を生成し、前記画像信号に基づいて、前記観客の動き周期性を検出し、前記観客の動き周期性に基づいて観客状況を推定するものである。
【００１５】
また、観客からの音声に応じた音声信号を生成し、前記音声信号に基づいて、前記観客からの音声の音量を検出し、前記音量に基づいて観客状況を推定するものである。
【００１６】
また、観客からの音声に応じた音声信号を生成し、前記音声信号に基づいて前記観客からの音声の周期性を検出し、前記音声の周期性に基づいて観客状況を推定するものである。
【００１７】
また、観客からの音声に応じた音声信号を生成し、前記音声信号のフーリエ変換を行い、該フーリエ変換結果の重心を検出し、前記重心に基づいて観客状況を推定するものである。
【００１８】
また、観客からの音声に応じた音声信号を生成し、前記音声信号のフーリエ変換を行い、該フーリエ変換結果に基づいて高周波対低周波成分比を算出し、前記高周波対低周波成分比に基づいて観客状況を推定するものである。
【００１９】
さらに、観客を撮影した画像信号および／または前記観客からの音声に応じた音声信号を生成し、前記画像信号に基づき、前記観客の動き量や動き周期性のいずれか１つあるいは両方を検出し、前記音声信号に基づき、前記観客のからの音声の音量や前記音声の周期性や前記音声の周波数成分に関する情報のいずれか１つあるいは複数を検出し、前記検出の結果に基づいて、観客状況を推定するものである。
【００２０】
さらに、この発明に係る観客状況推定プログラムは、コンピュータに、観客を撮影した画像信号に基づき、前記観客の動き量や動き周期性のいずれか１つあるいは両方を検出し、および／または前記観客からの音声に応じた音声信号に基づき、前記観客のからの音声の音量や前記音声の周期性や前記音声の周波数成分に関する情報のいずれか１つあるいは複数を検出する手順と、前記検出の結果に基づいて、観客状況を推定する手順とを実行させるものである。
【００２１】
この発明においては、観客を撮影した画像信号および／または観客からの音声に応じた音声信号が生成されて、この画像信号や音声信号に基づき、例えば観客の動き量や動きの周期性、観客からの音声の音量や音声の周期性が検出されて、この検出結果に基づき観客が手拍子状態や拍手状態あるいは笑い状態等のいずれであるかが推定される。
【００２２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、観客状況推定装置１０の構成を示している。観客状況推定装置１０の入力部２０では、観客の状態をビデオカメラやマイクロフォンを用いて監視して監視情報を生成する。例えば、観客を撮影することにより、監視情報として撮影画像信号（以下「画像信号」という）ＳＶを生成する。また、観客からの音声を取得することにより、監視情報として音声信号ＳＡの生成を行う。特徴量検出部３０では、監視情報である画像信号ＳＶと音声信号ＳＡに基づいて複数の特徴量を検出する。推定部４０では、検出された複数の特徴量に基づき、観客状態を推定して出力部５０に供給する。出力部５０では、推定部４０での推定結果を出力する。
【００２３】
図２は、入力部２０の動作を説明するための図である。映画や番組等の画像は、視聴者６０の前方に設けられた画像表示装置６１で表示されると共に、音声はスピーカ６２から出力される。入力部２０は、撮像部２１と音声取得部２２で構成されている。撮像部２１は、観客状況推定対象である視聴者６０の前方に設けられて、例えば図３に示すような視聴者６０側の撮影画像を示す画像信号ＳＶを生成する。音声取得部２２は、視聴者６０側からの音声を取得して音声信号ＳＡを生成する。このようにして生成された画像信号ＳＶと音声信号ＳＡは、特徴量検出部３０に供給される。
【００２４】
図４は、特徴量検出部３０の構成を示している。この特徴量検出部３０は、特徴量として例えば視聴者６０側の動きの大きさや周期性および音声の音量や周期性を検出する。さらに、音声の周波数成分に関する特徴量を検出するものである。
【００２５】
特徴量検出部３０の動き量検出部３１では、動きの大きさを示す特徴量を検出する。動き周期性検出部３２では、動きの周期性を示す特徴量を検出する。パワースペクトル検出部３４では、音声の周波数成分に関する特徴量を検出する。また、音量検出部３５では、音声の大きさを示す特徴量を検出すると共に、音声周期性検出部３６では、音声の周期性を示す特徴量を検出する。
【００２６】
図５は、動き量検出部３１の構成を示している。肌色領域抽出部３１１では、ＲＧＢ色空間やＹＩＱ色空間あるいはＨＳＶ色空間等において、肌色と認識できる画素範囲を判別する。例えば、ＲＧＢ色空間では、肌色と認識する赤色信号の範囲と緑色信号の範囲と青色信号の範囲を示す閾値を設定して、画像信号ＳＶに基づいて生成した三原色信号の信号レベルが肌色の領域内であるか否かを画素毎に判別することで、肌色と認識できる画素範囲（以下「肌色領域」という）を抽出できる。
【００２７】
次に、動きベクトル計算部３１２では、肌色領域の動きベクトルを計算する。この動きベクトルの計算では、抽出された肌色領域をブロックに分割して、ブロック毎に動きベクトルを計算する。例えば、各視聴者の顔の部分や手の部分をそれぞれブロックとして、各ブロックについて次フレーム（または前フレーム）の画像とでブロックマッチングを行い、最もブロックの画像が一致したときの移動方向と移動量を動きベクトルＭＶとする。このようにして、式（１）に示すように２次元動きベクトルＭＶｉを検出する。
【００２８】
【数１】
2004032424.tif 000003
【００２９】
なお、式（１）において、「ｉ」はブロック番号を示しており、ブロック数が例えば「ｍ＋１」であるときには「ｉ＝０〜ｍ」となる。また「ｕ」は水平方向の移動量、「ｖ」は垂直方向の移動量とする。さらに、動きベクトルの計算はブロックマッチング法に限られるものではなく、例えば代表点マッチング法や勾配法等の他の方法を用いるものとしても良い。
【００３０】
平均動き量計算部３１３は、式（２）に基づき、フレーム内の各ブロックの動きベクトルを一定期間分だけ順次用いて、動きベクトルの大きさの移動平均を計算して平均動き量Ｗｊとする。この算出した平均動き量Ｗｊを特徴量ＣＶａとする。なお、移動平均を算出する際に重み付けを行って平均動き量Ｗｊを算出することもできる。
【００３１】
【数２】
2004032424.tif 000004
【００３２】
図６は、特徴量ＣＶａすなわちフレーム毎に算出した平均動き量Ｗｊの推移を例示したものである。
【００３３】
また、式（２）では、水平方向と垂直方向を足し合わせて平均動き量Ｗｊを計算したが、水平方向あるいは垂直方向のいずれか一方に基づいて平均動き量Ｗｊを計算することもできる。
【００３４】
図７は、動き周期性検出部３２の構成を示している。自己相関計算部３２１では、動き量検出部３１で求めた平均動き量Ｗｊを用いて、フレーム毎の自己相関係数ＲＶを式（３）に基づいて計算する。
【００３５】
【数３】
2004032424.tif 000005
【００３６】
図８は、式（３）で示されている自己相関係数の算出動作を説明するためのものであり、説明を簡単とするため平均動き量Ｗｊが図８Ａに示すように正弦波である場合を示している。ここで、「ｋ＝１」のときには、図８Ｂに示す最初の「０」フレームから（ｎ−２）フレームまでの平均動き量Ｗｊと、図８Ｃに示す「１」フレームから（ｎ−１）フレームまでの平均動き量Ｗｊ＋ｋを用いて自己相関係数ＲＶを算出する。同様に、「ｋ＝ａ」のときには、図８Ｄに示す最初の「０」フレームから（ｎ−１−ａ）フレームまでの平均動き量Ｗｊと、図８Ｅに示す「ａ」フレームから（ｎ−１）フレームまでの平均動き量Ｗｊ＋ｋを用いて自己相関係数ＲＶを算出する。このように、自己相関係数ＲＶの算出に用いる平均動き量を順次変更することで、図８Ｆに示すように、「ｋ＝１」から「ｋ＝ａ」フレームまでの自己相関係数ＲＶの推移を求めることができる。
【００３７】
最大位置抽出部３２２は、算出された自己相関係数ＲＶから、最大値となるフレーム位置を検出する。例えば、式（３）に基づいて算出した自己相関係数ＲＶの推移が図９に示す波形となったとき、フレーム位置ＰＦｍｘが自己相関最大位置ＭＰとなる。また、自己相関係数を算出する平均動き量Ｗｊの位置を時間方向に順次シフトさせて同様な処理を行い、自己相関最大位置ＭＰを順次検出すると、時間方向の自己相関最大位置ＭＰの推移は例えば図１０に示すものとなる。
【００３８】
分散計算部３２３は、自己相関最大位置ＭＰの分散を算出する。ここで分散Ｖｐを算出する場合、検出する観客状況の周期性に応じて分散の算出に用いるフレーム範囲を決定する。すなわち、周期性を検出するためには、少なくとも検出する周期以上の窓幅（フレーム範囲）の信号を用いなければ周期性を検出できない。また、窓幅を大きくすると、検出結果の精度を向上できると共に、周期変動が生じても正しい検出結果を得ることができる。しかし、窓幅が大きくなることにより、短時間の挙動の変化に対する応答が鈍くなると共に処理時間も長くなってしまう。このため、窓幅は検出する周期の数倍程度が好ましい。ここで、観客状況として視聴者６０の例えば手拍子を推定するとき、手拍子の周期を０．５秒程度と考えて２秒程度を分散の算出に用いる窓幅とする。
【００３９】
ここで設定された窓幅、例えばｐフレームに対して±（ｑ／２）フレームを窓幅、この窓幅での自己相関最大位置の平均値をＭＰａｖ、ｊフレーム目での自己相関最大位置をＭＰｊとすると、式（４）に基づいて分散Ｖｐを算出できる。
【００４０】
【数４】
2004032424.tif 000006
【００４１】
このように、動き周期性検出部３２は、平均動き量の自己相関最大位置ＭＰの分散Ｖｐを算出して、この分散Ｖｐを特徴量ＣＶｂとする。この特徴量ＣＶｂの値が大きければ周期の変動が大きく、特徴量ＣＶｂの値が小さければ周期の変動が小さい。なお、特徴量ＣＶｂは、信号の周期の変動具合を示すものであれば良く、例えば自己相関最大位置ＭＰの標準偏差等を用いることもできる。なお、図１１は式（４）に基づいて検出した特徴量ＣＶｂの推移を例示したものである。
【００４２】
次に音声信号ＳＡに基づいた特徴量について説明する。フィルタ部３３は、音声信号ＳＡの帯域制限を行い、パワースペクトル検出部３４や音量検出部３５および音声周期性検出部３６で特徴量を生成するために適した周波数帯域の成分を抽出する。なお、この周波数帯域の以外の成分が音声信号ＳＡに含まれていないとき、あるいはこの周波数帯域の以外の成分が少なく特徴量を正しく生成できるときには、フィルタ部３３を設けなくても良いことは勿論である。
【００４３】
パワースペクトル検出部３４では、フィルタ部３３を介して供給された音声信号ＳＡを用いて、検出する観客状況に応じて設定した時間分の音声信号ＳＡに基づき重心を算出する。例えば、視聴者６０の「笑い」状態を検出する場合には、重心を算出する際に笑い声の周波数成分が含まれるように時間長を設定する。図１２は、パワースペクトル検出部３４の構成を示している。
【００４４】
フーリエ変換部３４１は、設定した時間分の音声信号ＳＡのフーリエ変換を行い、周波数毎のパワーを検出する。例えば図１３に示す音声信号ＳＡのフーリエ変換結果は図１４に示すものとなる。
【００４５】
重心計算部３４２では、周波数ｆｉに対してパワーＰＷｉの重みを付けた平均、すなわち重心ＣＡを求める。この重心ＣＡは、重心ＣＡを求める際の周波数範囲を「ｆ０〜ｆｇ」としたとき、式（５）に基づいて算出できる。この算出した重心ＣＡを特徴量ＣＶｃとする。図１５は、特徴量ＣＶｃの推移を例示したものである。
【００４６】
【数５】
2004032424.tif 000007
【００４７】
音量検出部３５では、フィルタ部３３を介して供給された音声信号ＳＡを用いて、予め設定した区間、例えば１フレーム期間分の音声レベルの分散を算出する。なお分散の算出は、上述の式（４）と同様にして算出できる。この算出した分散は、音量を示す特徴量ＣＶｄとする。また、分散を算出する際には、音声信号を用いる１フレーム期間を順次移動させて、移動平均の算出と同様にして分散を算出する。図１６は、特徴量ＣＶｄの推移を例示したものである。
【００４８】
音声周期性検出部３６では、画像の場合と同様にして、自己相関最大位置の分散を算出して特徴量ＣＶｅとする。図１７は音声周期性検出部３６の構成を示している。
【００４９】
自己相関計算部３６１では、フィルタ部３３を介して供給された音声信号ＳＡの例えば所定区間分を用いて、この音声信号ＳＡの信号レベルａｊから式（６）に基づき自己相関係数ＲＡを算出する。なお、所定区間は、上述の自己相関係数ＲＶの算出と同様に、検出する音声の周期よりも長く設定する。
【００５０】
【数６】
2004032424.tif 000008
【００５１】
最大位置抽出部３６２は、算出された自己相関係数ＲＡから、最大となる位置を、検出する観客状況に応じて設定された時間範囲毎に検出する。このように自己相関係数ＲＡが最大となる位置を検出することで、自己相関最大位置ＭＱは例えば図１８に示すものとなる。
【００５２】
分散計算部３６３は、自己相関最大位置ＭＱの分散を算出する。ここで自己相関最大位置の分散の算出は、上述の式（４）と同様な演算処理を行うことで算出できる。この算出した分散を特徴量ＣＶｅとする。なお、図１９は特徴量ＣＶｅの推移を例示したものである。
【００５３】
このように、音声周期性検出部３６は、音声の自己相関最大位置の分散を特徴量ＣＶｅとする。この特徴量ＣＶｅの値が大きければ周期の変動が大きく、特徴量ＣＶｅの値が小さければ周期の変動が小さい。なお、特徴量ＣＶｅは、音声信号の周期の変動具合を示すものであれば良く、例えば自己相関最大位置の標準偏差等を用いることもできる。
【００５４】
推定部４０は、特徴量検出部３０で検出された複数の特徴量を用いて、視聴者６０の状況を推定する。図２０は、特徴量検出部３０で検出された特徴量ＣＶａ，ＣＶｂ，ＣＶｃ，ＣＶｄ，ＣＶｅを用いて、視聴者６０の状況を推定する場合を示している。動きの大きさを示す特徴量ＣＶａやパワースペクトルの重心を示す特徴量ＣＶｃが、基準レベルよりも大きいときには、例えば「手拍子」あるいは「拍手」のいすれかの状態と推定する。また、基準レベルよりも小さいときには、「笑い」あるいは「その他の動作」のいずれかの状態と推定する。なお、基準レベルは、各特徴量に応じて予め設定されるものであり、以下の場合も同様である。
【００５５】
例えば、図２１Ａに示すように、特徴量ＣＶａが基準レベルＬｖ１よりも大きいときには「手拍子」あるいは「拍手」のいすれかの状態と推定すると共に、基準レベルＬｖ１以下であるときには、「笑い」あるいは「その他の動作」のいずれかの状態と推定する。
【００５６】
また、図２１Ｂに示すように、特徴量ＣＶｃが基準レベルＬａ１よりも大きいときには「手拍子」あるいは「拍手」のいすれかの状態と推定すると共に、基準レベルＬａ１以下であるときには「笑い」あるいは「その他の動作」のいずれかの状態と推定する。
【００５７】
次に、動きの周期性を示す特徴量ＣＶｂや音声の周期性を示す特徴量ＣＶｅが基準レベルよりも大きいときには「拍手」の状態と推定すると共に、基準レベルよりも小さいときには「手拍子」の状態と推定する。
【００５８】
例えば、図２２Ａに示すように、特徴量ＣＶｂが基準レベルＬｖ２よりも大きいときには「拍手」の状態と推定すると共に、基準レベルＬｖ２以下であるときには「手拍子」の状態と推定する。また、図２２Ｂに示すように、特徴量ＣＶｅが基準レベルＬａ２よりも大きいときには「拍手」の状態と推定すると共に、基準レベルＬａ２以下であるときには「手拍子」の状態と推定する。
【００５９】
さらに、音声の周期性を示す特徴量ＣＶｄが基準レベルよりも大きいときには「笑い」の状態と推定すると共に、基準レベルよりも小さいときには「その他の動作」の状態と推定する。例えば、図２２Ｃに示すように、特徴量ＣＶｄが基準レベルＬａ３よりも大きいときには「笑い」の状態と推定すると共に、基準レベルＬａ３以下であるときには「その他の動作」の状態と推定する。
【００６０】
また、動きの周期性を示す特徴量ＣＶｂの推定結果と音声の周期性を示す特徴量ＣＶｅの推定結果の論理積あるいは論理和、例えば「拍手」を論理「０」、「手拍子」を論理「１」として論理演算を行い、演算結果を最終推定結果としても良い。この場合には、動きの周期性に基づく推定結果と音声の周期性に基づく推定結果が異なる場合が生じても、１つの推定結果を得ることができる。
【００６１】
さらに、視聴者６０の状況の推定に用いる特徴量をコンテンツ提供状況に応じて選択して用いるものとしても良い。すなわち、視聴者６０の動きを良好に取得できると共に音声の取得が困難なときには、動きの大きさや周期性を示す特徴量を主として用いることで観客状況を推定する。また、視聴者６０の動きの取得が困難であると共に音声を良好に取得できるときには、音声の音量や周期性を示す特徴量を主として用いることで観客状況を推定する。例えば、図２３に示すように、コンサート等では、○印で示すように、動き大きさや音声の周期性および音声の音量を示す特徴量ＣＶａ，ＣＶｅ，ＣＶｄを用いるものとする。また、映画館では、館内が暗いことから、パワースペクトルや音声の周期性および音声の音量を示す特徴量ＣＶｃ，ＣＶｅ，ＣＶｄを用いるものとする。さらに、スポーツ中継では、コンサート等に比べて音声の周期性が少ないことから、動きの大きさや動きの周期性および音声の音量を示す特徴量ＣＶａ，ＣＶｂ，ＣＶｄを用いるものとする。このように、観客状況の推定に用いる特徴量をコンテンツ提供状況に応じて選択することで、より適正な観客状況の推定を行うことができる。
【００６２】
また、複数の特徴量を統合して、統合結果と閾値を比較して観客状況の推定を行うものとしても良い。例えば、動きの大きさや音声の音量等を平均して平均値を算出すると共に、この平均値と閾値を比較して状況推定を行う。あるいは、コンテンツの提供状況に応じて動きの大きさや音声の音量等に重み付けを行い、この重み付けがなされた特徴量の平均値を用いて状況推定を行うこともできる。さらに、特徴量の加算値や線形和すなわち重み付けがなされた特徴量の加算値を算出して、この加算値と閾値を比較した比較結果に基づき状況推定を行うものとしても良い。
【００６３】
出力部５０では、表示器を用いて推定結果を表示する。あるいは、提供しているコンテンツが記録媒体に記録されているコンテンツであるとき、あるいは提供しているコンテンツを記録媒体に記録しているとき、この推定結果を合わせて記録媒体に記録すれば、視聴者が所望の状態となった部分を容易に検索できる。
【００６４】
このように、人が視聴者を観察しなくとも、視聴者６０側の撮影画像を示す画像信号ＳＶや視聴者６０側からの音声を取得して生成した音声信号ＳＡに基づき、視聴者６０側の動きや音声の大きさや周期性等を判別して、視聴者６０の状況を自動的に推定できる。
【００６５】
また、上述の観客状況の推定は、ハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図２４に示す。コンピュータは、図２４に示すようにＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には操作入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５，表示部７１６が接続されている。
【００６６】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された操作入力部７１１から命令が入力されたりすると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００６７】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の推定処理をコンピュータで実行させるための観客状況推定プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて観客状況を推定して、推定結果を信号出力部７１５から出力する。また、記録媒体に観客状況推定プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、観客状況推定プログラムを記録媒体に記録しあるいは記録媒体に記録されている観客状況推定プログラムを再生してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、観客状況推定プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した観客状況推定プログラムをコンピュータで実行するものとしても良い。
【００６８】
次に、観客状況推定プログラムについて説明する。図２５は、観客状況推定処理の全体を示すフローチャートを示している。
【００６９】
ステップＳＴ１では、画像信号と音声信号の取り込みを行う。例えば、信号入力部７１４に供給された画像信号ＳＶと音声信号ＳＡを用いて、観客状況の推定を開始する。
【００７０】
ステップＳＴ２では、特徴量の検出を行う。図２６は特徴量ＣＶａの検出動作を示すフローチャートである。また図２７〜図３０は、特徴量ＣＶｂ，ＣＶｃ，ＣＶｄ，ＣＶｅの各検出動作を示している。
【００７１】
図２６のステップＳＴ１１では、画像信号ＳＶに基づき肌色領域を抽出する。ステップＳＴ１２では、ステップＳＴ１１で抽出した肌色領域の動きベクトルをブロック毎に算出する。ステップＳＴ１３ではステップＳＴ１２で算出したブロック毎の動きベクトルに基づき、各ブロックの動き量をフレーム毎に平均して平均動き量を算出する。さらに、算出した平均動き量を特徴量ＣＶａとする。
【００７２】
図２７のステップＳＴ２１は、ステップＳＴ１３で算出した平均動き量を用いて自己相関係数を算出する。ステップＳＴ２２では、予め設定された所定区間（ｋフレームまで）分だけ完了した否かを判別して、完了していないときにはステップＳＴ２１に戻る。また完了したときにはステップＳＴ２３に進む。
【００７３】
ステップＳＴ２３では、所定区間分の自己相関係数から最大となる位置を判別してステップＳＴ２４に進む。ステップＳＴ２４では、自己相関最大位置の抽出が検出する動きの周期性に応じて設定された窓幅分だけ行われたか否かを判別する。このステップＳＴ２４で、窓幅分の抽出が完了していないときにはステップＳＴ２１に戻る。また、抽出が完了したときにはステップＳＴ２５に進む。
【００７４】
ステップＳＴ２５は、抽出した自己相関最大位置を用いて分散を算出する。この算出した分散を特徴量ＣＶｂとする。
【００７５】
図２８のステップＳＴ３１では、検出する観客状況に応じて設定した時間分の音声信号ＳＡのフーリエ変換を行い、周波数毎のパワーを検出する。ステップＳＴ３２では、重心を算出して周波数に対してパワーの重みを付けた平均、すなわち重心ＣＡを求める。この重心ＣＡを特徴量ＣＶｃとする。
【００７６】
図２９のステップＳＴ４１では、予め設定した区間分、例えばフレーム分の音声信号ＳＡを抽出してステップＳＴ４２に進む。ステップＳＴ４２では抽出した音声信号ＳＡの分散を算出して特徴量ＣＶｄとする。
【００７７】
図３０のステップＳＴ５１では、音声信号ＳＡの信号レベルの自己相関係数を算出する。ステップＳＴ５２では、自己相関の算出を予め定められた所定区間分だけ完了した否かを判別して、完了していないときにはステップＳＴ５１に戻る。また完了したときにはステップＳＴ５３に進む。
【００７８】
ステップＳＴ５３では、所定区間分の自己相関係数から最大となる位置を判別してステップＳＴ５４に進む。ステップＳＴ５４では、自己相関最大位置の抽出が検出する音声の周期性に応じて設定された窓幅分だけ行われたか否かを判別する。このステップＳＴ５４で、窓幅分の抽出が完了していないときにはステップＳＴ５１に戻る。また、抽出が完了したときにはステップＳＴ５５に進む。
【００７９】
ステップＳＴ５５は、抽出した自己相関最大位置を用いて分散を算出する。この算出した分散を特徴量ＣＶｅとする。
【００８０】
このように、動き量や動きの周期性、音声の音量や周期性、パワースペクトルの重心を特徴量として検出する。図２５のステップＳＴ３では、ステップＳＴ２で検出した複数の特徴量に基づいて、観客状況を推定する。図３１は、観客状況推定処理を示すフローチャートである。
【００８１】
ステップＳＴ６１では、平均動き量を示す特徴量ＣＶａあるいはパワースペクトルの重心を示す特徴量ＣＶｃの何れかを選択してステップＳＴ６２に進む。
【００８２】
ステップＳＴ６２では、ステップＳＴ６１で特徴量ＣＶａが選択されたか否かを判別する。ここで、特徴量ＣＶａが選択されたときにはステップＳＴ６３に進む。また特徴量ＣＶｃが選択されたときにはステップＳＴ７３に進む。
【００８３】
ステップＳＴ６３では、特徴量ＣＶａが基準レベルＬｖ１よりも大きいか否かを判別する。ここで、特徴量ＣＶａが基準レベルＬｖ１よりも大きいときにはステップＳＴ６４に進み、大きくないときにはステップＳＴ７４に進む。
【００８４】
ステップＳＴ６４では、観客状況が「手拍子」あるいは「拍手」のいずれかの状態であると推定してステップＳＴ６４に進む。
【００８５】
ステップＳＴ６５では、特徴量ＣＶｂあるいは特徴量ＣＶｅのいずれかを選択してステップＳＴ６６に進む。ステップＳＴ６６では、ステップＳＴ６５で特徴量ＣＶｂが選択されたときステップＳＴ６７に進む。また特徴量ＣＶｅが選択されたときにはステップＳＴ７０に進む。
【００８６】
ステップＳＴ６７では、特徴量ＣＶｂが基準レベルＬｖ２よりも大きいか否かを判別する。ここで、特徴量ＣＶｂが基準レベルＬｖ２よりも大きいときにはステップＳＴ６８に進み、観客状況は「拍手」の状態であると推定する。また、特徴量ＣＶｂが基準レベルＬｖ２よりも大きくないときにはステップＳＴ６９に進み、観客状況は「手拍子」の状態であると推定する。
【００８７】
ステップＳＴ６５で特徴量ＣＶｅが選択されて、ステップＳＴ６６からステップＳＴ７０に進むと、ステップＳＴ７０では、特徴量ＣＶｅが基準レベルＬａ２よりも大きいか否かを判別する。ここで、特徴量ＣＶｅが基準レベルＬａ２よりも大きいときにはステップＳＴ７１に進み、観客状況は「拍手」の状態であると推定する。また、特徴量ＣＶｅが基準レベルＬａ２よりも大きくないときにはステップＳＴ７２に進み、観客状況は「手拍子」の状態であると推定する。
【００８８】
ステップＳＴ６１で特徴量ＣＶｃが選択されて、ステップＳＴ６２からステップＳＴ７３に進むと、ステップＳＴ７３では、特徴量ＣＶｃが基準レベルＬａ１よりも大きいか否かを判別する。ここで、特徴量ＣＶｃが基準レベルＬａ１よりも大きいときにはステップＳＴ６４に進む。また、特徴量ＣＶｃが基準レベルＬａ１よりも大きくないときにはステップＳＴ７４に進む。
【００８９】
ステップＳＴ６３あるいはステップＳＴ７３からステップＳＴ７４に進むと、ステップＳＴ７４では、観客状況が「笑い」あるいは「その他の動作」のいずれかの状態であると推定してステップＳＴ７５に進む。
【００９０】
ステップＳＴ７５では、特徴量ＣＶｄが基準レベルＬａ３よりも大きいか否かを判別する。ここで、特徴量ＣＶｄが基準レベルＬａ３よりも大きいときにはステップＳＴ７６に進み、観客状況は「笑い」の状態であると推定する。また、特徴量ＣＶｄが基準レベルＬａ３よりも大きくないときにはステップＳＴ７７に進み、観客状況は「その他の動作」の状態であると推定する。
【００９１】
このようにして観客状況が推定されると図２５のステップＳＴ４では、この推定結果を示す推定結果信号を信号出力部７１５から出力する。あるいは、表示部７１６に推定結果を表示する。また、記録媒体にコンテンツが記録されており、このコンテンツを再生して信号出力部７１５からコンテンツの画像信号や音声信号を出力する場合には、このコンテンツの再生位置と推定結果を関係付けて記録媒体に記録し、あるいは記憶手段に記憶させるものとしても良い。このようにすれば、コンテンツの内容と観客状況の関係を容易に確認できる。
【００９２】
以上のように観客状況推定プログラムを実行することで、ソフトウェアに基づいても観客状況を推定することができる。
【００９３】
ところで、上述の実施の形態では、動きの大きさを示す特徴量ＣＶａ、動きの周期性を示す特徴量ＣＶｂ、パワースペクトルの重心を示す特徴量ＣＶｃ、音声の音量を示す特徴量ＣＶｄ、音声の周期性を示す特徴量ＣＶｅを用いて、視聴者６０の状況を推定する場合を示したが、特徴量はこれらに限られるものではない。
【００９４】
図３２は、特徴量検出部の他の構成を示している。この特徴量検出部８０は、特徴量として例えば視聴者６０側の一定時間内における動き量、動きの周期性、一定時間内における音量、音声の周期性を検出する。さらに、音声の周波数成分に関する特徴量を検出するものである。ここで、動き量や音量の検出は、上述の特徴量検出部３０と同様に、１フレーム毎の画像信号や１フレームに対応する期間毎の音声信号を用いて、一定期間内における動き量や音量の検出を行う。また、動きや音声の周期性の検出は、低域フィルタによる帯域制限やフーリエ変換によって低周波成分の検出を行い、検出された低周波成分に基づいて算出する。さらに、音声の周波数成分に関する特徴量の検出は、音声レベルのフーリエ変換結果を用いて行う。
【００９５】
特徴量検出部８０の動き量検出部８１では、平均動き量を検出する。動き周期性検出部８２では、動きの周波数成分に基づいて周期性を検出する。音量検出部８４では、音量を検出すると共に、音声周期性検出部８５では、音声の周波数成分に基づいて周期性を検出する。高周波対低周波成分比算出部８６では、音声の周波数成分に関する特徴量として音声の高周波対低周波成分比を算出する。
【００９６】
図３３は動き量検出部８１の構成を示している。なお、図５に示す動き量検出部３１と対応する部分については同一符号を付している。肌色領域抽出部３１１は肌色領域を抽出すると共に、動きベクトル計算部３１２は肌色領域の動きベクトルを計算する。平均動き量計算部３１３は、式（２）に基づき、フレーム毎に動きベクトルの大きさの平均を計算して、平均動き量Ｗｊとする。この算出した平均動き量Ｗｊを時間平均計算部８１１と動き周期性検出部８２に供給する。
【００９７】
時間平均計算部８１１では、平均動き量Ｗｊを時間方向に平均して時間マクロ動き量ＷＵを算出する。この時間マクロ動き量ＷＵの算出は、移動平均や重み付け移動平均の算出と同様に行う。例えばｎフレーム分の平均動き量Ｗｊを用いて時間マクロ動き量ＷＵを算出する場合、ａフレームから（ａ＋ｎ）フレームまでの平均動き量を用いて時間マクロ動き量ＷＵａを算出する。次に、（ａ＋１）フレームから（ａ＋ｎ＋１）フレームまでの平均動き量Ｗｊを平均して時間マクロ動き量ＷＵ（ａ＋１）を算出する。以下同様にして、フレーム位置を順次移動させて時間マクロ動き量ＷＵを順次算出すると共に、この時間マクロ動き量を特徴量ＣＷａとする。また、重み付け移動平均を算出する場合には、各フレームの平均動き量に重み付けを行ってから平均して時間マクロ動き量を算出する。さらにフレーム位置を順次移動させて時間マクロ動き量を算出して特徴量ＣＷａとする。この時間マクロ動き量の算出の際に平均するフレーム数は、推定する観客状況に応じて設定する。例えば「手拍子」や「拍手」「笑い」等の状態を推定する場合には、１〜２秒程度のフレーム分の平均動き量Ｗｊを用いて時間マクロ動き量ＷＵを算出する。なお、図３４Ａおよび図３４Ｂは、時間マクロ動き量ＷＵである特徴量ＣＷａの時間方向の推移を例示している。
【００９８】
動き周期性検出部８２は、動きベクトルの大きさの平均を示す平均動き量、すなわち検出する動きの周期性に応じて設定された窓幅内の平均動き量Ｗｊについてフーリエ変換を行う。このフーリエ変換結果に基づき、平均動き量Ｗｊの低周波成分比、すなわちフーリエ変換結果に基づいて、全パワーに対する低周波成分のパワーの比を算出する。ここで、低周波成分の範囲は、検出する状態の周期性に応じて設定する。すなわち、検出する状態の周波数が「ｆａ」で、他の状態の周波数が「ｆｂ」である場合、周波数「ｆａ」と周波数「ｆｂ」との間に閾値を設定して、この閾値以下の成分を低周波成分とする。ここで低周波成分が大きいときには検出する状態であり、低周波成分が少ないときには他の状態であると推定できる。例えば、手拍子の周波数が２Ｈｚ程度で、拍手が５Ｈｚ程度あるときには、この２つの状態の周期が含まれるように窓幅を設定すると共に閾値を２Ｈｚと５Ｈｚの間に設定して、低周波成分を決定する。このようにして低周波成分比ＥＶａを算出すると共に、この低周波成分比ＥＶａを特徴量ＣＷｂとする。また、直流成分を除いて低周波成分比ＥＶａを算出することで、周期性をより明確化できる。
【００９９】
さらに、動き周期性検出部８２は、低域フィルタを用いて時間マクロ動き量ＷＵから低域成分を抽出して、この低域成分と低域フィルタによる帯域制限前の時間マクロ動き量ＷＵとの比を低周波成分比として求め、この低周波成分比を特徴量ＣＷｂとしても良い。さらに、帯域フィルタを用いて、直流成分を除くものとすれば、更に精度良く周期性を検出できる。
【０１００】
図３５Ａは周波数の低い状態であるときにフーリエ変換結果を示しており、図３５Ｂは周波数の低い状態でないときにフーリエ変換結果を示している。ここで、閾値を周波数ＬＦａに設定すれば、低周波成分比ＥＶａに基づき、周波数の低い状態であるか否かを判別できる。また、図３６は特徴量ＣＷｂの推移を例示したものである。
【０１０１】
図３７は、音量検出部８４の構成を示している。音量検出部８４の分散計算部８４１では、上述の音量検出部３５と同様にして、予め設定した区間、例えばフレーム毎に音声レベルの分散を算出する。時間平均計算部８４２では、時間平均計算部８１１での時間マクロ動き量ＷＵの算出と同様な処理を行い、予め設定した区間、例えばフレーム毎の分散を、推定する観客状況に応じた所定区間分毎に順次用いて移動平均あるいは重み付け移動平均の算出を行い、この算出された移動平均を時間マクロ音量ＷＴとする。さらに、この時間マクロ音量ＷＴを特徴量ＣＷｃとする。例えば図３８Ａおよび図３８Ｂは、特徴量ＣＷｃの推移を例示したものである。
【０１０２】
このように、フレーム毎に算出した音声レベルの分散を平均化することで、例えば単独フレームの音声レベルが、視聴内容や環境によって変動しても、変動の少ない安定した特徴量を得ることができる。
【０１０３】
音声周期性検出部８５では、音量検出部８４で算出した時間マクロ音量ＷＴのフーリエ変換を行い、このフーリエ変換結果に基づき、全パワーに対する低周波成分のパワーの比を算出する。ここで、低周波成分の範囲は、動き周期性の場合と同様に、検出する音声の周期性に応じて設定する。ここで、低周波成分が大きいときには検出する状態であり、低周波成分が少ないときには他の状態であると推定できる。この音声周期性検出部８５で算出した低周波成分比を特徴量ＣＷｄとする。
【０１０４】
また、音声周期性検出部８５では、低域フィルタを用いて時間マクロ音量ＷＴから低域成分を抽出して、この低域成分と低域フィルタによる帯域制限前の時間マクロ音量ＷＴとの比を低周波成分比として求め、この低周波成分比を特徴量ＣＷｄとしても良い。図３９は、特徴量ＣＷｄの推移を例示したものである。なお、帯域フィルタを用いて、直流成分を除くものとすれば、更に精度良く周期性を検出できる。
【０１０５】
高周波対低周波成分比計算部８６では、フィルタ部３３を介して供給された音声信号ＳＡを例えば推定する観客状況に応じた所定区間分だけ用いてフーリエ変換を行うことで所定区間分のパワーを高周波成分と低周波成分に区分して、高周波対低周波成分比を算出する。さらに、この高周波対低周波成分比を特徴量ＣＷｅとする。
【０１０６】
ここで、例えば「拍手」と「笑い」の状態での音声では、「笑い」よりも「拍手」の状態で高い周波数成分が多くなる。このため、高周波対低周波成分比に基づき観客状況を推定することが可能となる。
【０１０７】
なお、高周波対低周波成分比の算出では、高域フィルタによって音声信号ＳＡから高周波成分を分離すると共に、低域フィルタを用いて低周波成分を分離して、得られた高周波成分と低周波成分から高周波対低周波成分比を算出することもできる。図４０は特徴量ＣＷｅの推移を例示したものである。
【０１０８】
推定部９０は、特徴量ＣＷａ，ＣＷｂ，ＣＷｃ，ＣＷｄ，ＣＷｅを用いて、視聴者６０の状態を推定する。図４１は推定動作を示している。動き量を示す特徴量ＣＷａや音量の大きさを示す特徴量ＣＷｃが、第１の基準レベルよりも大きいときには、例えば「手拍子」あるいは「拍手」のいすれかの状態と推定する。また、第１の基準レベルよりも低い第２の基準レベルよりも小さいときには、「その他の動作」の状態と推定する。また、第１の基準レベルと第２の基準レベルの範囲内であるときには「笑い」の状態と判断する。
【０１０９】
例えば図４２Ａに示すように、特徴量ＣＷａが基準レベルＬｖ１２よりも大きい部分では、「手拍子」あるいは「拍手」のいずれかの状態と推定する。また図４２Ｂに示すように、特徴量ＣＷａが基準レベルＬｖ１１よりも小さい部分では、「その他の動作」の状態と推定すると共に、基準レベルＬｖ１１〜Ｌｖ１２の範囲は、「笑い」の状態と推定する。
【０１１０】
また、図４３Ａに示すように、特徴量ＣＷｃが基準レベルＬａ１２よりも大きい部分では、「手拍子」あるいは「拍手」のいずれかの状態と推定する。また図４３Ｂに示すように、特徴量ＣＷｃが基準レベルＬａ１１よりも小さい部分では、「その他の動作」の状態と推定すると共に、基準レベルＬａ１１〜Ｌａ１２の範囲は、「笑い」の状態と推定する。
【０１１１】
次に、平均動き量の低周波成分比を示す特徴量ＣＷｂや音量の低周波成分比を示す特徴量ＣＷｄが基準レベルよりも大きいときには「手拍子」の状態と推定すると共に、基準レベルよりも小さいときには「拍手」の状態と推定する。
【０１１２】
例えば図４４Ａに示すように、特徴量ＣＷｂが基準レベルＬｖ１３よりも大きい部分では「手拍子」、基準レベルＬｖ１３以下の部分では「拍手」の状態と推定する。また図４４Ｂに示すように、特徴量ＣＷｄが基準レベルＬａ１３よりもよりも大きい部分では「手拍子」、基準レベルＬａ１３以下の部分では「拍手」の状態と推定する。
【０１１３】
また高周波対低周波成分比を示す特徴量ＣＷｅを用いる場合には、図４５に示す推定動作を行う。動きの大きさを示す特徴量ＣＷａや音量の大きさを示す特徴量ＣＶｃが、基準レベルよりも大きいときには、例えば「手拍子」あるいは「拍手」または「笑い」のいすれかの状態と推定する。また、基準レベルよりも小さいときには、「その他の動作」の状態と推定する。次に、音声の高周波対低周波成分比を示す特徴量ＣＷｅが基準レベルよりも大きいときには「手拍子」あるいは「拍手」の状態と推定すると共に、基準レベルよりも小さいときには「笑い」の状態と推定する。例えば、図４６に示すように、特徴量ＣＷｅが基準レベルＬａ１４よりも大きいときには「手拍子」あるいは「拍手」の状態と推定すると共に、基準レベルＬａ１４よりも小さいときには「笑い」の状態と推定する。
【０１１４】
動きの低周波成分比を示す特徴量ＣＷｂや音量の低周波成分比を示す特徴量ＣＷｄが基準レベルよりも大きいときには「手拍子」の状態と推定すると共に、基準レベルよりも小さいときには「拍手」の状態と推定する。さらに、音声の周期性を示す特徴量ＣＶｄが基準レベルよりも大きいときには「笑い」の状態と推定すると共に、基準レベルよりも小さいときには「その他の動作」の状態と推定する。
【０１１５】
また、上述したように、動きの低周波成分比を示す特徴量ＣＷｂの推定結果と音量の低周波成分比を示す特徴量ＣＷｄの推定結果の論理演算を行い、演算結果を最終推定結果としても良い。さらに、視聴者６０の状態の推定に用いる特徴量をコンテンツ提供状況に応じて選択して用いるものとしても良いことは勿論である。
【０１１６】
次に、動きや音声の周波数成分に基づいて特徴量を検出する場合の観客状況推定プログラムについて説明する。なお、この場合、図２５のステップＳＴ３に示す特徴量の検出とステップＳＴ４の推定が異なる処理となり、他の処理は同一であることから、特徴量の検出と推定の処理についてのみ説明する。
【０１１７】
図４７のステップＳＴ８１では、画像信号ＳＶに基づき肌色領域を抽出する。ステップＳＴ８２では、ステップＳＴ８１で抽出した肌色領域の動きベクトルをブロック毎に算出する。ステップＳＴ８３では、ステップＳＴ８２で算出したブロック毎の動きベクトルに基づき、各ブロックの動き量をフレーム毎に平均して平均動き量を算出する。ステップＳＴ８４では、平均動き量が、推定する観客状況に応じて設定された所定区間分算出されたか否かを判別して、所定区間分算出されていないときにはステップＳＴ８１に戻る。また所定区間分算出されたときにはステップＳＴ８５に進む。ステップＳＴ８５では、所定区間分の平均動き量を平均して時間マクロ動き量を算出する。また、この時間マクロ動き量を特徴量ＣＷａとする。
【０１１８】
図４８のステップＳＴ９１は、ステップＳＴ８３で算出した平均動き量を取得すると共に、ステップＳＴ９２では、平均動き量が窓幅分算出されたか否かを判別して、窓幅分算出されていないときにはステップＳＴ９１に戻る。また窓幅分算出されたときにはステップＳＴ９３に進む。ステップＳＴ９３では、窓幅分の平均動き量から低周波成分比を算出する。例えば窓幅分の平均動き量のフーリエ変換やフィルタ処理を行い、全パワーに対する低周波成分のパワー比を低周波成分比として算出し、この低周波成分比を特徴量ＣＷｂとする。
【０１１９】
図４９のステップＳＴ１０１では、フレーム期間分の音声信号ＳＡを抽出してステップＳＴ１０２に進む。ステップＳＴ１０２では抽出した音声信号ＳＡの分散を算出してステップＳＴ１０３に進む。ステップＳＴ１０３では、分散が所定期間分算出されたか否かを判別して、所定期間分算出されていないときにはステップＳＴ１０１に戻る。また所定期間分算出されたときにはステップＳＴ１０４に進む。ステップＳＴ１０４では、所定期間分の分散の平均を算出して、算出された時間マクロ音量を特徴量ＣＷｃとする。
【０１２０】
図５０のステップＳＴ１１１は、ステップＳＴ１０２で算出した分散を取得すると共に、ステップＳＴ１１２では、分散が窓幅分算出されたか否かを判別して、窓幅分算出されていないときにはステップＳＴ１１１に戻る。また窓幅分算出されたときにはステップＳＴ１１３に進む。ステップＳＴ１１３では、窓幅分の分散を用いて低周波成分比を算出する。例えば窓幅分の分散のフーリエ変換やフィルタ処理を行い、全パワーに対する低周波成分のパワー比を低周波成分比として算出し、この低周波成分比を特徴量ＣＷｄとする。
【０１２１】
図５１のステップＳＴ１２１は、窓幅分の音声信号ＳＡについてフーリエ変換を行う。ステップＳＴ１２２では、フーリエ変換結果に基づき高周波成分と低周波成分を分離してステップＳＴ１２３に進む。ステップＳＴ１２３では、高周波対低周波成分比を算出して特徴量ＣＷｅとする。
【０１２２】
このように、動き量や動きの低周波成分、音声の音量や低周波成分、音声の高周波対低周波成分比を特徴量として検出する。
【０１２３】
次に、検出した複数の特徴量に基づく、観客状況推定処理を図５２および図５３に示す。なお、図５２は特徴量ＣＷｅを用いない場合、図５３は特徴量ＣＷｅを用いた場合の処理を示している。
【０１２４】
図５２のステップＳＴ１３１では、動き量を示す特徴量ＣＷａが基準レベルＬｖ１１よりも小さいか否かを判別する。ここで、特徴量ＣＷａが基準レベルＬｖ１１よりも小さくないときにはステップＳＴ１３２に進む。また、基準レベルＬｖ１１よりも小さいときにはステップＳＴ１３３に進み、「その他の動作」の状態と推定する。
【０１２５】
ステップＳＴ１３２では、特徴量ＣＷａが基準レベルＬｖ１２よりも大きいか否かを判別する。ここで、特徴量ＣＷａが基準レベルＬｖ１２よりも大きくないときにはステップＳＴ１３４に進む。また、基準レベルＬｖ１２よりも大きいときにはステップＳＴ１３５に進み、「笑い」の状態と推定する。
【０１２６】
ステップＳＴ１３４では、動きの周期性を示す特徴量ＣＷｂが基準レベルＬｖ１３よりも大きいか否かを判別する。ここで、特徴量ＣＷｂが基準レベルＬｖ１３よりも大きいときにはステップＳＴ１３６に進み、「手拍子」の状態と推定する。また、基準レベルＬｖ１３よりも大きくないときにはステップＳＴ１３７に進み、「拍手」の状態と推定する。
【０１２７】
なお、図５２では、動きに基づいて観客状況を推定したが、音声に基づいた特徴量ＣＷｃ，ＣＷｄを用いても同様に処理することで観客状況を推定できる。
【０１２８】
高周波対低周波成分比を用いる場合、図５３のステップＳＴ１４１では、動き量を示す特徴量ＣＷａが基準レベルＬｖ１１よりも小さいか否かを判別する。ここで、特徴量ＣＷａが基準レベルＬｖ１１よりも小さくないときにはステップＳＴ１４２に進む。また、基準レベルＬｖ１１よりも小さいときにはステップＳＴ１４３に進み、「その他の動作」の状態と推定する。
【０１２９】
ステップＳＴ１４２では、高周波対低周波成分比を示す特徴量ＣＷｅが基準レベルＬａ１４よりも大きいか否かを判別する。ここで、特徴量ＣＷｅが基準レベルＬａ１４よりも大きいときにはステップＳＴ１４４に進む。また、基準レベルＬａ１４よりも大きくないときにはステップＳＴ１４５に進み、「笑い」の状態と推定する。
【０１３０】
ステップＳＴ１４４では、動きの周期性を示す特徴量ＣＷｂが基準レベルＬｖ１３よりも大きいか否かを判別する。ここで、特徴量ＣＷｂが基準レベルＬｖ１３よりも大きいときにはステップＳＴ１４６に進み、「手拍子」の状態と推定する。また、基準レベルＬｖ１３よりも大きくないときにはステップＳＴ１４７に進み、「拍手」の状態と推定する。なお、音声に基づいた特徴量ＣＷｃ，ＣＷｄを用いても同様に処理することでも観客状況を推定できる。
【０１３１】
このように、動きや音声の周波数成分に基づいて特徴量を検出して、この特徴量を用いても観客状況の推定を行うことができる。さらに、動きや音声の周波数成分に基づいて特徴量を検出する場合でも、画像信号に基づいた特徴量の推定結果と音声信号に基づいた特徴量の推定結果について論理積あるいは論理和を算出することで、推定結果が異なる場合が生じても１つの推定結果を得ることができる。また、上述の図２３と同様に、視聴者６０の状況の推定に用いる特徴量をコンテンツ提供状況に応じて選択して用いるものとしても良い。さらに、複数の特徴量から統合値を決定して、この統合値と閾値を比較して観客状況を推定しても良い。
【０１３２】
【発明の効果】
この発明によれば、観客を撮影した画像信号および／または観客からの音声に応じた音声信号が生成されて、画像信号に基づき、観客の動き量や動きの周期性が検出される。また音声信号に基づき、観客からの音声の音量や音声の周期性や音声の周波数成分に関する情報が検出されて、観客状況が、検出結果に基づき推定される。このため、例えば人が観客を観察して、どのような状況であるかを判別しなくとも簡単に観客状況を推定できる。
【図面の簡単な説明】
【図１】観客状況推定装置の構成を示す図である。
【図２】入力部を説明するための図である。
【図３】視聴者側の撮影画像示す図である。
【図４】特徴量検出部の構成を示す図である。
【図５】動き量検出部の構成を示す図である。
【図６】特徴量ＣＶａの推移を示す図である。
【図７】動き周期性検出部の構成を示す図である。
【図８】自己相関係数の算出動作を説明するための図である。
【図９】自己相関係数の推移を示す図である。
【図１０】自己相関最大位置の推移を示す図である。
【図１１】特徴量ＣＶｂの推移を示す図である。
【図１２】パワースペクトル検出部の構成を示す図である。
【図１３】音声信号を示す図である。
【図１４】音声信号のフーリエ変換結果を示す図である。
【図１５】特徴量ＣＶｃの推移を示す図である。
【図１６】特徴量ＣＶｄの推移を示す図である。
【図１７】音声周期性検出部の構成を示す図である。
【図１８】自己相関最大位置の推移を示す図である。
【図１９】特徴量ＣＶｅの推移を示す図である。
【図２０】推定動作を示す図である。
【図２１】特徴量に基づいた推定結果（その１）を示す図である。
【図２２】特徴量に基づいた推定結果（その２）を示す図である。
【図２３】観客状況の推定に用いる特徴量とコンテンツ提示状況の関係を示す図である。
【図２４】コンピュータを用いた構成を示す図である。
【図２５】観客状況推定処理の全体を示すフローチャートである。
【図２６】特徴量ＣＶａの検出処理を示すフローチャートである。
【図２７】特徴量ＣＶｂの検出処理を示すフローチャートである。
【図２８】特徴量ＣＶｃの検出処理を示すフローチャートである。
【図２９】特徴量ＣＶｄの検出処理を示すフローチャートである。
【図３０】特徴量ＣＶｅの検出処理を示すフローチャートである。
【図３１】観客状況の推定処理を示すフローチャートである。
【図３２】特徴量検出部の他の構成を示す図である。
【図３３】動き量検出部の構成を示す図である。
【図３４】特徴量ＣＷａの推移を示す図である。
【図３５】平均動き量のフーリエ変換結果を示す図である。
【図３６】特徴量ＣＷｂの推移を示す図である。
【図３７】音量検出部の構成を示す図である。
【図３８】特徴量ＣＷｃの推移を示す図である。
【図３９】特徴量ＣＷｄの推移を示す図である。
【図４０】特徴量ＣＷｅの推移を示す図である。
【図４１】推定処理（特徴量ＣＷｅを用いない場合）示す図である。
【図４２】特徴量に基づいた推定結果（その３）を示す図である。
【図４３】特徴量に基づいた推定結果（その４）を示す図である。
【図４４】特徴量に基づいた推定結果（その５）を示す図である。
【図４５】推定処理（特徴量ＣＷｅを用いる場合）示す図である。
【図４６】特徴量に基づいた推定結果（その６）を示す図である。
【図４７】特徴量ＣＷａの検出処理を示すフローチャートである。
【図４８】特徴量ＣＷｂの検出処理を示すフローチャートである。
【図４９】特徴量ＣＷｃの検出処理を示すフローチャートである。
【図５０】特徴量ＣＷｄの検出処理を示すフローチャートである。
【図５１】特徴量ＣＷｅの検出処理を示すフローチャートである。
【図５２】観客状況の推定処理（特徴量ＣＷｅを用いない場合）を示すフローチャートである。
【図５３】観客状況の推定処理（特徴量ＣＷｅを用いる場合）を示すフローチャートである。
【符号の説明】
１０・・・観客状況推定装置、２０・・・入力部、２１・・・撮像部、２２・・・音声取得部、３０，８０・・・特徴量検出部、３１，８１・・・動き量検出部、３２，８２・・・周期性検出部、３３・・・フィルタ部、３４・・・パワースペクトル検出部、３５，８４・・・音量検出部、３６，８５・・・音声周期性検出部、４０，９０・・・推定部、５０・・・出力部、６０・・・視聴者、６１・・・画像表示装置、６２・・・スピーカ、８６・・・高周波対低周波成分比計算部、３１１・・・肌色領域抽出部、３１２・・・動きベクトル計算部、３１３・・・平均動き量計算部、３２１，３６１・・・自己相関計算部、３２２，３６２・・・最大位置抽出部、３２３，３６３，８４１・・・分散計算部、３４１・・・フーリエ変換部、３４２・・・重心計算部、８１１，８４２・・・時間平均計算部、８５１・・・フーリエ変換部、８５２・・・低周波成分比計算部
【図１】
2004032424.tif 000009
【図２】
2004032424.tif 000010
【図３】
2004032424.tif 000011
【図４】
2004032424.tif 000012
【図５】
2004032424.tif 000013
【図６】
2004032424.tif 000014
【図７】
2004032424.tif 000015
【図８】
2004032424.tif 000016
【図９】
2004032424.tif 000017
【図１０】
2004032424.tif 000018
【図１１】
2004032424.tif 000019
【図１２】
2004032424.tif 000020
【図１３】
2004032424.tif 000021
【図１４】
2004032424.tif 000022
【図１５】
2004032424.tif 000023
【図１６】
2004032424.tif 000024
【図１７】
2004032424.tif 000025
【図１８】
2004032424.tif 000026
【図１９】
2004032424.tif 000027
【図２０】
2004032424.tif 000028
【図２１】
2004032424.tif 000029
【図２２】
2004032424.tif 000030
【図２３】
2004032424.tif 000031
【図２４】
2004032424.tif 000032
【図２５】
2004032424.tif 000033
【図２６】
2004032424.tif 000034
【図２７】
2004032424.tif 000035
【図２８】
2004032424.tif 000036
【図２９】
2004032424.tif 000037
【図３０】
2004032424.tif 000038
【図３１】
2004032424.tif 000039
【図３２】
2004032424.tif 000040
【図３３】
2004032424.tif 000041
【図３４】
2004032424.tif 000042
【図３５】
2004032424.tif 000043
【図３６】
2004032424.tif 000044
【図３７】
2004032424.tif 000045
【図３８】
2004032424.tif 000046
【図３９】
2004032424.tif 000047
【図４０】
2004032424.tif 000048
【図４１】
2004032424.tif 000049
【図４２】
2004032424.tif 000050
【図４３】
2004032424.tif 000051
【図４４】
2004032424.tif 000052
【図４５】
2004032424.tif 000053
【図４６】
2004032424.tif 000054
【図４７】
2004032424.tif 000055
【図４８】
2004032424.tif 000056
【図４９】
2004032424.tif 000057
【図５０】
2004032424.tif 000058
【図５１】
2004032424.tif 000059
【図５２】
2004032424.tif 000060
【図５３】
2004032424.tif 000061
【手続補正書】
【提出日】平成14年7月2日(2002.7.2)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図５１
【補正方法】変更
【補正の内容】
【図５１】
2004032424.tif 000062
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図５３
【補正方法】変更
【補正の内容】
【図５３】
2004032424.tif 000063