(57)【特許請求の範囲】
【請求項１】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得部と、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成部と、を含み、
前記映像特徴量取得部は、前記映像特徴量として、会場の明るさを表す情報を得、
前記環境音合成部は、前記会場の明るさを表す情報に対応する情報に基づき、会場が明るいほど、再生時の音量が大きくなるように、環境音を合成する、
環境音伝送システム。
【請求項２】
請求項１の環境音伝送システムであって、
前記映像特徴量取得部は、会場の観客を撮像した映像の信号の平均エネルギーＥｊ（ｊはフレームのインデックスを表す１以上の整数）を、前記会場の明るさを表す情報として得、
前記平均エネルギーＥｊから
【数１２】
0006443841.tif 000013
で表される列Ｆｊを計算し、前記列Ｆｊを２回、２で割って値Ｇｊを求め、前記値Ｇｊを符号に変換して前記値Ｇｊの各々にシンボルを割り当て、前記値Ｇｊに割り当てられたシンボルをｊ番目のフレームの前記会場の明るさを表す情報に対応する情報として求めるパラメタ変換部をさらに含む、
環境音伝送システム。
【請求項３】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得部と、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成部と、を含み、
Pは2以上の整数とし、p=1,2,…,Pとし、前記映像特徴量取得部は、会場の観客を撮像した映像をP個のブロックpに分割し、ブロックp毎に前記映像特徴量として、会場の明るさを表す情報を得、
ブロックp毎の前記会場の明るさを表す情報と所定の閾値とを比較し、所定の閾値を超えたブロックの個数に基づき、観客の人数を推定する人数推定部と、
一人の人間による拍手及び手拍子の少なくとも何れかの一拍分の環境音のテンプレートである環境音素片テンプレートを記憶するテンプレート記憶部とをさらに含み、
前記環境音合成部は、前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して環境音を合成する、
環境音伝送システム。
【請求項４】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得部と、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成部と、を含み、
Qは2以上の整数とし、q=1,2,…,Qとし、前記映像特徴量取得部は、会場の観客を撮像した映像をQ個のブロックqに分割し、ブロックq毎に前記映像特徴量として、会場の明るさを表す情報を得、
所定の時間区間毎に、ブロックq毎の前記会場の明るさを表す情報から、会場の明るさの時間的変化の周期を得る周期取得部をさらに含み、
前記環境音合成部は、前記周期が予め定めた閾値以下の場合には拍手に対応する環境音を合成し、前記周期が予め定めた閾値よりも大きい場合には、前記周期で拍子をとる手拍子に対応する環境音を合成する、
環境音伝送システム。
【請求項５】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得部と、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成部と、を含み、
前記映像特徴量取得部は、前記映像特徴量として、会場の観客を撮像した映像を圧縮符号化する際に用いる動き補償ベクトルを得、
前記環境音合成部は、前記動き補償ベクトルに対応する情報に基づき、拍手又は手拍子に対応する環境音を合成する、
環境音伝送システム。
【請求項６】
請求項５の環境音伝送システムであって、
前記動き補償ベクトルの方向の相関を取得する相関取得部をさらに含み、
前記環境音合成部は、前記相関が予め定めた閾値以下の場合には拍手に対応する環境音を合成し、前記相関が予め定めた閾値よりも大きい場合には、手拍子に対応する環境音を合成する、
環境音伝送システム。
【請求項７】
請求項５の環境音伝送システムであって、
所定の時間区間毎に、前記動き補償ベクトルの大きさの時間的変化の周期を得る周期取得部をさらに含み、
前記環境音合成部は、前記周期が予め定めた閾値以下の場合には拍手に対応する環境音を合成し、前記周期が予め定めた閾値よりも大きい場合には、前記周期で拍子をとる手拍子に対応する環境音を合成する、
環境音伝送システム。
【請求項８】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得部と、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成部と、を含み、
前記映像特徴量取得部は、前記映像特徴量として、会場の観客を撮像した映像を符号化して得られる符号列から、当該符号列の所定時間毎の符号量を得、
前記環境音合成部は、前記符号量に基づき、環境音を合成する、
環境音伝送システム。
【請求項９】
請求項８の環境音伝送システムであって、
所定の時間区間毎に、前記符号量の時間的変化の周期を得る周期取得部をさらに含み、
前記環境音合成部は、前記周期が予め定めた閾値以下の場合には拍手に対応する環境音を合成し、前記周期が予め定めた閾値よりも大きい場合には、前記周期で拍子をとる手拍子に対応する環境音を合成する、
環境音伝送システム。
【請求項１０】
請求項８の環境音伝送システムであって、
所定の時間区間毎に、前記符号量の平均を得る平均取得部をさらに含み、
前記環境音合成部は、前記平均が予め定めた閾値以下の場合には手拍子に対応する環境音を合成し、前記平均が予め定めた閾値よりも大きい場合には、拍手に対応する環境音を合成する、
環境音伝送システム。
【請求項１１】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得ステップと、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成ステップと、を含み、
前記映像特徴量取得ステップは、前記映像特徴量として、会場の明るさを表す情報を得、
前記環境音合成ステップは、前記会場の明るさを表す情報に対応する情報に基づき、会場が明るいほど、再生時の音量が大きくなるように、環境音を合成する、
環境音伝送方法。
【請求項１２】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得ステップと、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成ステップと、を含み、
Pは2以上の整数とし、p=1,2,…,Pとし、前記映像特徴量取得ステップは、会場の観客を撮像した映像をP個のブロックpに分割し、ブロックp毎に前記映像特徴量として、会場の明るさを表す情報を得、
ブロックp毎の前記会場の明るさを表す情報と所定の閾値とを比較し、所定の閾値を超えたブロックの個数に基づき、観客の人数を推定する人数推定ステップと、
テンプレート記憶部には、一人の人間による拍手及び手拍子の少なくとも何れかの一拍分の環境音のテンプレートである環境音素片テンプレートが記憶されるものとし、
前記環境音合成ステップは、前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して環境音を合成する、
環境音伝送方法。
【請求項１３】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得ステップと、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成ステップと、を含み、
Qは2以上の整数とし、q=1,2,…,Qとし、前記映像特徴量取得ステップは、会場の観客を撮像した映像をQ個のブロックqに分割し、ブロックq毎に前記映像特徴量として、会場の明るさを表す情報を得、
所定の時間区間毎に、ブロックq毎の前記会場の明るさを表す情報から、会場の明るさの時間的変化の周期を得る周期取得ステップをさらに含み、
前記環境音合成ステップは、前記周期が予め定めた閾値以下の場合には拍手に対応する環境音を合成し、前記周期が予め定めた閾値よりも大きい場合には、前記周期で拍子をとる手拍子に対応する環境音を合成する、
環境音伝送方法。
【請求項１４】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得ステップと、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成ステップと、を含み、
前記映像特徴量取得ステップは、前記映像特徴量として、会場の観客を撮像した映像を圧縮符号化する際に用いる動き補償ベクトルを得、
前記環境音合成ステップは、前記動き補償ベクトルに対応する情報に基づき、拍手又は手拍子に対応する環境音を合成する、
環境音伝送方法。
【請求項１５】
会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得ステップと、
前記映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成ステップと、を含み、
前記映像特徴量取得ステップは、前記映像特徴量として、会場の観客を撮像した映像を符号化して得られる符号列から、当該符号列の所定時間毎の符号量を得、
前記環境音合成ステップは、前記符号量に基づき、環境音を合成する、
環境音伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伝送元である会場の環境音を、伝送先で再生する技術に関する。
【背景技術】
【０００２】
伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現する従来技術として特許文献１が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６３１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、伝送元において環境音を収音する必要がある。
【０００５】
本発明は、必ずしも伝送元において環境音を収音しなくとも、伝送先で伝送元の場の雰囲気を再現することができる環境音伝送システム及び環境音伝送方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様によれば、環境音伝送システムは、会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得部と、映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成部と、を含む。
【０００７】
上記の課題を解決するために、本発明の他の態様によれば、環境音伝送方法は、会場の観客を撮像した映像からその映像の特徴量である映像特徴量を得る映像特徴量取得ステップと、映像特徴量に対応する情報に基づき、事前に記憶された、観客の行動に対応する音響信号を選択、及び／又は、加工し、遠隔地側で再生するための環境音を合成する環境音合成ステップと、を含む。
【発明の効果】
【０００８】
本発明によれば、必ずしも伝送元において環境音を収音しなくとも、伝送先で伝送元の場の雰囲気を再現することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の環境音伝送システムの構成例を示すブロック図。
【図２】実施例１の環境音分析装置の構成を示すブロック図。
【図３】実施例１の環境音分析装置の動作を示すフローチャート。
【図４】実施例２の環境音分析装置の構成を示すブロック図。
【図５】実施例２の環境音分析装置の動作を示すフローチャート。
【図６】実施例２のパラメタ変換部のパラメタ生成手順を例示する図。
【図７】実施例２の変形例１の環境音分析装置の構成を示すブロック図。
【図８】実施例２の変形例１の環境音分析装置の動作を示すフローチャート。
【図９】実施例３の環境音合成装置の構成を示すブロック図。
【図１０】実施例３の環境音合成装置の動作を示すフローチャート。
【図１１】実施例４の環境音分析装置の構成を示すブロック図。
【図１２】実施例４の環境音分析装置の動作を示すフローチャート。
【図１３】１フレームの映像信号をP個のブロックpに分割した例を示す図。
【図１４】実施例５及びその変形例の環境音分析装置の構成を示すブロック図。
【図１５】実施例５及びその変形例の環境音分析装置の動作を示すフローチャート。
【図１６】実施例５の音源合成部の環境音素片テンプレート合成手順を例示する図。
【図１７】実施例６の環境音分析装置の構成を示すブロック図。
【図１８】実施例６の環境音分析装置の動作を示すフローチャート。
【図１９】１フレームの映像信号をQ個のブロックqに分割した例を示す図。
【図２０】実施例７の環境音合成装置の構成を示すブロック図。
【図２１】実施例７の環境音合成装置の動作を示すフローチャート。
【図２２】実施例８の環境音分析装置の構成を示すブロック図。
【図２３】実施例８の環境音分析装置の動作を示すフローチャート。
【図２４】実施例９の環境音合成装置の構成を示すブロック図。
【図２５】実施例９の環境音合成装置の動作を示すフローチャート。
【図２６】実施例１０の環境音分析装置の構成を示すブロック図。
【図２７】実施例１０の環境音分析装置の動作を示すフローチャート。
【図２８】実施例１１の環境音合成装置の構成を示すブロック図。
【図２９】実施例１１の環境音合成装置の動作を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１１】
＜本実施形態のポイント＞
本実施形態の環境音分析装置は、伝送元で収録された映像信号に基づき、伝送元の環境、雰囲気、盛り上がりの度合いまたは熱気（以下、「環境等」ともいう）を推定し、推定した環境等に基づき、伝送先で環境音に変換し、再生する。なお、映像信号そのものを送るのではなく、環境等に対応する環境パラメタを伝送することで、伝送効率を高めながら、伝送先で伝送元の環境等を再現することができる。
【００１２】
本実施形態の環境音合成装置は、環境音分析装置から伝送元の環境等に対応する環境パラメタを取得して環境音を合成する。
【００１３】
ペンライト及び発光するウチワなどの発光体の輝度は利用者が多いほど大きくなる。本実施形態では、ペンライト等による観客の動きそのものを伝送するのではなく、映像の特徴量である映像特徴量に対応する情報だけを伝送する。そして、伝送先では予め記憶された環境音のテンプレートを、映像特徴量に対応する情報に応じて変換することにより、伝送元の環境音（に類似した音）を合成し、再生する。
【００１４】
また、拍手や手拍子音の一拍（一度両手を合わせて打つこと）は、音響パワーの個人差が小さい。また、拍手の場合、一拍と一拍の時間間隔（以下、拍手間隔ともいう）は、個人差に応じたゆらぎを持ち、２００ｍｓ〜４００ｍｓ程度（１秒間に２〜５回手をたたく）である。一方、手拍子の場合、拍手間隔は、手拍子の対象に応じて変化し、個人差に応じたゆらぎは少ない。例えば、曲のテンポが１４８ＢＰＭ（Beats Per Minute）の場合、各観客の手拍子は４０５ｍｓ前後となり、個人差は小さい。また、手拍子の場合、手拍子の対象に応じて手を叩き、その時間間隔が揃うため、手拍子の時間間隔の標準偏差は、拍手の時間間隔の標準偏差よりも小さい。したがって、ある人の拍手音（一拍分）を環境音素片テンプレートとして用意しておき、拍手の場合、拍手間隔を２００ｍｓ〜４００ｍｓの範囲にし、ある程度ゆらぎを持たせた間隔で繰り返し再生することにより、別の人の拍手音に類似した音を構成することができる。また、手拍子の場合、拍手間隔を手拍子の対象の変化（例えば曲のテンポ）に合わせて、ほぼ等間隔で、ゆらぎをあまり持たせずに繰り返し再生することにより、別の人の手拍子音に類似した音を構成することができる。
【００１５】
＜環境音伝送システム＞
以下、図１を参照して本実施形態の環境音伝送システムについて説明する。図１は本実施形態の環境音伝送システムの構成例を示すブロック図である。図１に示すように、本実施形態の環境音伝送システムは、伝送元の環境音分析装置と、伝送先の環境音合成装置から構成される。環境音分析装置は、入力された映像信号から映像特徴量に対応する情報（環境パラメタＰｊ、以下単にパラメタともいう）を抽出し、出力する。環境音合成装置は、予め記憶された環境音のテンプレートを用いて、入力された環境パラメタＰｊに合わせてテンプレートを変換することにより環境音を合成し、出力する。
【実施例１】
【００１６】
本実施例では、撮像の対象となる会場として、発光体が発光することで明るくなるような会場（客席の照明を落とした屋内会場や夜間の野外コンサート会場等）を想定する。そのような会場の観客（客席）を撮像した映像を用いて、多くの観客が発光体を提示すると（例えばペンライトを頭上で振ったり、電源をＯＮにすると）、会場が盛り上がっていると推定し、発光体の提示が少ないと（ペンライトを下げてしまったり、電源をＯＦＦにすると）、会場が盛り上がっていないと推定する。また、会場が盛り上がっているほど、拍手、手拍子、声援及び掛け声等の環境音の音量は大きくなると想定する。そこで、本実施例では、伝送元の会場が明るいほど、伝送先で再生する環境音の音量が大きくなるようにする。
【００１７】
以下、図２、図３を参照して本発明の実施例１の環境音分析装置について説明する。図２は本実施例の環境音分析装置１の構成を示すブロック図である。図３は本実施例の環境音分析装置１の動作を示すフローチャートである。図２に示すように、本実施例の環境音分析装置１は、映像変換部１１と、画像変化量計算部１２と、パラメタ変換部１３と、データ送信部１４とを備える。
【００１８】
＜映像変換部１１＞
映像変換部１１は、伝送元の風景を映像信号に変換し、映像信号を収録し、出力する（Ｓ１１）。ここでは、映像変換部１１には伝送元の客席風景が入力されるものとし、映像信号は会場の観客を撮像したものであるとする。例えば、映像変換部１１はビデオカメラ等からなり、映像信号はRGB等の画素値からなる。
【００１９】
＜画像変化量計算部１２＞
画像変化量計算部１２は、映像信号を受け取り、画素値を取得する。画像変化量計算部１２が取得する画素値は、所定のサンプリング周波数でサンプリングされた信号列とする。ここで、Ｘｊを第ｊフレームの映像信号とし、Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（Ｎ））（Ｎはフレームあたりのサンプル数）とする。例えば３０ｆｐｓサンプリングのときに１フレーム５００ｍｓとすると、Ｎ＝１５である。なお、遅延が短い方が良ければフレームの長さを短くし、遅延が長くなっても良ければ、フレームの長さを長くすれば良い。画像変化量計算部１２は、フレーム毎に、入力された画素値の輝度に対応する値（以下、「盛り上がり度合いに対応する値」ともいう）を求めて出力する。具体的には、画像変化量計算部１２は、フレーム毎に、入力された映像信号Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（Ｎ））の平均エネルギー
【００２０】
【数１】
0006443841.tif 000002
【００２１】
を計算する（Ｓ１２）。撮像した客席が明るければこの値は大きくなり、暗ければこの値は小さくなる。よって、この値Ｅｊは、映像信号の特徴量(以下「映像特徴量」ともいう)と言え、会場の明るさを表す情報である。画像変化量計算部１２は映像信号から映像特徴量を得るため、画像変化量計算部のことを映像特徴量取得部ともいう。
【００２２】
＜パラメタ変換部１３＞
パラメタ変換部１３は、画像変化量計算部１２から出力された盛り上がり度合いに対応する値を取得する。パラメタ変換部１３は、取得した盛り上がり度合いに対応する値を量子化し、環境パラメタを出力する。具体的には、パラメタ変換部１３は、平均エネルギーＥｊの取りうる範囲（例えばｘｊ（ｉ）（ｉ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が２＾３０となる）をあらかじめ定められた場合の数（例えば１６ｂｉｔ）に量子化し、そのインデックスを環境パラメタＰｊとして出力する（Ｓ１３）。よって、環境パラメタＰｊは、映像特徴量に対応する情報である。
【００２３】
＜データ送信部１４＞
データ送信部１４は、パラメタ変換部１３が出力した環境パラメタＰｊを伝送先の環境音合成装置３に送信する（Ｓ１４）。環境音合成装置３については実施例３にに記載する。
【００２４】
このように、本実施例の環境音分析装置１によれば、伝送元において推定された環境等を効率よく低遅延に伝送することができる。
【実施例２】
【００２５】
以下、図４、図５、図６を参照して本発明の実施例２の環境音分析装置について説明する。図４は本実施例の環境音分析装置２の構成を示すブロック図である。図５は本実施例の環境音分析装置２の動作を示すフローチャートである。図６は本実施例のパラメタ変換部２３のパラメタ生成手順を例示する図である。図４に示すように、本実施例の環境音分析装置２は、映像変換部１１と、画像変化量計算部１２と、パラメタ変換部２３と、データ送信部１４とを備える。映像変換部１１、画像変化量計算部１２、データ送信部１４は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから説明を適宜略する。
【００２６】
＜画像変化量計算部１２＞
画像変化量計算部１２は、３０ｆｐｓサンプリングでサンプリングされた信号列であり、１フレーム６サンプル（Ｎ＝６）で構成される信号列Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（６））を取得する。画像変化量計算部１２は、フレーム毎に、入力された拍手映像信号Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（６））から、平均エネルギー
【００２７】
【数２】
0006443841.tif 000003
【００２８】
を計算する（Ｓ１２）。
【００２９】
＜パラメタ変換部２３＞
パラメタ変換部２３は、求めた平均エネルギーＥｊを以下の式により変形した列Ｆｊを求める。
【００３０】
【数３】
0006443841.tif 000004
【００３１】
つまり、図６に示すように、ガウス関数や床関数により整数値化されたＦｊの取りうる値（０〜３２７６８）のうち、奇数の値に負の符号を与え、さらに１を減じる。これにより、Ｆｊはすべて偶数の値を取ることになる。次に、全部偶数になったＦｊの各々を２で割る（右に１ビットシフトでも構わない）。この値をＧ．７１１準拠の範囲に収めるために、μ−ｌａｗを使うのであればさらに２で割り（右に１ビットシフトでもよい）値Ｇｊを求める。そして、Ｇｊに対して、ＩＴＵ−Ｔ＿Ｇ．７１１の符号化処理を行い、ＧｊをＧ．７１１の符号（番号）に変換する。３０ｆｐｓサンプリング６サンプル分を一塊（１フレーム）にすると５ｆｐｓの１サンプル分に相当するので、上記のＧｊ毎にＧ．７１１のシンボル１つを割り当てることができる。割り当てられたシンボル列をパラメタＰｊとして出力する（Ｓ２３）。パラメタＰｊは通常の音声と同様に固定電話回線を用いて伝送すると遅延が短くすむ。式（１）のかわりに式（２）のように対数を用いてもよい。
【００３２】
【数４】
0006443841.tif 000005
【００３３】
また、平方根演算や対数演算は多項式近似（テイラー展開など）で演算量を削減してもよい。よって、パラメタＰｊ（割り当てられたシンボル列）は、会場の明るさを表す情報（平均パワーEj）に対応する情報である。
【００３４】
[実施例２の変形例１]
以下、図７、図８を参照して実施例２のパラメタ変換部２３に変更を加えた変形例１の環境音分析装置について説明する。図７は本変形例の環境音分析装置２’の構成を示すブロック図である。図８は本変形例の環境音分析装置２’の動作を示すフローチャートである。図７に示すように、本変形例の環境音分析装置２’は、映像変換部１１と、画像変化量計算部１２と、パラメタ変換部２３’と、データ送信部１４とを備える。映像変換部１１、画像変化量計算部１２、データ送信部１４は実施例２の環境音分析装置２における同一番号の各構成部と同じであるから説明を適宜略する。
【００３５】
＜パラメタ変換部２３’＞
パラメタ変換部２３’は、図６のようなマッピング演算の代わりに、Ｆｊの取りうる０〜３２７６８の値を直接８ｂｉｔのシンボルにマッピングするマッピングテーブル２３Ａを予め備えており、マッピングテーブル２３Ａを参照してパラメタＰｊを求める（Ｓ２３’）。または、パラメタ変換部２３’は、Ｆｊの取りうる０〜３２７６８の値をあらかじめビットシフト等により場合の数を減らしてから、マッピングテーブル２３Ａを用いてパラメタＰｊを求めてもよい。この場合はマッピングテーブル２３Ａの大きさを削減できる。Ｆｊはデシベル単位に変換したものを用いてもよい。
【００３６】
実施例２及び変形例１の環境音分析装置は以下の効果を有する。画素値を用いた場合、収録された映像信号は正の値となるため、Ｅｊの平方根の値の取りうる範囲は正の整数値、例えばｘｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が３２７６８となる。このまま、パラメタ変換部でＩＴＵ−Ｔ＿Ｇ．７１１の符号化を行うと、符号化効率が悪くなるという問題がある。上記式（１）の変形を行うと、例えばｘｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は、Ｆｊの取りうる範囲は−１６３８４から１６３８４になる。そこで、パラメタ変換部においてＥｊの取りうる範囲が負の整数値から正の整数値の範囲となるように変換した値Ｆｊを用いることにより、符号化効率を向上させることができ、パラメタＰｊの情報量を削減することができる。つまり、伝送遅延をより少なくすることが可能となる。
【実施例３】
【００３７】
以下、図９、図１０を参照して本発明の実施例３の環境音合成装置について説明する。図９は本実施例の環境音合成装置３の構成を示すブロック図である。図１０は本実施例の環境音合成装置３の動作を示すフローチャートである。図９に示すように、本実施例の環境音合成装置３は、データ受信部３１と、音源合成部３２と、テンプレート記憶部３３と、再生部３４とを備える。環境音合成装置３は環境音分析装置１（２、２’）から伝送元の会場の明るさを表す情報に対応する環境パラメタを取得して環境音を合成する装置である。以下、実施例１、２で詳述した動作例に従い、環境音の例として拍手音を用いて説明を進める。
【００３８】
＜データ受信部３１＞
データ受信部３１は、環境音分析装置から環境パラメタＰｊを受信する（Ｓ３１）。
【００３９】
＜テンプレート記憶部３３＞
テンプレート記憶部３３には、拍手音の各音量バリエーションに対して複数の拍手音（１フレーム分）のテンプレートが記憶されている。つまり、テンプレート記憶部３３には、ｉをフレームのインデックスとした場合に、１フレーム分の拍手音を含む環境音のテンプレートＴｉと当該テンプレートの環境音の音量に対応する情報Ｅ’ｉとが対応付けて記憶されているものとする。なお、テンプレートの環境音の音量に対応する値は、各テンプレートＴｉを入力として、上記実施例１または２の画像変化量計算部１２及びパラメタ変換部１３（２３）と同じ方法により求めることができる。なお、実施例１または２のどの方法を用いるかは、環境音分析装置と環境音合成装置との間で統一しておくものとする。
【００４０】
＜音源合成部３２＞
音源合成部３２は、入力された環境パラメタＰｊと同じ音量大きさのテンプレートのうちいずれか１つをテンプレート記憶部３３からランダムに選択する。つまり、Ｐｊ＝Ｅ’ｉを満たすＥ’ｉに対応づけられているテンプレートＴｉのうち、いずれか１つをランダムに選択する。音源合成部３２は、選択したテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ３２）。例えば、２０ｍｓのフレームあたり環境パラメタに８ｂｉｔのバリエーションがあったとすると、４００ｂｉｔ／ｓｅｃで拍手音を伝送できる。
【００４１】
言い換えると、音源合成部３２は、会場の明るさを表す情報（映像特徴量）に対応する情報である環境パラメタＰｊに基づき、テンプレート記憶部３３に事前に記憶された、観客の行動（本実施例では「拍手」）に対応する音響信号を選択し、観客の行動に対応する環境音を合成する。なお、音源合成部を環境音合成部ともいう。本実施例では、環境パラメタＰｊに基づき、会場が明るいほど、再生時の音量が大きくなるように、環境音を合成する。
【００４２】
＜再生部３４＞
再生部３４は、音源合成部３２が合成した拍手音を再生する（Ｓ３４）。例えば、再生部３４としてスピーカを用いる。
【００４３】
このように、本実施例の環境音合成装置３によれば、テンプレート記憶部３３に拍手音の各音量バリエーションに対して複数のテンプレートを保持しておき、音源合成部３２が音量の条件を充たす複数のテンプレートから１つのテンプレートをランダムに選択するため、合成された拍手音が定常的なパターンとして聞こえないようにすることができる。
【００４４】
[実施例３の動作例２]
実施例３では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置３の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声や、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音とし、伝送元の環境パラメタが入力され、伝送先で環境音を合成してもよい。
【００４５】
実施例３の動作例２では、実施例３の環境音合成装置３のデータ受信部３１と、音源合成部３２と、テンプレート記憶部３３と、再生部３４において、拍手音が環境音に置き換わる点を除いては、上述の動作例と同じである。
【００４６】
＜実施例１〜３の変形例＞
実施例１〜３では、パラメタＰｊを送信しているが、他の情報を伝送する構成としてもよい。これらの実施例のポイントは、会場の観客を撮像した映像から、遠隔地側で再生するための環境音を合成する点である。例えば、環境音分析装置は、映像変換部及びデータ送信部のみを含み、映像信号を環境音合成装置に送信する。その場合、環境音合成装置はデータ受信部、画像変化量計算部、パラメタ変換部、音源合成部、テンプレート記憶部及び再生部とを含み、映像信号から環境音を合成し、再生する。また、例えば、環境音分析装置は、映像変換部、画像変化量計算部、パラメタ変換部、音源合成部、テンプレート記憶部及びデータ送信部を含み、合成した環境音を環境音合成装置に送信する。環境音合成装置はデータ受信部及び再生部のみを含み、環境音を再生する。つまり、どの時点のデータを伝送するかは、適宜設定すればよく、伝送するデータに応じて、画像変化量計算部、パラメタ変換部、音源合成部及びテンプレート記憶部を、伝送元（環境音分析装置）及び伝送先（環境音合成装置）の何れに設ければよい。ただし、伝送量を減らすという観点からみれば、実施例１〜３のようにパラメタＰｊを伝送するのがよい。
【実施例４】
【００４７】
本実施形態では、発光体の数に合わせて環境音を合成する。実施例１〜３では、映像信号全体の明るさを表す情報から提示されている発光体の数を推定していたが、本実施形態では、映像信号を複数のブロックに分割し、ブロック毎に明るさを表す情報を求め、発光体の数を推定する。そして、本実施形態では、会場が盛り上がっているほど、発光体を提示する人の数が増え、映像中の発光体の個数が増えると推定し、会場が盛り上がっているほど、拍手や手拍子、掛け声等の環境音の発生回数が多くなると想定する。
【００４８】
以下、図１１、図１２を参照して本発明の実施例４の環境音分析装置について説明する。図１１は本実施例の環境音分析装置４の構成を示すブロック図である。図１２は本実施例の環境音分析装置４の動作を示すフローチャートである。
【００４９】
図１１に示すように、本実施例の環境音分析装置４は、映像変換部１１と、画像変化量計算部４２と、人数推定部４３と、データ送信部１４とを備える。映像変換部１１とデータ送信部１４は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから説明を省略する。
【００５０】
＜画像変化量計算部４２＞
画像変化量計算部４２は、会場の観客を撮像した映像信号を受け取り、１フレームの映像信号をP個のブロックpに分割し、ブロックp毎に映像特徴量として、会場の明るさを表す情報を得、出力する。ただし、Pは2以上の整数とし、p=1,2,…,Pとする。例えば、図１３は、1フレームの映像信号を16個のブロックに分割した例を示す。具体的には、画像変化量計算部４２は、フレームｊ毎、ブロックｐ毎に、入力された映像信号Ｘｊ,p＝（ｘｊ,p（１），ｘｊ,p（２），…，ｘｊ,p（Ｎ））の平均エネルギー
【００５１】
【数５】
0006443841.tif 000006
【００５２】
を計算する（Ｓ４２）。ブロックｐが明るければこの値は大きくなり、暗ければこの値は小さくなる。よって、この値Ej,pは、映像特徴量と言え、ブロックp毎の会場の明るさを表す情報である。
【００５３】
＜人数推定部４３＞
人数推定部４３は、ブロックp毎の平均エネルギーEj,pを受け取り、平均エネルギーEj,pと所定の閾値とを比較し、所定の閾値を超えた個数に基づき、観客の人数Mを推定し（Ｓ４３）、その人数MをパラメタＰｊとして出力する。例えば、一つのブロックにy人の観客が映るように映像信号を分割した場合には、同様に映像を分割した場合にあるブロックにおいてy個の発光体が発光したときに得られる平均エネルギーの代表値(平均値、最頻値、最小値及び最大値等の平均エネルギーを代表する何らかの値)を予め求めておき、その代表値に対応する値を閾値として設定し、(閾値を超えた個数×y)を観客の人数Mとして推定する。
【実施例５】
【００５４】
以下、図１４、図１５を参照して本発明の実施例５の環境音合成装置について説明する。図１４は本実施例の環境音合成装置５の構成を示すブロック図である。図１５は本実施例の環境音合成装置５の動作を示すフローチャートである。図１６は本実施例の音源合成部５２の環境音素片テンプレート合成手順を例示する図である。図１４に示すように、本実施例の環境音合成装置５は、データ受信部３１と、音源合成部５２と、テンプレート記憶部５３と、再生部３４とを備える。データ受信部３１、再生部３４は実施例３の環境音合成装置３における同一番号の各構成部と同じであるから説明を省略する。
【００５５】
＜テンプレート記憶部５３＞
テンプレート記憶部５３には、一人の人間による一拍分の拍手及び手拍子の少なくとも何れかのテンプレートの複数のバリエーションが記憶されている。例えば、拍手の場合、テンプレートの長さは２００ｍｓ〜４００ｍｓ程度とし、手拍子の場合、手拍子の対象に応じて変化し、例えば、曲のテンポが１４８ＢＰＭの場合、手拍子のテンプレートの長さは４０５ｍｓ前後とする。本実施例では環境音の例として拍手音及び手拍子音の少なくとも何れかを扱うため、拍手音及び手拍子音の少なくとも何れかのテンプレートを環境音素片テンプレートのバリエーションのひとつとする。従って、以下では拍手音又は手拍子音の少なくとも何れかのテンプレートを環境音素片テンプレートともいう。例えば、異なる人の一拍分の拍手音をそれぞれ異なる環境音素片テンプレートとして記憶しておく。以下、単にテンプレートという場合には、所定フレーム長の複数人による拍手音（環境音）全体を収録したテンプレートを指すものとし、環境音素片テンプレートという場合には、一人の人間による一拍分の拍手音及び手拍子音の何れか（環境音）のテンプレートを指すものとする。なお、テンプレート記憶部５３に記憶しておく環境音素片テンプレートの波形のエネルギーをあらかじめ正規化しておく。
【００５６】
＜音源合成部５２＞
音源合成部５２は、テンプレート記憶部５３から環境音素片テンプレートをランダムに選択して合成する（Ｓ５２）。環境パラメタにより一人分の拍手を合成する場合（人数推定部４３においてＭ＝１となった場合）は、図１６Ａのように、約３００ｍｓごとにランダムに選択された環境音素片テンプレートＴｉを用いて合成した波形を拍手音として出力する。前述のように合成の時間間隔は約３００ｍｓでよいが、より好ましくは３００ｍｓを中心として時間間隔に揺らぎを持たせてもよい。時間間隔に揺らぎを持たせることによってさらに自然な拍手音を合成することができる。たとえば３００ｍｓを中心としてガウス分布にしたがう乱数により、±数１０ｍｓの揺らぎを持たせればよい。例えば音源合成部５２は
【００５７】
【数６】
0006443841.tif 000007
【００５８】
によりテンプレートを変換した拍手音Ｙｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ５２）。別の表現方法で書くと、時系列テンプレート信号Ｔｉ＝（ｔｉ［１］  ｔｉ［２］  …  ｔｉ［Ｐ］）と拍手タイミングを表すインパルスδ（ｉ・τ＋σｉ）の畳み込み演算でＹｉを出力とする。
【００５９】
【数７】
0006443841.tif 000008
【００６０】
ここで＊は畳み込み演算を表す。ここで、τ＝３００ｍｓであり、σｉは−１０ｍｓ≦σｉ≦＋１０ｍｓの範囲で生成した乱数である。環境パラメタにより一人分の手拍子を合成する場合、時間間隔の揺らぎは、拍手の場合よりも手拍子の場合のほうが小さく設定したほうがよく、例えば、手拍子の場合のσｉの範囲が拍手の場合のσｉの範囲よりも小さくなるように設定する。
【００６１】
環境パラメタによりＭ人分の拍手を合成する場合は、図１６Ｂのように、時間間隔を約３００／Ｍ（ｍｓ）ごとにランダムに選択された環境音素片テンプレートを用いて合成された波形を拍手音として出力する。人数Ｍの逆数を使って、時間間隔を約３００／Ｍ（ｍｓ）と設定することで、拍手の人数Ｍが増えるに従って時間間隔が小さくなるように設定することができる。この場合もガウス分布やラプラス分布に従う乱数によって、揺らぎを持たせることができる。例えば音源合成部５２は、
【００６２】
【数８】
0006443841.tif 000009
【００６３】
によりテンプレートを変換した環境音Ｙｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ５２）。環境パラメタによりＭ人分の手拍子を合成する場合、Ｍ人の拍手のタイミングはほぼ同じなので、例えば、
【００６４】
【数９】
0006443841.tif 000010
【００６５】
によりテンプレートを変換した環境音Ｙｉ（ｉ＝０，１，２，・・・）を出力する。なお、この場合も時間間隔の揺らぎは、拍手の場合よりも手拍子の場合のほうが小さく設定したほうがよい。
【００６６】
このように、実施例４の環境音分析装置４、実施例５の環境音合成装置５によれば、実施例３のように音量ごとにテンプレートを用意しておく必要がなく、テンプレート記憶部５３に記憶しておく環境音素片テンプレートの数も少なくてよいため、環境音合成装置５のメモリ量を削減することができる。なお、＜実施例１〜３の変形例＞の場合と同様に、どの時点のデータを伝送するかは、適宜設定すればよく、伝送するデータに応じて、画像変化量計算部、人数類推部、音源合成部及びテンプレート記憶部を、伝送元（環境音分析装置）及び伝送先（環境音合成装置）の何れに設ければよい。ただし、伝送量を減らすという観点からみれば、本実施形態のように人数ＭからなるパラメタＰｊを伝送するのがよい。
【００６７】
[実施例５の動作例２]
実施例５は、環境音の例として拍手音及び手拍子音の少なくとも何れかを対象とし、ブロック毎の会場の明るさを表す情報を取得して、伝送先で拍手音及び手拍子音の少なくとも何れかを生成する環境音合成装置５を説明したが、これに限らず拍手音及び手拍子音以外の環境音を対象としても良い。上述では、一人の人間による一拍分の拍手音（３００ｍｓ程度）及び手拍子音の少なくとも何れかのテンプレートを環境音素片テンプレートの例として示したが、これに限らず、たとえば、一人の人間による一拍分の声援、掛け声のテンプレートを環境音素片テンプレートとしてもよい。
【００６８】
実施例５の動作例２では、実施例５の環境音合成装置５のデータ受信部３１と、音源合成部５２と、テンプレート記憶部５３と、再生部３４において取り扱われるデータが拍手音又は手拍子音から他の環境音（例えば、声援、掛け声）に置き換わる点を除いては、上述の動作例と同じである。
【００６９】
なお、音源合成部５２において、式（３）の代わりに、時系列テンプレート信号Ｔｉ＝（ｔｉ［１］  ｔｉ［２］  …  ｔｉ［Ｐ］）と環境音タイミングを表すインパルスδ（ｍ・τ＋σｍ）の畳み込み演算でＹｉを出力としても良い。
【００７０】
【数１０】
0006443841.tif 000011
【００７１】
ここで＊は畳み込み演算を表す。
【実施例６】
【００７２】
本実施例では、発光体の時間変化に合わせて環境音を合成する。発光体の時間変化に周期がなく、または、周期が短い場合には、拍手が起こっていると判断し、所定の閾値以上の周期で変動する場合には、手拍子が起こっていると判断する。このようにして発光体の時間変化に合わせて環境音を合成する。
【００７３】
以下、図１７、図１８を参照して本発明の実施例６及びその変形例の環境音分析装置について説明する。図１７は本実施例及びその変形例の環境音分析装置６の構成を示すブロック図である。図１８は本実施例及びその変形例の環境音分析装置６の動作を示すフローチャートである。図１７に示すように、本実施例の環境音分析装置６は、映像変換部１１と、画像変化量計算部６２と、人数推定部４３と、周期取得部６３と、データ送信部６４とを備える。映像変換部１１、人数推定部４３は実施例１、実施例４の環境音分析装置１、４における同一番号の各構成部と同じであるから適宜説明を略する。
【００７４】
＜画像変化量計算部６２＞
画像変化量計算部６２は、会場の観客を撮像した映像信号を受け取り、実施例４の画像変化量計算部４２と同様の処理により、ブロックp毎に映像特徴量として、会場の明るさを表す情報を得、人数推定部４３に出力する。また、画像変化量計算部６２は、１フレームの映像信号をQ個のブロックqに分割し、ブロックq毎に映像特徴量として、会場の明るさを表す情報を得、周期取得部６３に出力する。ただし、Qは2以上の整数とし、q=1,2,…,Qとする。例えば、図１９は、1フレームの映像信号を128個のブロックに分割した例を示す。具体的には、画像変化量計算部４２は、フレームｊ毎、ブロックq毎に、入力された映像信号Ｘｊ,q＝（ｘｊ,q（１），ｘｊ,q（２），…，ｘｊ,q（Ｎ））の平均エネルギー
【００７５】
【数１１】
0006443841.tif 000012
【００７６】
を計算する（Ｓ６２）。ブロックqが明るければこの値は大きくなり、暗ければこの値は小さくなる。よって、この値Ej,qは、映像特徴量と言え、ブロックq毎の会場の明るさを表す情報である。
【００７７】
ブロックの大きさは、観客が発光体を振ったときに、発光体がブロック内からブロック外に出たり、ブロック外からブロック内に入ったりする大きさとする。例えば、あるブロックに対して、発光体を右に振ったときには発光体の位置がブロック外となり、発光体を左に振ったときにはブロック内になるようにブロックの大きさを設定する。例えば、ブロックは、対象（観客）に対して、(1)肩幅の半分以下、(2)発光体を振るときの振れ幅の半分以下、(3)人一人の幅の半分以下等とすればよく、例えば、20〜30cm四方以下とする。映像変換部１１（例えばビデオカメラ）から対象までの距離と（例えばビデオカメラの）ズーム率から自動的に上述の大きさとなるようにブロックの大きさを決定してもよい。
【００７８】
＜周期取得部６３＞
周期取得部６３は、ブロックq毎の平均エネルギーEj,qを受け取り、所定の時間区間毎に、平均エネルギーEj,qから、ブロックq毎の会場の明るさの時間的変化の周期τqを得る。例えば、１秒から数秒程度（例えば９０フレーム：３秒）の窓幅で分析を行う。分析したフレームが一定の周期性がある場合には、周期取得部６３は、自己相関関数のピーク間隔を周期τqとする。さらに、周期取得部６３は、ブロックq毎の周期τqから分割前の映像信号全体の周期τを得、パラメタＰｊとして出力する（Ｓ６３）。例えば、Q個の周期τqの代表値(平均値、最頻値、最小値及び最大値等のQ個の周期τqを代表する何らかの値)を映像信号全体の周期τとして取得する。なお、Q個のブロックの中には、全く発光体が出入りしないブロックが存在しうる。そのようなブロックの周期τqに基づき代表値を求めると、発光体の動きに基づく映像信号全体の周期τを得ることができない。そのため、例えば、１秒から数秒程度（例えば９０フレーム：３秒）、平均エネルギーEj,qが所定の閾値(発光体がない状態の平均エネルギーに対応する値)より小さい場合には、そのブロックには発光体が出入りしていないと判断し、対応する周期τqを代表値を算出する際の値から除く。よって、1以上Q個以下のブロックq毎の周期τqから映像信号全体の周期τを得てもよい。
【００７９】
＜データ送信部６４＞
データ送信部１４は、人数推定部４３が出力した環境パラメタＰｊ（人数M）と周期取得部６３が出力した環境パラメタＰｊ（周期τ）とを併せて、伝送先の環境音合成装置７に送信する（Ｓ６４）。
【実施例７】
【００８０】
以下、図２０、図２１を参照して本発明の実施例７の環境音合成装置について説明する。実施例７の環境音合成装置７は、実施例６の環境音分析装置６に対応する装置である。図２０は本実施例の環境音合成装置７の構成を示すブロック図である。図２１は本実施例の環境音合成装置７の動作を示すフローチャートである。図２０に示すように、本実施例の環境音合成装置７は、データ受信部３１と、音源合成部７２と、テンプレート記憶部５３と、再生部３４とを備える。音源合成部７２以外の各構成部は実施例５の環境音合成装置５における同一番号の各構成部と同じであるから説明を省略する。
【００８１】
＜音源合成部７２＞
音源合成部７２は、環境パラメタＰｊ（人数Mと周期τ）を受け取り、周期τが予め定めた閾値以下の場合には拍手に対応する環境音を合成し、周期τが予め定めた閾値よりも大きい場合には、周期で拍子をとる手拍子に対応する環境音を合成し（Ｓ７２）、出力する。例えば、周期τが予め定めた閾値以下の場合（Ｓ７）、当該フレームの映像信号が拍手に対応する映像信号であると判定して、実施例５の環境音合成装置５の音源合成部５２と同じ処理を行い、拍手音を出力する（Ｓ７２Ａ）。一方、音源合成部７２は、周期τが予め定めた閾値よりも大きい場合（Ｓ７）、当該フレームの映像信号が手拍子に対応する映像信号であると判定して、その周期（たとえば５００ｍｓ）が中心となるような実施例５の時よりも分散の小さいガウス分布やラプラス分布に従う揺らぎを持たせた波形を合成し、拍手音（実際は手拍子音）として出力する（Ｓ７２Ｂ）。音源合成部７２は、例えば上記式（３）または（４）において、τの値を周期情報（例えばτ＝５００ｍｓ）としてテンプレートを変換した拍手音Ｙｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ７２Ｂ）。この例では、手拍子音におけるτ＝５００（ｍｓ）として前述の拍手音の合成の際に設定されたτ＝３００（ｍｓ）より長い時間間隔に設定しているため、拍手音と判定された場合と比較して手拍子音と判定された場合の時間間隔が長くなるように環境音素片テンプレートが配置され合成される。
【００８２】
このように、実施例６の環境音分析装置６と本実施例の環境音合成装置７により構成される環境音伝送システムによれば、周期取得部６３がフレームを分析して周期を取得し、音源合成部７２において、周期の大小を考慮して拍手、手拍子の何れかの合成音を生成するため、伝送元において収録された映像信号に対応する拍手や手拍子音を効率よく伝送する効果に加えて、拍手、手拍子の双方をより正確に合成することができる。
【００８３】
＜実施例６及び７の変形例＞
なお、本実施例では、発光体の時間変化に合わせて環境音を合成する点がポイントである。そのため、必ずしも実施例５の環境音合成装置５の音源合成部５２と同じ処理を行い、拍手音を出力する必要はない。例えば、本実施例の環境音分析装置６は、人数推定部４３を備えずに、環境パラメタとして人数Ｍを出力しなくともよい。環境音合成装置７の音源合成部７２は、Ｍに依らずに、手拍子の周期よりも短い間隔で拍手に対応する環境音を合成すればよい。
【００８４】
また、＜実施例１〜３の変形例＞の場合と同様に、どの時点のデータを伝送するかは、適宜設定すればよく、伝送するデータに応じて、画像変化量計算部、人数類推部、周期取得部、音源合成部及びテンプレート記憶部を、伝送元（環境音分析装置）及び伝送先（環境音合成装置）の何れに設ければよい。ただし、伝送量を減らすという観点からみれば、本実施形態のように人数Ｍ及び周期τからなるパラメタＰｊを伝送するのがよい。
【実施例８】
【００８５】
本実施例では、映像特徴量として、会場の明るさを表す情報の代わりに、動画圧縮用の特徴量である動き補償ベクトル（参考文献１参照）を利用する。
(参考文献１)村上篤道、浅井光太郎、関口俊一、「高効率映像符号化技術 HEVC/H.265とその応用」、オーム社、２０１３年、p.20-28,125-132
【００８６】
一般的な映像信号では、前のフレームと現在のフレームとは全く同じわけではなく、フレーム中の物体が動いたり、ビデオカメラがパンをしたりすることにより、フレーム間で動きがある。動き補償とは、フレーム間予測においてこれらの動きを補うものである。具体的には、現在のフレームを予測する場合に、動きの分だけずらした位置の画像を用いるものである。動き補償を行うためには、画像の動き量を推定する動き補償ベクトル探索が必要になる。動画圧縮符号化する場合には、この動き補償ベクトルも同時に符号化する必要がある。本実施形態では、動き補償ベクトルを利用することで、拍手及び手拍子識別のための追加的計算量を抑える。また、動き補償ベクトルから、集団のまとまった動き（マクロな動作）を推定することができる。
【００８７】
なお、実施例８及び実施例９では、会場の明るさを表す情報に変えて動き補償ベクトルを利用しているため、対象は発光体に限らず、会場は発光体が発光することで明るくなるような会場に限らない。例えば、観客が拍手、手拍子、手を振る映像信号から動き補償ベクトルを取得してもよいし、そのような動きが確認できる昼間の野外コンサート会場であってもよい。
【００８８】
以下、図２２、図２３を参照して本発明の実施例８の環境音分析装置について説明する。図２２は本実施例の環境音分析装置８の構成を示すブロック図である。図２３は本実施例の環境音分析装置８の動作を示すフローチャートである。
【００８９】
図２２に示すように、本実施例の環境音分析装置８は、映像変換部１１と、符号化部８２とデータ送信部１４とを備える。映像変換部１１、データ送信部１４は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから適宜説明を略する。
【００９０】
＜符号化部８２＞
符号化部８２は、映像信号を受け取り、圧縮符号化し、圧縮符号化する際に用いる動き補償ベクトルを得、動き補償ベクトルを環境パラメタＰｊとして出力する（Ｓ８２）。なお、圧縮符号化する場合、１フレームの映像信号を複数のブロックに区切って、ブロック毎に動き保障ベクトルを得る。このとき、動体の輪郭部分では動きを細かくみるために、ブロックの大きさを小さくして詳細な情報を取得し、動体以外の背景等ではブロックの大きさを大きくして大まかな情報を取得することで圧縮効率を高める。ブロックの大きさは圧縮符号化の中で自動的に決定される。
【実施例９】
【００９１】
以下、図２４、図２５を参照して本発明の実施例９の環境音合成装置について説明する。実施例９の環境音合成装置９は、実施例８の環境音分析装置８に対応する装置である。図２４は本実施例の環境音合成装置９の構成を示すブロック図である。図２５は本実施例の環境音合成装置９の動作を示すフローチャートである。図２４に示すように、本実施例の環境音合成装置９は、データ受信部３１と、音源合成部９２と、テンプレート記憶部３３と、再生部３４とを備える。さらに、環境音合成装置１１Ａは、その合成方法に応じて相関取得部９５または周期取得部９６を備える。
【００９２】
音源合成部９２、相関取得部９５、周期取得部９６以外の各構成部は実施例３の環境音合成装置７における同一番号の各構成部と同じであるから説明を省略する。
【００９３】
＜相関取得部９５＞
相関取得部９５は、環境パラメタＰｊ（動き補償ベクトル）を受け取り、動き補償ベクトルの方向の相関を取得し（ｓ９５）、出力する。動き補償ベクトルの方向が、映像内でほぼ同じ向きのときは、観客が発光体を曲の拍子に合わせて振っていると考えられるため、手拍子に対応する環境音を合成する。その際、相関は大きくなる。一方、動き補償ベクトルの方向が、映像内で方向、長さがバラバラのときは、発光体を曲の拍子とは関係なく、各観客は異なるタイミングで発光体を振っていると考えられるため、拍手に対応する環境音を合成する。その際、相関は小さくなる。以下、相関の取得方法について説明する。
【００９４】
（相関の取得方法１）
動き補償ベクトルあるいは動き補償ベクトルをいくつかのブロックにわたって平均化したもの（以下まとめて動き補償ベクトルとする）の（2次元の）和をとりその絶対値（あるいは長さ）を利用する。絶対値が大きい場合は動画中の物体の動きの量が多くかつ向きがそろっていると推定でき、相関が大きいと判断できる。逆に，小さい場合は物体の動きが小さいかまたは向きがそろっていないと推定でき、相関が小さいと判断できる。
【００９５】
（相関の取得方法２）
（相関の取得方法１）における和の計算の際に，動き補償ベクトルの長さを正規化する。これによって動きが小さい場合でも識別が可能になる。
【００９６】
（相関の取得方法３）
任意の２つの動き補償ベクトルあるいは動き補償ベクトルをいくつかのブロックにわたって平均化したもの（以下まとめて動き補償ベクトルとする）の内積を任意のペアの数だけ計算し、その和を利用する。和が大きい場合は動画中の物体の動きの量が多くかつ向きがそろっていると推定でき、相関が大きいと判断できる。逆に，小さい場合または負の場合は物体の動きが小さいかまたは向きがそろっていないと推定でき、相関が小さいと判断できる。
【００９７】
（相関の取得方法４）
（相関の取得方法３）における内積の計算の際に，動き補償ベクトルの長さを正規化する。これによって動きが小さい場合でも識別が可能になる。
【００９８】
＜周期取得部９６＞
周期取得部９６は、環境パラメタＰｊ（動き補償ベクトル）を受け取り、所定の時間区間毎に、動き補償ベクトルの大きさの時間的変化の周期を取得し（Ｓ９６）、出力する。例えば、全ての動き補償ベクトルの大きさを加算し、その総和について、１秒から数秒程度（例えば９０フレーム：３秒）の窓幅で分析を行う。総和はある程度大きな周期をもつ場合は、観客が発光体を曲の拍子に合わせて振っている（発光体の移動のタイミングと停止のタイミングが一致する）と考えられるため、手拍子に対応する環境音を合成する。ｍた、総和は周期を持たないか、または、小さな周期となる場合には、各観客が任意のタイミングで発光体を曲の拍子に合わせずに振っていると考えられるため、拍手に対応する環境音を合成する。なお、必ずしも全ての動き補償ベクトルの大きさを加算する必要はなく、所定の個数以上の発光体の動きが分かればよいため、対応する範囲の動き補償ベクトルの大きさを加算したものを用いればよい。
【００９９】
＜音源合成部９２＞
音源合成部９２は、環境パラメタＰｊ（動き補償ベクトル）に対応する情報（動き補償ベクトルの方向の相関、または、動き補償ベクトルの大きさの時間的変化の周期）を受け取り、この情報に基づき、拍手又は手拍子に対応する環境音を合成し（Ｓ９２）、出力する。例えば、音源合成部９２は、動き補償ベクトルの方向の相関、または、動き補償ベクトルの大きさの時間的変化の周期が予め定めた閾値Ｔ1以下の場合には拍手に対応する環境音を合成し、動き補償ベクトルの方向の相関、または、動き補償ベクトルの大きさの時間的変化の周期が予め定めた閾値Ｔ1よりも大きい場合には、手拍子に対応する環境音を合成する。なお、拍手及び手拍子に対応する環境音の合成方法は、＜実施例６及び７の変形例＞の部分で説明した方法により、人数Ｍを用いずに、音源合成部７２と同様の方法で行えばよい。
【０１００】
例えば、閾値Ｔ1は以下のようにして設定する。まず、拍手している観客が映っている映像信号から動き補償ベクトルを求め、動き補償ベクトルの方向の相関、及び、動き補償ベクトルの大きさの時間的変化の周期を求める。同様に、手拍子している観客が映っている映像信号から相関及び周期を求める。拍手している観客が映っている映像信号から求めた相関及び周期と、手拍子している観客が映っている映像信号から求めた相関及び周期とから、それぞれこれらの値を区分できる値（境界となる値、例えば平均値）を求め、閾値Ｔ1として設定する。
【０１０１】
なお、全ての動き補償ベクトルの大きさを加算したもの（前述の総和）が、閾値Ｔ2より小さい場合には、動いておらず、観客は拍手及び手拍子をしていないと考えられるため、拍手及び手拍子をしていない状況に対応する環境音を合成する構成としてもよい。この場合、周期取得部９６から周期を求める過程で利用した全ての動き補償ベクトルの大きさを加算したもの（総和）を受け取る構成としてもよいし、音源合成部９２が動き補償ベクトルを受け取り総和を求める構成としてもよい。
【０１０２】
「動き補償ベクトルの方向の相関」を見るということは空間方向の違いを見ること意味し、「動き補償ベクトルの大きさの時間的変化」を見るということは時間方向の動きの見ることを意味する。
【０１０３】
なお、＜実施例１〜３の変形例＞の場合と同様に、どの時点のデータを伝送するかは、適宜設定すればよく、伝送するデータに応じて、画像変化量計算部、相関取得部、周期取得部、音源合成部及びテンプレート記憶部を、伝送元（環境音分析装置）及び伝送先（環境音合成装置）の何れに設ければよい。ただし、伝送量を減らすという観点からみれば、本実施形態のように動き補償ベクトルからなるパラメタＰｊを伝送するのがよい。ただし、従来の動画配信サービス等では、動画の符号を送る際に、動き補償ベクトルを一緒に伝送する。そこで、画像変化量計算部を伝送先（環境音合成装置）に設ければ、従来の動画配信サーバを環境音分析装置として利用することができる。
【実施例１０】
【０１０４】
本実施例では、映像特徴量として、会場の明るさを表す情報の代わりに、動画を符号化したときの符号量を利用する。実施例８及び実施例９で述べたように動き補償ベクトルと拍手及び手拍子の識別には相関があると考えられる。また、動き補償ベクトルと符号量にも相関がある。そこで本実施例では、動き補償ベクトルの符号量の変化から、集団のまとまった動き（マクロな動作）を推定する。
【０１０５】
なお、本実施例では、映像変換部１１の向きが変化すると符号量が増加するため、固定とする。ただし、映像変換部１１の向きが変化した際の符号量の増加分を差し引くことで本実施例の構成を適用することができるため、必ずしも映像変換部１１の向きを固定する必要はない。
【０１０６】
なお、本実施例では、映像特徴量として、会場の明るさを表す情報の代わりに、動画を符号化したときの符号量を利用するため、実施例８及び実施例９と同様、対象は発光体に限らず、会場は発光体が発光することで明るくなるような会場に限らない。
【０１０７】
以下、図２６、図２７を参照して本発明の実施例１０の環境音分析装置について説明する。図２６は本実施例の環境音分析装置１０の構成を示すブロック図である。図２７は本実施例の環境音分析装置１０の動作を示すフローチャートである。
【０１０８】
図２６に示すように、本実施例の環境音分析装置８は、映像変換部１１と、符号化部１０２とデータ送信部１４とを備える。
【０１０９】
＜符号化部１０２＞
符号化部１０２は、映像信号を受け取り、圧縮符号化し、その結果、得られる符号列から所定時間毎の符号量を得、符号量を環境パラメタＰｊとして出力する（Ｓ１０２）。なお、あるフレーム内ですべての動き補償ベクトルが同じ向きで同じ大きさであるとき、符号量が小さくなると期待できる。よって、符号量が小さいときは手拍子に対応する環境音をを合成する。逆に、動き補償ベクトルが向き及び大きさが揃っていないとき、符号量が大きくなると期待できる。よって、符号量が大きいときは拍手に対応する環境音を合成する。
【実施例１１】
【０１１０】
以下、図２８、図２９を参照して本発明の実施例１１の環境音合成装置について説明する。実施例１１の環境音合成装置１１Ａは、実施例１０の環境音分析装置１０に対応する装置である。図２８は本実施例の環境音合成装置１１Ａの構成を示すブロック図である。図２９は本実施例の環境音合成装置１１Ａの動作を示すフローチャートである。図２９に示すように、本実施例の環境音合成装置１１Ａは、データ受信部３１と、音源合成部１１２と、テンプレート記憶部３３と、再生部３４とを備える。さらに、環境音合成装置１１Ａは、その合成方法に応じて平均取得部１１５または周期取得部１１６を備える。
【０１１１】
音源合成部１１２、平均取得部１１５、周期取得部１１６以外の各構成部は実施例３の環境音合成装置７における同一番号の各構成部と同じであるから説明を省略する。
【０１１２】
＜平均取得部１１５＞
平均取得部１１５は、環境パラメタＰｊ（符号量）を受け取り、所定の時間区間毎に、符号量の平均を得（Ｓ１１５）、出力する。この場合、中期的な符号量の増減を利用する。あるフレーム内ですべての動き補償ベクトルが同じ向きで同じ大きさであるとき、符号量が小さくなると期待できる。すなわち、動画内の物体がそろって動く際は符号量が小さくなる。中期的な（1秒〜数秒）符号量の平均値が小さい場合は、動きはそろっており、すなわち手拍子だと判断できる。逆に、符号量の平均値が大きい場合は、動きはそろっておらず、すなわち拍手であると判断できる。１秒から数秒程度（例えば９０フレーム：３秒）単位で、符号量の平均値を求める。
【０１１３】
＜周期取得部１１６＞
周期取得部１１６は、所定の時間区間毎に、環境パラメタＰｊ（符号量）を受け取り、符号量の時間的変化の周期を得（Ｓ１１６）、出力する。この場合、短期的な符号量の増減を利用する。短期的（〜500 msec）で符号量を観察したときに、手拍子のようなそろった動きであれば、その動きの大きさに合わせて周期的な増減がみられると期待できる。逆に、周期的な増減がない場合、または、周期が小さい場合は、拍手であると識別できる。そこで、例えば500 msec以下の窓幅で分析を行い、周期を得る。
【０１１４】
＜音源合成部１１２＞
音源合成部１１２は、環境パラメタＰｊ（符号量）に対応する情報（所定の時間区間毎の符号量の平均、または、符号量の時間的変化の周期）を受け取り、この情報に基づき、拍手又は手拍子に対応する環境音を合成し（Ｓ１１２）、出力する。以下、二つの合成方法を説明する。
【０１１５】
（合成方法１）
この場合、音源合成部１１２は、環境パラメタＰｊ（符号量）に対応する情報として、所定の時間区間毎の符号量の平均を受け取る。音源合成部１１２は、平均が予め定めた閾値Ｔ1以下の場合には手拍子に対応する環境音を合成し、平均が予め定めた閾値Ｔ1よりも大きい場合には、拍手に対応する環境音を合成する。
【０１１６】
（合成方法２）
この場合、音源合成部１１２は、環境パラメタＰｊ（符号量）に対応する情報として、符号量の時間的変化の周期を受け取る。音源合成部１１２は、周期が予め定めた閾値Ｔ1以下の場合には拍手に対応する環境音を合成し、周期が予め定めた閾値Ｔ1よりも大きい場合には、周期で拍子をとる手拍子に対応する環境音を合成する。
【０１１７】
なお、拍手及び手拍子に対応する環境音の合成方法は、音源合成部９２と同様の方法で行えばよい。
【０１１８】
例えば、閾値Ｔ1は以下のように設定する。拍手している観客が映っている映像信号を符号化して、その符号量を求め、所定の時間区間毎の符号量の平均、または、符号量の時間的変化の周期を求める。同様に、手拍子している観客が映っている映像信号から平均及び周期を求める。拍手している観客が映っている映像信号から求めた平均及び周期と、手拍子している観客が映っている映像信号から求めた平均及び周期とから、それぞれこれらの値を区分できる値（境界となる値、例えば平均値）を求め、閾値Ｔ1として設定する。
【０１１９】
なお、符号量が、極端に小さい場合には、映像に動きが見られず、観客は拍手及び手拍子をしていないと考えられるため、拍手及び手拍子をしていない状況に対応する環境音を合成する構成としてもよい。例えば、閾値Ｔ１よりも小さい閾値Ｔ2を設定する。例えば、閾値Ｔ２は以下のように設定する。観客は拍手及び手拍子をしていない映像信号を符号化して、その符号量を求め、その符号量に対応する値を閾値Ｔ2に設定すればよい。音源合成部１１２が符号量を受け取り判断する構成としてもよい。
【０１２０】
「符号量の中長期間の平均」を見るということは空間方向の違いを見ること意味し、「符号量の時間的変化」を見るということは時間方向の動きの見ることを意味する。
【０１２１】
符号量は、観客の動きの変化量に対応する値なので、観客の動きが大きい場合に会場が盛り上がっていると判断できる場合には、実施例１〜３において、会場の明るさに変えて、符号量を用いて、会場の環境等を推定し、環境音を合成してもよい。
【０１２２】
＜その他の変形例＞
なお、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０１２３】
＜プログラム及び記録媒体＞
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【０１２４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１２５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【０１２７】
なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0006443841.tif 000014
【図２】
0006443841.tif 000015
【図３】
0006443841.tif 000016
【図４】
0006443841.tif 000017
【図５】
0006443841.tif 000018
【図６】
0006443841.tif 000019
【図７】
0006443841.tif 000020
【図８】
0006443841.tif 000021
【図９】
0006443841.tif 000022
【図１０】
0006443841.tif 000023
【図１１】
0006443841.tif 000024
【図１２】
0006443841.tif 000025
【図１３】
0006443841.tif 000026
【図１４】
0006443841.tif 000027
【図１５】
0006443841.tif 000028
【図１６】
0006443841.tif 000029
【図１７】
0006443841.tif 000030
【図１８】
0006443841.tif 000031
【図１９】
0006443841.tif 000032
【図２０】
0006443841.tif 000033
【図２１】
0006443841.tif 000034
【図２２】
0006443841.tif 000035
【図２３】
0006443841.tif 000036
【図２４】
0006443841.tif 000037
【図２５】
0006443841.tif 000038
【図２６】
0006443841.tif 000039
【図２７】
0006443841.tif 000040
【図２８】
0006443841.tif 000041
【図２９】
0006443841.tif 000042