(57)【要約】【課題】伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現することができる。【解決手段】環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、環境音分析装置から環境音量パラメタを受信するデータ受信部と、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、環境音量パラメタと同じ音量大きさのテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する音源合成部とを備える。【選択図】図９
2014063145.tif 000002
【特許請求の範囲】
【請求項１】
環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、
前記環境音量パラメタと同じ音量大きさのテンプレートを前記テンプレート記憶部から選択し、前記選択したテンプレートを合成して環境音を生成する音源合成部と、
を備えることを特徴とする環境音合成装置。
【請求項２】
環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
一人の人間による一拍分の環境音のテンプレート（以下、環境音素片テンプレートという）を記憶するテンプレート記憶部と、
前記テンプレート記憶部に記憶されている環境音素片テンプレートの音量に対応する情報を記憶するテンプレート音量記憶部と、
前記環境音量パラメタの音量に対応する情報を前記環境音素片テンプレートの音量に対応する情報で除算した値を人数として出力する人数推定部と、
前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して合成し、環境音を生成する音源合成部と、
を備えることを特徴とする環境音合成装置。
【請求項３】
請求項２に記載の環境音合成装置であって、
前記テンプレート記憶部に、複数種類の環境音素片テンプレートと各環境音素片テンプレートの出力確率が対応付けて記憶され、
前記音源合成部は、
前記テンプレート記憶部から環境音素片テンプレートを前記出力確率に応じて１以上選択して合成すること
を特徴とする環境音合成装置。
【請求項４】
環境音分析装置と、環境音合成装置とを備える環境音伝送システムであって、
前記環境音分析装置は、
音響信号を取得して、当該音響信号の音量に対応する値を計算する音量計算部と、
前記音響信号の音量に対応する値を取得して、当該音響信号の音量に対応する値を量子化して、そのインデックスを環境音量パラメタとして出力するパラメタ変換部と、
前記環境音量パラメタを前記環境音合成装置に送信するデータ送信部とを備え、
前記環境音合成装置は、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、
前記環境音量パラメタと同じ音量大きさのテンプレートを前記テンプレート記憶部から選択し、前記選択したテンプレートを合成して環境音を生成する音源合成部と、
を備えることを特徴とする環境音伝送システム。
【請求項５】
環境音分析装置と、環境音合成装置とを備える環境音伝送システムであって、
前記環境音分析装置は、
音響信号を取得して、当該音響信号の音量に対応する値を計算する音量計算部と、
前記音響信号の音量に対応する値を取得して、当該音響信号の音量に対応する値を量子化して、そのインデックスを環境音量パラメタとして出力するパラメタ変換部と、
前記環境音量パラメタを前記環境音合成装置に送信するデータ送信部とを備え、
前記環境音合成装置は、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信部と、
一人の人間による一拍分の環境音のテンプレート（以下、環境音素片テンプレートという）を記憶するテンプレート記憶部と、
前記テンプレート記憶部に記憶されている環境音素片テンプレートの音量に対応する情報を記憶するテンプレート音量記憶部と、
前記環境音量パラメタの音量に対応する情報を前記環境音素片テンプレートの音量に対応する情報で除算した値を人数として出力する人数推定部と、
前記テンプレート記憶部から前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して合成し、環境音を生成する音源合成部と、
を備えることを特徴とする環境音伝送システム。
【請求項６】
請求項４または５に記載の環境音伝送システムであって、
前記環境音分析装置のパラメタ変換部が、
前記音響信号の音量に対応する値として平均エネルギーＥｊ（ｊはフレームのインデックスを表す１以上の整数）を計算し、
前記平均エネルギーＥｊから
【数１２】
2014063145.tif 000014
で表される列Ｆｊを計算し、前記列Ｆｊを２回、２で割って値Ｇｊを求め、前記値Ｇｊを符号に変換して前記値Ｇｊの各々にシンボルを割り当て、前記値Ｇｊに割り当てられたシンボルをｊ番目のフレームのパラメタＰｊとして出力すること
を特徴とする環境音伝送システム。
【請求項７】
請求項５に記載の環境音伝送システムであって、
前記環境音分析装置が、
前記音響信号が拍手音であるか否かを判別し、判別結果が拍手音でない場合には、環境音量パラメタ＝０、および周期なしを示す周期情報を出力し、前記判別結果が拍手音である場合には、拍手音を示すフラグを出力する拍手区間検出部と、
前記拍手音を示すフラグを取得して、自己相関関数を用いて前記音響信号の周期を検出して、前記周期が検出された場合には自己相関関数のピーク間隔を周期情報として出力し、前記周期が検出されない場合には周期なしを示す周期情報を出力する周期性判定部とをさらに備え、
前記データ送信部が、前記環境音量パラメタとともに前記周期情報を前記環境音合成装置に送信し、
前記データ受信部が、前記環境音量パラメタとともに前記周期情報を前記環境音分析装置から受信し、
前記音源合成部が、前記環境音量パラメタが０でなく前記周期情報が周期なしを示す場合に、前記音響信号が拍手音であると判定し、前記環境音量パラメタが０でなく前記周期情報が周期ありを示す場合に、前記音響信号が手拍子音であると判定して、前記拍手音と判定された場合と比較して前記手拍子音と判定された場合の前記時間間隔が長くなるように前記環境音素片テンプレートを配置して合成すること
を特徴とする環境音伝送システム。
【請求項８】
伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
前記環境音量パラメタを受信するデータ受信ステップと、
１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部を参照して、前記環境音量パラメタと同じ音量大きさのテンプレートを選択し、前記選択したテンプレートを合成して環境音を生成する音源合成ステップと、
を備えることを特徴とする環境音合成方法。
【請求項９】
伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
前記環境音量パラメタを受信するデータ受信ステップと、
一人の人間による一拍分の環境音のテンプレート（以下、環境音素片テンプレートという）の音量に対応する情報を記憶するテンプレート音量記憶部を参照して、前記環境音量パラメタの音量に対応する情報を前記環境音素片テンプレートの音量に対応する情報で除算した値を人数として出力する人数推定ステップと、
前記環境音素片テンプレートを記憶するテンプレート記憶部を参照して、前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して合成し、環境音を生成する音源合成ステップと、
を備えることを特徴とする環境音合成方法。
【請求項１０】
環境音分析装置と、環境音合成装置とが実行する環境音伝送方法であって、
前記環境音分析装置は、
音響信号を取得して、当該音響信号の音量に対応する値を計算する音量計算ステップと、
前記音響信号の音量に対応する値を取得して、当該音響信号の音量に対応する値を量子化して、そのインデックスを環境音量パラメタとして出力するパラメタ変換ステップと、
前記環境音量パラメタを前記環境音合成装置に送信するデータ送信ステップとを実行し、
前記環境音合成装置は、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信ステップと、
１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部を参照して、前記環境音量パラメタと同じ音量大きさのテンプレートを選択し、前記選択したテンプレートを合成して環境音を生成する音源合成ステップと、
を実行することを特徴とする環境音伝送方法。
【請求項１１】
環境音分析装置と、環境音合成装置とが実行する環境音伝送方法であって、
前記環境音分析装置は、
音響信号を取得して、当該音響信号の音量に対応する値を計算する音量計算ステップと、
前記音響信号の音量に対応する値を取得して、当該音響信号の音量に対応する値を量子化して、そのインデックスを環境音量パラメタとして出力するパラメタ変換ステップと、
前記環境音量パラメタを前記環境音合成装置に送信するデータ送信ステップとを実行し、
前記環境音合成装置は、
前記環境音分析装置から前記環境音量パラメタを受信するデータ受信ステップと、
一人の人間による一拍分の環境音のテンプレート（以下、環境音素片テンプレートという）の音量に対応する情報を記憶するテンプレート音量記憶部を参照し、前記環境音量パラメタの音量に対応する情報を前記環境音素片テンプレートの音量に対応する情報で除算した値を人数として出力する人数推定ステップと、
前記環境音素片テンプレートを記憶するテンプレート記憶部を参照して、前記環境音素片テンプレートを選択し、当該選択された環境音素片テンプレートを、前記人数が増えるに従って小さくなるように定められた時間間隔ごとに配置して合成し、環境音を生成する音源合成ステップと、
を実行することを特徴とする環境音伝送方法。
【請求項１２】
請求項１０または１１に記載の環境音伝送方法であって、
前記環境音分析装置が実行するパラメタ変換ステップにおいて、
前記音響信号の音量に対応する値として平均エネルギーＥｊ（ｊはフレームのインデックスを表す１以上の整数）を計算し、
前記平均エネルギーＥｊから
【数１３】
2014063145.tif 000015
で表される列Ｆｊを計算し、前記列Ｆｊを２回、２で割って値Ｇｊを求め、前記値Ｇｊを符号に変換して前記値Ｇｊの各々にシンボルを割り当て、前記値Ｇｊに割り当てられたシンボルをｊ番目のフレームのパラメタＰｊとして出力すること
を特徴とする環境音伝送方法。
【請求項１３】
請求項１１に記載の環境音伝送方法であって、
前記環境音分析装置が、
前記音響信号が拍手音であるか否かを判別し、判別結果が拍手音でない場合には、環境音量パラメタ＝０、および周期なしを示す周期情報を出力し、前記判別結果が拍手音である場合には、拍手音を示すフラグを出力する拍手区間検出ステップと、
前記拍手音を示すフラグを取得して、自己相関関数を用いて前記音響信号の周期を検出して、前記周期が検出された場合には自己相関関数のピーク間隔を周期情報として出力し、前記周期が検出されない場合には周期なしを示す周期情報を出力する周期性判定ステップとをさらに実行し、
前記データ送信ステップにおいて、前記環境音量パラメタとともに前記周期情報を前記環境音合成装置に送信し、
前記データ受信ステップにおいて、前記環境音量パラメタとともに前記周期情報を前記環境音分析装置から受信し、
前記音源合成ステップにおいて、前記環境音量パラメタが０でなく前記周期情報が周期なしを示す場合に、前記音響信号が拍手音であると判定し、前記環境音量パラメタが０でなく前記周期情報が周期ありを示す場合に、前記音響信号が手拍子音であると判定して、前記拍手音と判定された場合と比較して前記手拍子音と判定された場合の前記時間間隔が長くなるように前記環境音素片テンプレートを配置して合成すること
を特徴とする環境音伝送方法。
【請求項１４】
コンピュータを、請求項１から３のいずれかに記載の環境音合成装置として機能させるためのプログラム。
【請求項１５】
コンピュータを、請求項４から７の何れかに記載の環境音伝送システムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伝送元で収音された環境音を、伝送先で再生する環境音合成装置、環境音伝送システム、環境音合成方法、環境音伝送方法、プログラムに関する。
【背景技術】
【０００２】
実測データをもとに算出した個人差や、速度・大きさの揺らぎの程度を利用して、単独のユーザと同期するように複数の拍手音を合成し出力する技術が提案されている（非特許文献１）。また、ある地点の音を別の場所に伝送し再生する技術として、音響符号化技術が知られている。例えば、非特許文献２では、聴覚マスキングを巧みに利用し、また楽器の特性を利用して低域の成分を高域にコピーして使うという楽音の特性に合わせたモデルにより、低ビットレートで品質の高い音響符号化技術が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】西村竜一、宮里勉、「仮想的集団による拍手音の合成」、電子情報通信学会技術研究報告、電子情報通信学会、1999年3月、MVE,マルチメディア・仮想環境基礎、98(684), p.17-24,
【非特許文献２】Stefan Meltzer and Gerald Moser,"MPEG-4 HE-AAC v2 - audio coding for today's digital media world," EBU technical review, Jan., 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１は、ユーザと同調する複数の人がその場にいるような環境を仮想的に実現することを目的としたものであり、ユーザの拍手のピッチに合わせて仮想的な拍手音を合成する技術であり、実在する遠隔地の場の状況（拍手音や手拍子）を、別の場所に伝送し再現することはできなかった。また、声援・掛け声などの拍手音以外の環境音を伝送し再現することは対象としていない。また、拍手音や声援・掛け声などの環境音は純粋な音声や楽器音とは異なり白色雑音に近いため、非特許文献２のような従来の音響符号化技術ではうまく表現できず、音質が劣化していた。そこで本発明では、伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現することができる環境音合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の環境音合成装置は、環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成することを特徴とし、データ受信部と、テンプレート記憶部と、音源合成部とを備える。
【０００６】
データ受信部は、環境音分析装置から環境音量パラメタを受信する。テンプレート記憶部は、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶する。音源合成部は、環境音量パラメタと同じ音量大きさのテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する。
【発明の効果】
【０００７】
本発明の環境音合成装置によれば、伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の環境音伝送システムの構成例を示すブロック図。
【図２】実施例１の環境音分析装置の構成を示すブロック図。
【図３】実施例１の環境音分析装置の動作を示すフローチャート。
【図４】実施例２の環境音分析装置の構成を示すブロック図。
【図５】実施例２の環境音分析装置の動作を示すフローチャート。
【図６】実施例２のパラメタ変換部のパラメタ生成手順を例示する図。
【図７】実施例２の変形例１の環境音分析装置の構成を示すブロック図。
【図８】実施例２の変形例１の環境音分析装置の動作を示すフローチャート。
【図９】実施例３の環境音合成装置の構成を示すブロック図。
【図１０】実施例３の環境音合成装置の動作を示すフローチャート。
【図１１】実施例４の環境音合成装置の構成を示すブロック図。
【図１２】実施例４の環境音合成装置の動作を示すフローチャート。
【図１３】実施例４の音源合成部の環境音素片テンプレート合成手順を例示する図。
【図１４】実施例５及びその変形例の環境音分析装置の構成を示すブロック図。
【図１５】実施例５及びその変形例の環境音分析装置の動作を示すフローチャート。
【図１６】拍手音や手拍子音の周波数成分の時間変化を例示する図。
【図１７】実施例６の環境音合成装置の構成を示すブロック図。
【図１８】実施例６の環境音合成装置の動作を示すフローチャート。
【図１９】実施例７、８の環境音合成装置の構成を示すブロック図。
【図２０】実施例７、８の環境音合成装置の動作を示すフローチャート。
【図２１】テンプレート記憶部に環境音素片テンプレートと出力確率とを対応付けて記憶する例を例示する図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１０】
拍手や手拍子音、声援・掛け声などの環境音の総音量は、観客の人数が多いほど大きくなる。本発明では、環境音そのものを伝送するのではなく、環境音の音量を表す情報だけを伝送する。そして、伝送先では予め記憶された環境音のテンプレートを、音量を表す情報に応じて変換することにより、伝送元の環境音（に類似した音）を再生する。
【００１１】
また、拍手や手拍子音の一拍（一度両手を合わせて打つこと）は、音響パワーの個人差が小さい。また、一拍と一拍の時間間隔（以下、拍手間隔ともいう）の個人差も小さく、２００ｍｓ〜３００ｍｓ程度である。したがって、ある人の拍手音（一拍分）を環境音素片テンプレートとして用意しておき、それを個人差に応じたゆらぎ（２００ｍｓ〜３００ｍｓ）を持たせた間隔で繰り返し再生することにより、別の人の拍手音に類似した音を構成することができる。
【００１２】
＜環境音伝送システム＞
以下、図１を参照して本発明の環境音伝送システムについて説明する。図１は本発明の環境音伝送システムの構成例を示すブロック図である。図１に示すように、本発明の環境音伝送システムは、伝送元の環境音分析装置と、伝送先の環境音合成装置から構成される。環境音分析装置は、入力された音響信号（環境音）の音量に対応する情報（環境音量パラメタＰｊ、以下単にパラメタともいう）を抽出し、出力する。環境音合成装置は、予め記憶された環境音のテンプレートを用いて、入力された環境音量パラメタＰｊに合わせてテンプレートを変換することにより環境音を合成し、出力する。以下、実施例１において環境音分析装置１、実施例２において環境音分析装置２、実施例２の変形例１において環境音分析装置２’、実施例３において環境音合成装置３、実施例４において環境音合成装置４、実施例５において環境音分析装置５、実施例６において環境音合成装置６、実施例７において環境音合成装置７、実施例８において環境音合成装置８、実施例９において環境音合成装置９、実施例１０において環境音合成装置１０をそれぞれ説明する。また、環境音分析装置１と環境音合成装置３との組み合わせを環境音伝送システム１０００、環境音分析装置２と環境音合成装置３との組み合わせを環境音伝送システム２０００、環境音分析装置２’と環境音合成装置３との組み合わせを環境音伝送システム２０００’、環境音分析装置１と環境音合成装置４との組み合わせを環境音伝送システム３０００、環境音分析装置２と環境音合成装置４との組み合わせを環境音伝送システム４０００、環境音分析装置２’と環境音合成装置４との組み合わせを環境音伝送システム４０００’、環境音分析装置５と環境音合成装置６との組み合わせを環境音伝送システム５０００と呼ぶ。
【実施例１】
【００１３】
以下、図２、図３を参照して本発明の実施例１の環境音分析装置について説明する。図２は本実施例の環境音分析装置１の構成を示すブロック図である。図３は本実施例の環境音分析装置１の動作を示すフローチャートである。図２に示すように、本実施例の環境音分析装置１は、収音部１１と、音量計算部１２と、パラメタ変換部１３と、データ送信部１４とを備える。
【００１４】
＜収音部１１＞
収音部１１は伝送元の音を収音する（Ｓ１１）。ここでは、収音部１１には伝送元の拍手音が入力されるものとする。
【００１５】
＜音量計算部１２＞
音量計算部１２は、拍手音の音響信号を取得する。音量計算部１２が取得する拍手音の音響信号は、所定のサンプリング周波数でサンプリングされた信号列とする。ここで、Ｘｊを第ｊフレームの音響信号とし、Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（Ｎ））（Ｎはフレームあたりのサンプル数）とする。例えば８ｋＨｚサンプリングのときに１フレーム２０ｍｓとすると、Ｎ＝１６０である。なお、遅延が短い方が良ければフレームの長さを短くし、遅延が長くなっても良ければ、フレームの長さを長くすれば良い。音量計算部１２は、フレーム毎に、入力された拍手音の音響信号の音量に対応する値（以下、「拍手音量に対応する値」ともいう）を求めて出力する。具体的には、音量計算部１２は、フレーム毎に、入力された拍手音の音響信号Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（Ｎ））の平均エネルギー
【００１６】
【数１】
2014063145.tif 000003
【００１７】
を計算する（Ｓ１２）。
【００１８】
＜パラメタ変換部１３＞
パラメタ変換部１３は、音量計算部１２から出力された拍手音量に対応する値を取得する。パラメタ変換部１３は、取得した拍手音量に対応する値を量子化し、環境音量パラメタを出力する。具体的には、パラメタ変換部１３は、平均エネルギーＥｊの取りうる範囲（例えばｘｊ（ｉ）（ｉ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が２＾３０となる）をあらかじめ定められた場合の数（例えば１６ｂｉｔ）に量子化し、そのインデックスを環境音量パラメタＰｊとして出力する（Ｓ１３）。
【００１９】
＜データ送信部１４＞
データ送信部１４は、パラメタ変換部１３が出力した環境音量パラメタＰｊを伝送先の環境音合成装置３（または４）に送信する（Ｓ１４）。環境音合成装置３については実施例３に、環境音合成装置４については実施例４に記載する。
【００２０】
このように、本実施例の環境音分析装置１によれば、伝送元において収音された拍手音を効率よく低遅延に伝送することができる。
【００２１】
[実施例１の動作例２]
上述の実施例１では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置１の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。
【００２２】
実施例１の動作例２における環境音分析装置１は、環境音分析装置１の収音部１１、音量計算部１２、パラメタ変換部１３、データ送信部１４の各部で取り扱われる拍手音および拍手音量が、環境音及び環境音の音量に置き換わる点を除いては、上述の動作例と同じである。
【００２３】
拍手音や声援・掛け声、雑音などは、いずれも伝送元の会場の雰囲気を決定づける重要な要素である一方で、いろいろな音響信号が混合された白色雑音に近い信号である。前述したようにこれらの音を環境音と呼ぶ。伝送元で環境音が発せられたタイミング及び音量が保たれていれば、信号そのものは伝送元の環境音と全く同じ信号でなくとも、場の雰囲気を再現することができる。そこで、環境音分析装置１において、伝送元の環境音の音量に関するパラメタを抽出することで、伝送元において収音された環境音を効率よく低遅延に伝送することができる。
【実施例２】
【００２４】
以下、図４、図５、図６を参照して本発明の実施例２の環境音分析装置について説明する。図４は本実施例の環境音分析装置２の構成を示すブロック図である。図５は本実施例の環境音分析装置２の動作を示すフローチャートである。図６は本実施例のパラメタ変換部２３のパラメタ生成手順を例示する図である。図４に示すように、本実施例の環境音分析装置２は、収音部１１と、音量計算部１２と、パラメタ変換部２３と、データ送信部１４とを備える。収音部１１、音量計算部１２、データ送信部１４は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから説明を適宜略する。
【００２５】
＜音量計算部１２＞
音量計算部１２は、４８ｋＨｚサンプリングでサンプリングされた信号列であり、１フレーム６サンプル（Ｎ＝６）で構成される信号列Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（６））を取得する。音量計算部１２は、フレーム毎に、入力された拍手音響信号Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（６））から、平均エネルギー
【００２６】
【数２】
2014063145.tif 000004
【００２７】
を計算する（Ｓ１２）。
【００２８】
＜パラメタ変換部２３＞
パラメタ変換部２３は、求めた平均エネルギーＥｊを以下の式により変形した列Ｆｊを求める。
【００２９】
【数３】
2014063145.tif 000005
【００３０】
つまり、図６に示すように、ガウス関数や床関数により整数値化されたＦｊの取りうる値（０〜３２７６８）のうち、奇数の値に負の符号を与え、さらに１を減じる。これにより、Ｆｊはすべて偶数の値を取ることになる。次に、全部偶数になったＦｊの各々を２で割る（右に１ビットシフトでも構わない）。この値をＧ．７１１準拠の範囲に収めるために、μ−ｌａｗを使うのであればさらに２で割り（右に１ビットシフトでもよい）値Ｇｊを求める。そして、Ｇに対して、ＩＴＵ−Ｔ＿Ｇ．７１１の符号化処理を行い、ＧｊをＧ．７１１の符号（番号）に変換する。４８ｋＨｚサンプリング６サンプル分を一塊（１フレーム）にすると８ｋＨｚの１サンプル分に相当するので、上記のＧｊ毎にＧ．７１１のシンボル１つを割り当てることができる。割り当てられたシンボル列をパラメタＰｊとして出力する（Ｓ２３）。パラメタＰｊは通常の音声と同様に固定電話回線を用いて伝送すると遅延が短くすむ。式（１）のかわりに式（２）のように対数を用いてもよい。
【００３１】
【数４】
2014063145.tif 000006
【００３２】
また、平方根演算や対数演算は多項式近似（テイラー展開など）で演算量を削減してもよい。
【００３３】
[実施例２の変形例１]
以下、図７、図８を参照して実施例２のパラメタ変換部２３に変更を加えた変形例１の環境音分析装置について説明する。図７は本変形例の環境音分析装置２’の構成を示すブロック図である。図８は本変形例の環境音分析装置２’の動作を示すフローチャートである。図７に示すように、本変形例の環境音分析装置２’は、収音部１１と、音量計算部１２と、パラメタ変換部２３’と、データ送信部１４とを備える。収音部１１、音量計算部１２、データ送信部１４は実施例２の環境音分析装置２における同一番号の各構成部と同じであるから説明を適宜略する。
【００３４】
＜パラメタ変換部２３’＞
パラメタ変換部２３’は、図６のようなマッピング演算の代わりに、Ｆｊの取りうる０〜３２７６８の値を直接８ｂｉｔのシンボルにマッピングするマッピングテーブル２３Ａを予め備えており、マッピングテーブル２３Ａを参照してパラメタＰｊを求める（Ｓ２３’）。または、パラメタ変換部２３’は、Ｆｊの取りうる０〜３２７６８の値をあらかじめビットシフト等により場合の数を減らしてから、マッピングテーブル２３Ａを用いてパラメタＰｊを求めてもよい。この場合はマッピングテーブル２３Ａの大きさを削減できる。Ｆｊはデシベル単位に変換したものを用いてもよい。
【００３５】
実施例２及び変形例１の環境音分析装置は以下の効果を有する。収音された拍手音の音響信号は正の値となるため、Ｅｊの平方根の値の取りうる範囲は正の整数値、例えばｘｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が３２７６８となる。このまま、パラメタ変換部でＩＴＵ−Ｔ＿Ｇ．７１１の符号化を行うと、符号化効率が悪くなるという問題がある。上記式（１）の変形を行うと、例えばｘｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は、Ｆｊの取りうる範囲は−１６３８４から１６３８４になる。そこで、パラメタ変換部においてＥｊの取りうる範囲が負の整数値から正の整数値の範囲となるように変換した値Ｆｊを用いることにより、符号化効率を向上させることができ、パラメタＰｊの情報量を削減することができる。つまり、伝送遅延をより少なくすることが可能となる。
【００３６】
[実施例２の動作例２]
上述の実施例２および実施例２の変形例１では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置２（２’）の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。
【００３７】
実施例２の動作例２においては、環境音分析装置２（２’）の収音部１１、音量計算部１２、パラメタ変換部２３または２３’、データ送信部１４の各部で取り扱われる拍手音および拍手音量が、環境音及び環境音の音量に置き換わる点を除いては、上述の動作例と同じである。
【実施例３】
【００３８】
以下、図９、図１０を参照して本発明の実施例３の環境音合成装置について説明する。図９は本実施例の環境音合成装置３の構成を示すブロック図である。図１０は本実施例の環境音合成装置３の動作を示すフローチャートである。図９に示すように、本実施例の環境音合成装置３は、データ受信部３１と、音源合成部３２と、テンプレート記憶部３３と、再生部３４とを備える。環境音合成装置３は環境音分析装置１（２、２’）から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する装置である。以下、実施例１、２で詳述した動作例に従い、環境音の例として拍手音を用いて説明を進める。
【００３９】
＜データ受信部３１＞
データ受信部３１は、環境音分析装置から環境音量パラメタＰｊを受信する（Ｓ３１）。
【００４０】
＜テンプレート記憶部３３＞
テンプレート記憶部３３には、拍手音の各音量バリエーションに対して複数の拍手音（１フレーム分）のテンプレートが記憶されている。つまり、テンプレート記憶部３３には、ｉをフレームのインデックスとした場合に、１フレーム分の拍手音を含む環境音のテンプレートＴｉと当該テンプレートの環境音の音量に対応する情報Ｅ’ｉとが対応付けて記憶されているものとする。なお、テンプレートの環境音の音量に対応する値は、各テンプレートＴｉを入力として、上記実施例１または２の音量計算部１２及びパラメタ変換部１３（２３）と同じ方法により求めることができる。なお、実施例１または２のどの方法を用いるかは、環境音分析装置と環境音合成装置との間で統一しておくものとする。
【００４１】
＜音源合成部３２＞
音源合成部３２は、入力された環境音量パラメタＰｊと同じ音量大きさのテンプレートのうちいずれか１つをテンプレート記憶部３３からランダムに選択する。つまり、Ｐｊ＝Ｅ’ｉを満たすＥ’ｉに対応づけられているテンプレートＴｉのうち、いずれか１つをランダムに選択する。音源合成部３２は、選択したテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ３２）。例えば、２０ｍｓのフレームあたり環境音量パラメタに８ｂｉｔのバリエーションがあったとすると、４００ｂｉｔ／ｓｅｃで拍手音を伝送できる。
【００４２】
＜再生部３４＞
再生部３４は、音源合成部３２が合成した拍手音を再生する（Ｓ３４）。
【００４３】
このように、本実施例の環境音合成装置３によれば、テンプレート記憶部３３に拍手音の各音量バリエーションに対して複数のテンプレートを保持しておき、音源合成部３２が音量の条件を充たす複数のテンプレートから１つのテンプレートをランダムに選択するため、合成された拍手音が定常的なパターンとして聞こえないようにすることができる。
【００４４】
[実施例３の動作例２]
実施例３では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置３の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声や、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音とし、伝送元の環境音量パラメタが入力され、伝送先で環境音を合成してもよい。
【００４５】
実施例３の動作例２では、実施例３の環境音合成装置３のデータ受信部３１と、音源合成部３２と、テンプレート記憶部３３と、再生部３４において、拍手音が環境音に置き換わる点を除いては、上述の動作例と同じである。
【実施例４】
【００４６】
以下、図１１、図１２、図１３を参照して本発明の実施例４の環境音合成装置について説明する。図１１は本実施例の環境音合成装置４の構成を示すブロック図である。図１２は本実施例の環境音合成装置４の動作を示すフローチャートである。図１３は本実施例の音源合成部４２の環境音素片テンプレート合成手順を例示する図である。図１１に示すように、本実施例の環境音合成装置４は、データ受信部３１と、音源合成部４２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。データ受信部３１、再生部３４は実施例３の環境音合成装置３における同一番号の各構成部と同じであるから説明を省略する。
【００４７】
＜テンプレート記憶部４３＞
テンプレート記憶部４３には、一人の人間による一拍分の拍手音（３００ｍｓ程度）のテンプレートの複数のバリエーションが記憶されている。本実施例では環境音の例として拍手音を扱うため、拍手音のテンプレートを環境音素片テンプレートのバリエーションのひとつとする。従って、以下では拍手音のテンプレートを環境音素片テンプレートともいう。例えば、異なる人の一拍分の拍手音をそれぞれ異なる環境音素片テンプレートとして記憶しておく。以下、単にテンプレートという場合には、所定フレーム長の複数人による拍手音（環境音）全体を収録したテンプレートを指すものとし、環境音素片テンプレートという場合には、一人の人間による一拍分の拍手音（環境音）のテンプレートを指すものとする。
【００４８】
＜テンプレート音量記憶部４６＞
テンプレート音量記憶部４６には、テンプレート記憶部４３に記憶されている環境音素片テンプレートの音量に対応する情報（具体的には、実施例１または２の音量計算部１２により計算される、平均エネルギー）が記憶されている。なお、１人分の拍手音の音量の差は小さいので、テンプレート記憶部４３に記憶されている環境音素片テンプレートのいずれか一つについて計算された平均エネルギーを環境音素片テンプレートの音量に対応する情報として記憶しておいてもよい。また、テンプレート記憶部４３に記憶されている全環境音素片テンプレートの平均エネルギーの平均値を、環境音素片テンプレートの音量に対応する情報としてテンプレート音量記憶部４６に記憶しておいてもよい。あるいは、予め定めた定数を音量に対応する情報としてテンプレート音量記憶部４６に記憶しておいても良い。
【００４９】
なお、テンプレート音量記憶部４６に予め環境音素片テンプレートの音量に対応する情報を記憶せず、その都度テンプレート記憶部４３からランダムに選択した環境音素片テンプレートについて計算した平均エネルギーを環境音素片テンプレートの音量に対応する情報として用いても良い。
【００５０】
＜人数推定部４５＞
人数推定部４５は、環境音量パラメタＰｊに応じて音量のゲイン調整を行うための構成である。人数推定部４５は、伝送元から出力された環境音量パラメタＰｊを取得し、当該環境音量パラメタＰｊから音量に対応する情報Ｅ’ｊを求める。具体的には、実施例１または２のパラメタ変換部１３（２３）と逆の処理を行うことにより、音量に対応する情報Ｅ’ｊを得る。人数推定部４５は、音量に対応する情報Ｅ’ｊを環境音素片テンプレートの音量に対応する情報で除算した値の整数値（小数点以下を四捨五入、または切り捨てた値）を拍手の人数Ｍとして出力する（Ｓ４５）。
【００５１】
＜音源合成部４２＞
音源合成部４２は、テンプレート記憶部４３から環境音素片テンプレートをランダムに選択して合成する（Ｓ４２）。環境音量パラメタにより一人分の拍手を合成する場合（人数推定部４５においてＭ＝１となった場合）は、図１３Ａのように、約３００ｍｓごとにランダムに選択された環境音素片テンプレートＴｉを用いて合成した波形を拍手音として出力する。前述のように合成の時間間隔は約３００ｍｓでよいが、より好ましくは３００ｍｓを中心として時間間隔に揺らぎを持たせてもよい。時間間隔に揺らぎを持たせることによってさらに自然な拍手音を合成することができる。たとえば３００ｍｓを中心としてガウス分布にしたがう乱数により、±数１０ｍｓの揺らぎを持たせればよい。例えば音源合成部４２は
【００５２】
【数５】
2014063145.tif 000007
【００５３】
によりテンプレートを変換した拍手音Ｙｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ４２）。別の表現方法で書くと、時系列テンプレート信号Ｔｉ＝（ｔｉ［１］  ｔｉ［２］  …  ｔｉ［Ｐ］）と拍手タイミングを表すインパルスδ（ｉ・τ＋σｉ）の畳み込み演算でＹｉを出力とする。
【００５４】
【数６】
2014063145.tif 000008
【００５５】
ここで＊は畳み込み演算を表す。ここで、τ＝３００ｍｓであり、σｉは−１０ｍｓ≦σｉ≦＋１０ｍｓの範囲で生成した乱数である。環境音量パラメタによりＭ人分の拍手を合成する場合は、図１３Ｂのように、時間間隔を約３００／Ｍ（ｍｓ）ごとにランダムに選択された環境音素片テンプレートを用いて合成された波形を拍手音として出力する。人数Ｍの逆数を使って、時間間隔を約３００／Ｍ（ｍｓ）と設定することで、拍手の人数Ｍが増えるに従って時間間隔が小さくなるように設定することができる。この場合もガウス分布やラプラス分布に従う乱数によって、揺らぎを持たせることができる。例えば音源合成部４２は、
【００５６】
【数７】
2014063145.tif 000009
【００５７】
によりテンプレートを変換した環境音Ｙｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ４２）。
【００５８】
このように、本実施例の環境音合成装置４によれば、実施例３のように音量ごとにテンプレートを用意しておく必要がなく、テンプレート記憶部４３に記憶しておく環境音素片テンプレートの数も少なくてよいため、環境音合成装置４のメモリ量を削減することができる。
【００５９】
[実施例４の動作例２]
実施例４は、伝送元の伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置４を説明したが、これに限らず拍手音以外の環境音を対象としても良い。上述では、一人の人間による一拍分の拍手音（３００ｍｓ程度）のテンプレートを環境音素片テンプレートの例として示したが、これに限らず、たとえば、一人の人間による一拍分の声援、掛け声のテンプレートを環境音素片テンプレートとしてもよい。
【００６０】
実施例４の動作例２では、実施例４の環境音合成装置４のデータ受信部３１と、音源合成部４２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６において取り扱われるデータが拍手音から環境音に置き換わる点を除いては、上述の動作例と同じである。
【００６１】
なお、音源合成部４２において、式（３）の代わりに、時系列テンプレート信号Ｔｉ＝（ｔｉ［１］  ｔｉ［２］  …  ｔｉ［Ｐ］）と環境音タイミングを表すインパルスδ（ｍ・τ＋σｍ）の畳み込み演算でＹｉを出力としても良い。
【００６２】
【数８】
2014063145.tif 000010
【００６３】
ここで＊は畳み込み演算を表す。
【００６４】
また、テンプレート記憶部４３に記憶しておく環境音素片テンプレートの波形のエネルギーをあらかじめ正規化してあってもよい。その場合は、人数推定部４５のパラメタに応じで、音量（ゲイン）を調整すればよい。この場合もメモリ量を少なくしながらバリエーションを増やすことができる。
【実施例５】
【００６５】
以下、図１４、図１５、図１６を参照して本発明の実施例５及びその変形例の環境音分析装置について説明する。図１４は本実施例及びその変形例の環境音分析装置５の構成を示すブロック図である。図１５は本実施例及びその変形例の環境音分析装置５の動作を示すフローチャートである。図１６は拍手音や手拍子音の周波数成分の時間変化を例示する図である。図１６Ａは、拍手音が鳴りやんで無音状態に移行した場合の周波数成分の時間変化の例を示す図である。図１６Ｂは、手拍子が行われている場合の周波数成分の時間変化の例を示す図である。図１６Ｃは、拍手が行われている場合の周波数成分の時間変化の例を示す図である。図１４に示すように、本実施例の環境音分析装置５は、収音部１１と、音量計算部１２と、パラメタ変換部１３と、データ送受信部５４と、拍手区間検出部５５と、周期性判定部５６とを備える。本実施例の変形例としてパラメタ変換部１３をパラメタ変換部２３、２３’に適宜変更可能である。また、収音部１１、音量計算部１２、パラメタ変換部１３、２３、２３’は実施例１、実施例２、変形例１の環境音分析装置１、２，２’における同一番号の各構成部と同じであるから適宜説明を略する。
【００６６】
＜拍手区間検出部５５＞
拍手区間検出部５５は、音響信号が拍手音であるか否かを判別する機能を有する。具体的には、拍手区間検出部５５は、ＶＡＤ（Ｖｏｉｃｅ＿Ａｃｔｉｖｉｔｙ＿Ｄｅｔｅｃｔｉｏｎ）やＳＡＤ（Ｓｏｕｎｄ＿Ａｃｔｉｖｉｔｙ＿Ｄｅｔｅｃｔｉｏｎ）を用いて入力された音響信号をフレーム毎に分析し、「無音区間」「音声（音楽）区間」「その他」のいずれに該当するかを判別し、音響信号が無音区間または音声区間と判別された場合には、環境音量パラメタＰｊ＝０と設定する。例えば拍手区間検出部５５が、ＩＴＵ−Ｔ＿Ｇ．７２０．１を用いてＶＡＤ・ＧＳＡＤ分析する場合、拍手区間検出部５５は判別結果として０：無音、１：ノイズ、２：音楽、３：音声の何れかのフラグを生成する。この場合、拍手区間検出部５５は、判別結果が無音区間（フラグ０）、音声区間（フラグ２または３）である場合（つまり、拍手音でない場合）には、環境音量パラメタＰｊ＝０と設定する。一方、拍手区間検出部５５は、判別結果がノイズ（フラグ１）である場合には、これを拍手音であるものとして、フラグ＝１と設定する。
【００６７】
環境音量パラメタＰｊ＝０の場合（Ｓ５Ｙ）、拍手区間検出部５５はデータ送信部５４に環境音量パラメタＰｊ＝０、および周期情報Ｔ＝０、または周期なしを示す周期情報を出力し、ステップＳ５４に移行する。一方、環境音量パラメタＰｊが０でない（フラグ＝１）場合（Ｓ５Ｎ）、フラグ＝１を出力してステップＳ５６に移行する。
【００６８】
＜周期性判定部５６＞
周期性判定部５６は、環境音量パラメタＰｊが０でない場合（Ｇ．７２０．１を用いてＶＡＤ・ＧＳＡＤ分析する場合、フラグ１：ノイズと判別された場合）当該フレームについて、１秒から数秒程度（例えば３００フレーム：３秒）の窓幅で分析を行う。分析したフレームが図１６Ｂに示すように一定の周期性がある場合には、周期性判定部５６は、当該フレームの音響信号を手拍子の音響信号と判断し、周期が検出された場合には、自己相関関数のピーク間隔を周期情報として出力する（Ｓ５６）。演算量削減のために、Ｇ．７２０．１の内部変数であるＲＭＳ値（フレームのパワーの平方根）を用いて、３００フレーム分の自己相関関数を求め、周期Ｔを求めてもよい（フレームの自己相関ではなく信号の自己相関を用いても良い）。
【００６９】
周期情報の検出には、例えば次のような方法を用いる。Ｇ．７２０．１の内部変数である１０ｍｓ毎のＲＭＳ値（フレームのパワーの平方根）の自己相関関数をＲ（ｉ）（ｉ＝０，１，２，…，３００）とする。この例では３秒の分析フレームで分析したことになる。この例では、１００ｍｓ以上の周期を持つ場合には手拍子、そうでない場合には拍手と判定されることになる。手拍子の間隔が１００ｍｓ以上であるとすると、Ｒ（ｉ）のｉの値を大きくしていき、相関の値Ｒ（ｉ）が増加から減少に転じたときのｉをＴ１とする。さらにｉの値を増加させていき、相関の値Ｒ（ｉ）が増加から減少に転じたときのｉをＴ２とする。Ｔ２−Ｔ１の値が閾値の範囲内（例えば１１〜２６５）であれば、Ｔ２−Ｔ１を周期としてＴ＝Ｔ２−Ｔ１を出力する。なお、ピークの検出は、心電図のＲ−Ｒ間隔の検出など様々な方法があるので、既存の技術を適宜用いれば良い。
【００７０】
周期が検出されない場合には、周期性判定部５６は、Ｔ＝０または周期なしを示す周期情報を出力する。周期を表すインデックスが上記のように例えば１１〜２６５であれば２５５通りの周期を表すことができ、周期が無いというインデックスを加えて２５６通りの条件を表す８ビットを伝送すればよい。
【００７１】
音量計算部１２とパラメタ変換部１３（２３、２３’）は、環境音量パラメタＰｊが０でない（Ｇ．７２０．１を用いてＶＡＤ・ＧＳＡＤ分析する場合、フラグ１：ノイズと判別された）フレームについて、実施例１または実施例２、あるいは変形例２の音量計算部１２とパラメタ変換部１３（２３、２３’）と同様の処理を行うことにより、環境音量パラメタＰｊを計算し出力する（Ｓ１２、Ｓ１３、Ｓ２３、Ｓ２３’）。なお、音量計算部１２が出力するＥｊとして、Ｇ．７２０．１の内部変数であるＲＭＳ値（フレームのパワーの平方根）を出力してもよい。
【００７２】
＜データ送信部５４＞
データ送信部５４は、環境音量パラメタＰｊとともに周期情報を後述する環境音合成装置６に送信する（Ｓ５４）。
【実施例６】
【００７３】
以下、図１７、図１８を参照して本発明の実施例６の環境音合成装置について説明する。実施例６の環境音合成装置６は、実施例５の環境音分析装置５に対応する装置である。図１７は本実施例の環境音合成装置６の構成を示すブロック図である。図１８は本実施例の環境音合成装置６の動作を示すフローチャートである。図１７に示すように、本実施例の環境音合成装置６は、データ受信部６１と、音源合成部６２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。データ受信部６１と音源合成部６２以外の各構成部は実施例３、または実施例４の環境音合成装置３、４における同一番号の各構成部と同じであるから説明を省略する。
【００７４】
＜データ受信部６１＞
データ受信部６１は、環境音量パラメタＰｊとともに周期情報を環境音分析装置５から受信する（Ｓ６１）。
【００７５】
＜音源合成部６２＞
音源合成部６２は、あるフレームの音響信号の環境音量パラメタＰｊが０でなく（Ｓ６ＡＮ）、周期情報がＴ＝０、または周期が存在しないことを示している場合に（Ｓ６ＢＮ）、当該フレームの音響信号が拍手音であると判定して、実施例４の環境音合成装置４の音源合成部４２と同じ処理を行い、拍手音を出力する（Ｓ６２Ａ）。一方、音源合成部６２は、あるフレームの音響信号の環境音量パラメタＰｊが０でなく（Ｓ６ＡＮ）、周期情報がＴ≠０である（周期情報ありを示す）場合に（Ｓ６ＢＹ）、当該フレームの音響信号が手拍子であると判定して、その周期（たとえば５００ｍｓ）が中心となるような実施例４の時よりも分散の小さいガウス分布やラプラス分布に従う揺らぎを持たせた波形を合成し、拍手音（実際は手拍子音）として出力する（Ｓ６２Ｂ）。音源合成部６２は、例えば上記式（３）または（４）において、τの値を周期情報（例えばτ＝５００ｍｓ）としてテンプレートを変換した拍手音Ｙｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ６２Ｂ）。この例では、手拍子音におけるτ＝５００（ｍｓ）として前述の拍手音の合成の際に設定されたτ＝３００（ｍｓ）より長い時間間隔に設定しているため、拍手音と判定された場合と比較して手拍子音と判定された場合の時間間隔が長くなるように環境音素片テンプレートが配置され合成される。
【００７６】
このように、実施例５の環境音分析装置５と本実施例の環境音合成装置６により構成される環境音伝送システム５０００によれば、周期性判定部５６がフレームを分析して周期情報を生成し、音源合成部６２において、周期情報の有無を考慮して拍手、手拍子の何れかの音響信号を生成するため、伝送元において収音された拍手や手拍子音を効率よく伝送する効果に加えて、拍手、手拍子の双方をより正確に合成することができる。
【実施例７】
【００７７】
以下、図１９、図２０を参照して実施例４の変形実施例である本発明の実施例７の環境音合成装置について説明する。図１９は本実施例の環境音合成装置７の構成を示すブロック図である。図２０は本実施例の環境音合成装置７の動作を示すフローチャートである。図１９に示すように、本実施例の環境音合成装置７は、データ受信部３１と、音源合成部７２と、テンプレート記憶部７３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。実施例４との違いは、実施例４における音源合成部４２と、テンプレート記憶部４３が、本実施例においてそれぞれ音源合成部７２と、テンプレート記憶部７３に変更されている点のみである。よって、音源合成部７２、テンプレート記憶部７３以外の各構成については説明を省略する。
【００７８】
実施例４では音源合成部４２においてテンプレート記憶部４３から環境音素片テンプレートをランダムに１つ選択して、伝送先での環境音を合成していたが、本実施例では、音源合成部４２に代わって、音源合成部７２が、テンプレート記憶部７３から環境音素片テンプレートを出力確率に応じて１以上選択して合成する（Ｓ７２）。
【００７９】
特に、声援・掛け声は拍手音と比較すると個人差が大きく、その内容にいくつかバリエーションがある。例えば、出演者が複数人いる場合などは、出演者の個人名やニックネームが声援や掛け声に含まれることがあり、出演者毎に異なる声援・掛け声のパターンが存在する。
【００８０】
ただし、声援や掛け声の音のパターン（ミックスを打つとも表現される）はコンテンツによりきめられていることが多く、声援や掛け声のセリフのバリエーションは多くない。また、ある曲の決められたタイミングで発せられることが多く、音響パワーの時間差が小さい。したがって、複数種類の声援や掛け声音の定型文を環境音素片テンプレートとして用意しておき、一つのテンプレートではなく、音量に応じたゆらぎを持たせた混合音にして再生することにより、毎回同じ声援や掛け声の音ではなく、発せられるタイミングにより別の環境音に類似した音を構成することができる。
【００８１】
以下では、伝送元で複数の出演者を含むコンテンツが演じられている（もしくは再生されている）場合を例に、環境音を伝送元とは異なる伝送先の会場で合成する環境音合成装置７の動作例を説明する。
【００８２】
前述したように、本実施例の環境音合成装置７は、実施例４における環境音合成装置４とほとんど同じ構成である。ただし、テンプレート記憶部７３に、複数種類の環境音素片テンプレートと各環境音素片テンプレートの出力確率とが対応付けて記憶されている点が異なる。複数種類の環境音素片テンプレートとは、例えば、コンテンツの出演者の各々の個人名やニックネームに対応する声援や掛け声の音響信号であり、予め用意しておくものとする。
【００８３】
以下、図２１を参照して説明を続ける。図２１は、テンプレート記憶部に環境音素片テンプレートと出力確率とを対応付けて記憶する例を例示する図である。
【００８４】
図２１のＡでは、環境音素片テンプレートの後のＰｉ（ｉ＝１，２，…，ｎ）、例えば「アリスー」の後のＰ１は、その対応する環境音素片テンプレートが出力される確率であり、Ｐ１＋Ｐ２＋…＋Ｐｎ＝１である。実施例４の動作例２はこの確率が共通であって（Ｐ１＝Ｐ２＝…＝Ｐｎ＝１／ｎ）環境音素片テンプレートをランダムに１つ選択して合成する場合に相当する。本実施例では、この確率がテンプレートごとに異なる。なお、図２１のＡは出演者ごとに１つの環境音テンプレートが記憶されている例であるが、図２１のＢのように出演者ごとに複数の環境音テンプレートが記憶されていて、各環境音テンプレートに出力確率が対応付けられていても良い。各テンプレートの確率は予め設定しておけば良い。例えば、伝送元や伝送先のコンサートホール等において各自が応援したい出演者を投票もしくは、事前に登録してもらうなどして、その会場の聴衆についての出演者の人気度のランキングを得ておき、その順位が高いほど出力確率が高くなるように、各テンプレートの出力確率を決定しておけば良い。あるいは、伝送先の聴衆に限らずに取得した人気度のランキングに基づいても良い。また、ある出演者の誕生日や引退など、特別なイベントを考慮して、該当出演者への環境音素片テンプレートの出力確率を高くするようにバイアスをかけてもよい。
【００８５】
これらの出力確率は、このシステムを動作させながらリアルタイムで変更してもよい。例えば、受聴者がボタンを押すなどのリアルタイムの投票数に応じて、出力確率値を時間的に変化させてもよい。
【００８６】
音源合成部７２では、テンプレート記憶部７３に記憶された出力確率に従って、テンプレートを１つ以上選択し、式（３’）または式（４）に従って環境音の音響信号を合成する。人数推定部４５で推定した人数Ｍが２名以上であって、テンプレートを２つ以上選択するとする。フレームｉについて選択するテンプレートの数をＳｉ（Ｓは２以上の整数）とすると、音源合成部７２は、フレームｉごとに
【００８７】
【数９】
2014063145.tif 000011
【００８８】
により合成した音響信号Ｙｉを出力する。ここで、Ｔｉ，ｋはフレームiについて選択したｋ番目のテンプレートであり、
【００８９】
【数１０】
2014063145.tif 000012
【００９０】
である。ここで、Ｍｋは、テンプレートＴｉ，ｋに対応する人数であり、
【００９１】
【数１１】
2014063145.tif 000013
【００９２】
となるように、テンプレートＴｉ，ｋの出力確率に応じて各Ｍｋの値を決定したものである。
【００９３】
以上の構成によれば、出演者の人気が反映された音量で、各出演者に対応する環境音が合成されるので、より場の盛り上がりや雰囲気を反映した環境音を合成することができる。
【実施例８】
【００９４】
引き続き、図１９、図２０、図２１を参照して実施例８の環境音合成装置８について説明する。図１９に示すように、本実施例の環境音合成装置８は、データ受信部３１と、音源合成部８２と、テンプレート記憶部８３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。実施例７との違いは、実施例７における音源合成部７２と、テンプレート記憶部７３が、本実施例においてそれぞれ音源合成部８２と、テンプレート記憶部８３に変更されている点のみである。
【００９５】
実施例７ではテンプレートごとに確率値を決めていたが、本実施例では図２１のＣに示すテンプレート記憶部８３のように、テンプレートを出演者毎にクラスタリングし、クラスタごとに出力確率を決定しても良い。この場合、音源合成部８２では、テンプレート記憶部８３に記憶された出力確率に従って、出演者に対応するクラスタを１つ以上選択し、選択した各クラスタに対応する１以上の環境音素片テンプレートの中からランダムに１つまたは複数の環境音素片テンプレートを選択する。なお、クラスタ内で複数の環境音素片テンプレートを選択する場合には、そのテンプレートにより出力される音響信号の音量の総和が、当該クラスタに対して割り当てられる音量となるように、テンプレートごとの音量を決定する。
【実施例９】
【００９６】
以下、実施例９の環境音合成装置９について説明する。本実施例の環境音合成装置９は、実施例７または８の環境音合成装置で合成した音声をヘッドマウントディスプレイに出力する。
【００９７】
ここで、テンプレート記憶部７３（８３）に記憶しておく各テンプレートもしくは各クラスタの出力確率は、ヘッドマウントディスプレイを装着する使用者の好みに応じて予め設定しておく。これにより、個人ごとに好みの環境音を提示することができる。ヘッドマウントディスプレイの装着者毎にあらかじめ定めた確率値に応じて、テンプレート記憶部７３（８３）から環境音素片テンプレートをあらかじめ定められた確率に応じて選択して合成すると、個人個人に応じた環境音を別々に提示することができる。ヘッドマウントディスプレイに限らず、ユーザが音響的に独立の場所でこのシステムを利用する場合には、場所ごとに異なる確率値でテンプレート記憶部７３（８３）から環境音素片テンプレートをあらかじめ定められた確率に応じて選択して合成することができる。
【実施例１０】
【００９８】
以下、実施例１０の環境音合成装置１０について説明する。上述の実施例７、８、９では、演者ごとに異なる環境音素片テンプレートを対応させていたが、本実施例の環境音合成装置１０では、演者全員に共通な環境音素片テンプレートを定義する。例えば確率値もしくはランダムに選択された環境音素片テンプレートがいわゆるミックス（声援や掛け声の音のパターン）でもよい。
【００９９】
なお、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０１００】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【０１０１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１０２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１０３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【０１０４】
なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2014063145.tif 000016
【図２】
2014063145.tif 000017
【図３】
2014063145.tif 000018
【図４】
2014063145.tif 000019
【図５】
2014063145.tif 000020
【図６】
2014063145.tif 000021
【図７】
2014063145.tif 000022
【図８】
2014063145.tif 000023
【図９】
2014063145.tif 000024
【図１０】
2014063145.tif 000025
【図１１】
2014063145.tif 000026
【図１２】
2014063145.tif 000027
【図１３】
2014063145.tif 000028
【図１４】
2014063145.tif 000029
【図１５】
2014063145.tif 000030
【図１７】
2014063145.tif 000031
【図１８】
2014063145.tif 000032
【図１９】
2014063145.tif 000033
【図２０】
2014063145.tif 000034
【図２１】
2014063145.tif 000035
【図１６】
2014063145.tif 000036