(57)【特許請求の範囲】
【請求項１】
環境音分析装置から出力された伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
前記環境音分析装置から出力された前記環境音量パラメタを取得するデータ受信部と、
１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、
前記環境音量パラメタで特定される音量に応じたテンプレートを前記テンプレート記憶部から選択し、前記環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、前記選択したテンプレートに残響を加え、当該残響を加えたテンプレートを合成することで環境音を生成する残響付加音源合成部とを含む、
環境音合成装置。
【請求項２】
請求項１の環境音合成装置であって、
前記残響付加音源合成部は、伝送元に存在する音源の個数に応じた空間の大きさに基づく残響を加える、
環境音合成装置。
【請求項３】
環境音分析装置から出力された伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成装置であって、
前記環境音分析装置から出力された前記環境音量パラメタを取得するデータ受信部と、
１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、
前記環境音量パラメタで特定される音量に応じたテンプレートを前記テンプレート記憶部から選択し、前記選択したテンプレートを合成して環境音を生成する残響付加音源合成部とを含む、
環境音合成装置。
【請求項４】
環境音分析装置から出力された伝送元の空間の大きさに基づく音響信号の残響に関する環境残響パラメタを取得して環境音を生成する環境音合成装置であって、
前記環境音分析装置から出力された前記環境残響パラメタを取得するデータ受信部と、
１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の残響に対応する情報とを対応付けて記憶するテンプレート記憶部と、
前記環境残響パラメタで特定される残響に応じたテンプレートを前記テンプレート記憶部から選択し、前記選択したテンプレートを合成して環境音を生成する残響付加音源合成部とを含む、
環境音合成装置。
【請求項５】
伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
データ受信部が、前記環境音量パラメタを取得するデータ受信ステップと、
残響付加音源合成部が、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部から前記環境音量パラメタで特定される音量に応じたテンプレートを選択し、前記環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、前記選択したテンプレートに残響を加え、当該残響を加えたテンプレートを合成することで環境音を生成する残響付加音源合成ステップとを含む、
環境音合成方法。
【請求項６】
伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
データ受信部が、前記環境音量パラメタを取得するデータ受信ステップと、
残響付加音源合成部が、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部から、前記環境音量パラメタで特定される音量に応じたテンプレートを選択し、前記選択したテンプレートを合成して環境音を生成する音源合成ステップとを含む、
環境音合成方法。
【請求項７】
伝送元の空間の大きさに基づく音響信号の残響に関する環境残響パラメタを取得して環境音を生成する環境音合成方法であって、
データ受信部が、前記環境残響パラメタを取得するデータ受信ステップと、
残響付加音源合成部が、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の残響に対応する情報とを対応付けて記憶するテンプレート記憶部から、前記環境残響パラメタで特定される残響に応じたテンプレートを選択し、前記選択したテンプレートを合成して環境音を生成する音源合成ステップとを含む、
環境音合成方法。
【請求項８】
請求項１から請求項４の何れかの環境音合成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伝送元で収音された環境音を、伝送先で再生する環境音合成装置、その方法及びプログラムに関する。
【背景技術】
【０００２】
実測データをもとに算出した個人差や、速度・大きさの揺らぎの程度を利用して、単独のユーザと同期するように複数の拍手音を合成し出力する技術が提案されている（非特許文献１）。また、ある地点の音を別の場所に伝送し再生する技術として、音響符号化技術が知られている。例えば、非特許文献２では、聴覚マスキングを巧みに利用し、また楽器の特性を利用して低域の成分を高域にコピーして使うという楽音の特性に合わせたモデルにより、低ビットレートで品質の高い音響符号化技術が提案されている。
【０００３】
非特許文献１は、ユーザと同調する複数の人がその場にいるような環境を仮想的に実現することを目的としたものであり、ユーザの拍手のピッチに合わせて仮想的な拍手音を合成する技術であり、実在する遠隔地の場の状況（拍手音や手拍子）を、別の場所に伝送し再現することはできなかった。また、声援・掛け声などの拍手音以外の環境音を伝送し再現することは対象としていない。また、拍手音や声援・掛け声などの環境音は純粋な音声や楽器音とは異なり白色雑音に近いため、非特許文献２のような従来の音響符号化技術ではうまく表現できず、音質が劣化していた。
【０００４】
伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現することができる環境音合成装置として、特許文献１が知られている。
【０００５】
特許文献１の環境音合成装置では、テンプレート記憶部に１フレーム分（一定時間分）の環境音のテンプレートと当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶しておき、音源合成部が受信した環境音量パラメタと同じ音量大きさのテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−６３１４５号公報
【非特許文献】
【０００７】
【非特許文献１】西村竜一、宮里勉、「仮想的集団による拍手音の合成」、電子情報通信学会技術研究報告、電子情報通信学会、1999年3月、MVE,マルチメディア・仮想環境基礎、98(684), p.17-24,
【非特許文献２】Stefan Meltzer and Gerald Moser,"MPEG-4 HE-AAC v2 - audio coding for today's digital media world," EBU technical review, Jan., 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、伝送元における残響を考慮していない。そのため、生成された環境音を再生すると、一点から環境音が発せられるように聞こえてしまい、実際には一点ではなく所定の空間から発せられる環境音を適切に再現することが難しい。特に、伝送元の空間が広い場合にその傾向が強くなる。
【０００９】
そこで本発明では、伝送元において収音された環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を残響を考慮して再現することができる環境音合成装置、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様によれば、環境音合成装置は、環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。環境音合成装置は、環境音分析装置から環境音量パラメタを受信するデータ受信部と、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、環境音量パラメタで特定される音量に応じたテンプレートをテンプレート記憶部から選択し、選択したテンプレートに環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、残響を加えたテンプレートを合成することで環境音を生成する残響付加音源合成部とを含む。
【００１１】
上記の課題を解決するために、本発明の他の態様によれば、環境音合成装置は、環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。環境音合成装置は、環境音分析装置から環境音量パラメタを受信するデータ受信部と、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部と、環境音量パラメタで特定される音量に応じたテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する残響付加音源合成部とを含む。
【００１２】
上記の課題を解決するために、本発明の他の態様によれば、環境音合成装置は、環境音分析装置から伝送元の空間の大きさに基づく音響信号の残響に関する環境残響パラメタを取得して環境音を生成する。環境音合成装置は、環境音分析装置から環境残響パラメタを受信するデータ受信部と、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の残響に対応する情報とを対応付けて記憶するテンプレート記憶部と、環境残響パラメタで特定される残響に応じたテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する残響付加音源合成部とを含む。
【００１３】
上記の課題を解決するために、本発明の他の態様によれば、環境音合成方法は、伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。環境音合成方法は、データ受信部が、環境音量パラメタを受信するデータ受信ステップと、残響付加音源合成部が、１フレーム分の環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部から環境音量パラメタで特定される音量に応じたテンプレートを選択し、選択したテンプレートに環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、残響を加えたテンプレートを合成することで環境音を生成する残響付加音源合成ステップとを含む。
【００１４】
上記の課題を解決するために、本発明の他の態様によれば、環境音合成方法は、伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。環境音合成方法は、データ受信部が、環境音量パラメタを受信するデータ受信ステップと、残響付加音源合成部が、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶するテンプレート記憶部から、環境音量パラメタで特定される音量に応じたテンプレートを選択し、選択したテンプレートを合成して環境音を生成する音源合成ステップとを含む。
【００１５】
上記の課題を解決するために、本発明の他の態様によれば、環境音合成方法は、伝送元の空間の大きさに基づく音響信号の残響に関する環境残響パラメタを取得して環境音を生成する。環境音合成方法は、データ受信部が、環境残響パラメタを受信するデータ受信ステップと、残響付加音源合成部が、１フレーム分の残響を加えた環境音のテンプレート（以下、テンプレートという）と当該テンプレートの環境音の残響に対応する情報とを対応付けて記憶するテンプレート記憶部から、環境残響パラメタで特定される残響に応じたテンプレートを選択し、選択したテンプレートを合成して環境音を生成する音源合成ステップとを含む。
【発明の効果】
【００１６】
本発明によれば、伝送元において収音された環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を残響を考慮して再現することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の環境音伝送システムの構成例を示すブロック図。
【図２】実施例１の環境音分析装置の構成を示すブロック図。
【図３】実施例１の環境音分析装置の動作を示すフローチャート。
【図４】実施例２の環境音分析装置の構成を示すブロック図。
【図５】実施例２の環境音分析装置の動作を示すフローチャート。
【図６】実施例２のパラメタ変換部のパラメタ生成手順を例示する図。
【図７】実施例２の変形例１の環境音分析装置の構成を示すブロック図。
【図８】実施例２の変形例１の環境音分析装置の動作を示すフローチャート。
【図９】実施例３、実施例５の環境音合成装置の構成を示すブロック図。
【図１０】実施例３の環境音合成装置の動作を示すフローチャート。
【図１１】実施例３の残響付加音源合成部の残響付加方法を説明するための図。
【図１２】実施例４の環境音合成装置の構成を示すブロック図。
【図１３】実施例４の環境音合成装置の動作を示すフローチャート。
【図１４】実施例４の音源合成部の環境音素片テンプレート合成手順を例示する図。
【図１５】実施例５の環境音合成装置の動作を示すフローチャート。
【図１６】実施例６の環境音分析装置の構成を示すブロック図。
【図１７】実施例６の環境音分析装置の動作を示すフローチャート。
【図１８】実施例７、８の環境音合成装置の構成を示すブロック図。
【図１９】実施例７の環境音合成装置の動作を示すフローチャート。
【図２０】実施例８の環境音分析装置の動作を示すフローチャート。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１９】
拍手や手拍子音、声援・掛け声などの環境音の総音量は、観客の人数が多いほど大きくなる。本発明では、環境音そのものを伝送するのではなく、環境音の音量を表す情報だけを伝送する。そして、伝送先では予め記憶された環境音のテンプレートを、音量を表す情報に応じて変換することにより、伝送元の環境音（に類似した音）を再生する。
【００２０】
また、拍手や手拍子音の一拍（一度両手を合わせて打つこと）は、音響パワーの個人差が小さい。また、一拍と一拍の時間間隔（以下、拍手間隔ともいう）の個人差も小さく、２００ｍｓ〜３００ｍｓ程度である。したがって、ある人の拍手音（一拍分）を環境音素片テンプレートとして用意しておき、それを個人差に応じたゆらぎ（２００ｍｓ〜３００ｍｓ）を持たせた間隔で繰り返し再生することにより、別の人の拍手音に類似した音を構成することができる。
【００２１】
＜環境音伝送システム＞
以下、図１を参照して本発明の環境音伝送システムについて説明する。図１は本発明の環境音伝送システムの構成例を示すブロック図である。図１に示すように、本発明の環境音伝送システムは、伝送元の環境音分析装置と、伝送先の環境音合成装置から構成される。図１Ａに示すように、後述する実施例１，２，２’の環境音分析装置は、入力された音響信号（環境音）の音量に対応する情報（環境音量パラメタＰｊ、以下単にパラメタともいう）を抽出し、出力する。後述する実施例４，５の環境音合成装置は、予め記憶された環境音のテンプレートを用いて、入力された環境音量パラメタＰｊを用いてテンプレートを選択し、選択したテンプレートを用いて環境音を合成し、出力する。また、図１Ｂに示すように、後述する実施例６の環境音分析装置は、入力された音響信号（環境音）の音量に対応する情報（環境音量パラメタＰｊ、以下単にパラメタＰｊともいう）と、音響信号（環境音）の残響に対応する情報（環境残響パラメタＲＰｊ、以下単にパラメタＲＰｊともいう）とを抽出し、出力する。後述する実施例７，８の環境音合成装置は、予め記憶された環境音のテンプレートを用いて、入力された環境残響パラメタＲＰｊまたは環境音量パラメタＰｊを用いて、テンプレートを選択し、選択したテンプレートを用いて環境音を合成し、出力する。以下、実施例１において環境音分析装置１、実施例２において環境音分析装置２、実施例２の変形例１において環境音分析装置２’、実施例３において環境音合成装置３、実施例４において環境音合成装置４、実施例５において環境音合成装置５、実施例６において環境音分析装置６、実施例７において環境音合成装置７、実施例８において環境音合成装置８をそれぞれ説明する。また、環境音分析装置１，２，２’と環境音合成装置３、４、５との組み合わせを環境音伝送システム１０００、環境音分析装置６と環境音合成装置７，８との組み合わせを環境音伝送システム２０００と呼ぶ。
【実施例１】
【００２２】
以下、図２、図３を参照して本発明の実施例１の環境音分析装置について説明する。図２は本実施例の環境音分析装置１の構成を示すブロック図である。図３は本実施例の環境音分析装置１の動作を示すフローチャートである。図２に示すように、本実施例の環境音分析装置１は、収音部１１と、音量計算部１２と、パラメタ変換部１３と、データ送信部１４とを備える。
【００２３】
＜収音部１１＞
収音部１１は伝送元の音を収音する（Ｓ１１）。ここでは、収音部１１には伝送元の拍手音が入力されるものとする。
【００２４】
＜音量計算部１２＞
音量計算部１２は、拍手音の音響信号を取得する。音量計算部１２が取得する拍手音の音響信号は、所定のサンプリング周波数でサンプリングされた信号列とする。ここで、Ｘｊを第ｊフレームの音響信号とし、Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（Ｎ））（Ｎはフレームあたりのサンプル数）とする。例えば８ｋＨｚサンプリングのときに１フレーム２０ｍｓとすると、Ｎ＝１６０である。なお、遅延が短い方が良ければフレームの長さを短くし、遅延が長くなっても良ければ、フレームの長さを長くすれば良い。音量計算部１２は、フレーム毎に、入力された拍手音の音響信号の音量に対応する値（以下、「拍手音量に対応する値」ともいう）を求めて出力する。具体的には、音量計算部１２は、フレーム毎に、入力された拍手音の音響信号Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（Ｎ））の平均エネルギー
【００２５】
【数１】
0006512607.tif 000002
【００２６】
を計算する（Ｓ１２）。
【００２７】
＜パラメタ変換部１３＞
パラメタ変換部１３は、音量計算部１２から出力された拍手音量に対応する値を取得する。パラメタ変換部１３は、取得した拍手音量に対応する値を量子化し、環境音量パラメタを出力する。具体的には、パラメタ変換部１３は、平均エネルギーＥｊの取りうる範囲（例えばｘｊ（ｉ）（ｉ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が２＾３０となる）をあらかじめ定められた場合の数（例えば１６ｂｉｔ）に量子化し、そのインデックスを環境音量パラメタＰｊとして出力する（Ｓ１３）。
【００２８】
＜データ送信部１４＞
データ送信部１４は、パラメタ変換部１３が出力した環境音量パラメタＰｊを伝送先の環境音合成装置３（または４、５）に送信する（Ｓ１４）。環境音合成装置３，４，５についてはそれぞれ実施例３，４，５に記載する。
【００２９】
このように、本実施例の環境音分析装置１によれば、伝送元において収音された拍手音を効率よく低遅延に伝送することができる。
【００３０】
[実施例１の動作例２]
上述の実施例１では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置１の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。
【００３１】
実施例１の動作例２における環境音分析装置１は、環境音分析装置１の収音部１１、音量計算部１２、パラメタ変換部１３、データ送信部１４の各部で取り扱われる拍手音および拍手音量が、環境音及び環境音の音量に置き換わる点を除いては、上述の動作例と同じである。
【００３２】
拍手音や声援・掛け声、雑音などは、いずれも伝送元の会場の雰囲気を決定づける重要な要素である一方で、いろいろな音響信号が混合された白色雑音に近い信号である。前述したようにこれらの音を環境音と呼ぶ。伝送元で環境音が発せられたタイミング及び音量が保たれていれば、信号そのものは伝送元の環境音と全く同じ信号でなくとも、場の雰囲気を再現することができる。そこで、環境音分析装置１において、伝送元の環境音の音量に関するパラメタを抽出することで、伝送元において収音された環境音を効率よく低遅延に伝送することができる。
【実施例２】
【００３３】
以下、図４、図５、図６を参照して本発明の実施例２の環境音分析装置について説明する。図４は本実施例の環境音分析装置２の構成を示すブロック図である。図５は本実施例の環境音分析装置２の動作を示すフローチャートである。図６は本実施例のパラメタ変換部２３のパラメタ生成手順を例示する図である。図４に示すように、本実施例の環境音分析装置２は、収音部１１と、音量計算部１２と、パラメタ変換部２３と、データ送信部１４とを備える。収音部１１、音量計算部１２、データ送信部１４は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから説明を適宜略する。
【００３４】
＜音量計算部１２＞
音量計算部１２は、４８ｋＨｚサンプリングでサンプリングされた信号列であり、１フレーム６サンプル（Ｎ＝６）で構成される信号列Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（６））を取得する。音量計算部１２は、フレーム毎に、入力された拍手音響信号Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（６））から、平均エネルギー
【００３５】
【数２】
0006512607.tif 000003
【００３６】
を計算する（Ｓ１２）。
【００３７】
＜パラメタ変換部２３＞
パラメタ変換部２３は、求めた平均エネルギーＥｊを以下の式により変形した列Ｆｊを求める。
【００３８】
【数３】
0006512607.tif 000004
【００３９】
つまり、図６に示すように、ガウス関数や床関数により整数値化されたＦｊの取りうる値（０〜３２７６８）のうち、奇数の値に負の符号を与え、さらに１を減じる。これにより、Ｆｊはすべて偶数の値を取ることになる。次に、全部偶数になったＦｊの各々を２で割る（右に１ビットシフトでも構わない）。この値をＧ．７１１準拠の範囲に収めるために、μ−ｌａｗを使うのであればさらに２で割り（右に１ビットシフトでもよい）値Ｇｊを求める。そして、Ｇに対して、ＩＴＵ−Ｔ＿Ｇ．７１１の符号化処理を行い、ＧｊをＧ．７１１の符号（番号）に変換する。４８ｋＨｚサンプリング６サンプル分を一塊（１フレーム）にすると８ｋＨｚの１サンプル分に相当するので、上記のＧｊ毎にＧ．７１１のシンボル１つを割り当てることができる。割り当てられたシンボル列をパラメタＰｊとして出力する（Ｓ２３）。パラメタＰｊは通常の音声と同様に固定電話回線を用いて伝送すると遅延が短くすむ。式（１）のかわりに式（２）のように対数を用いてもよい。
【００４０】
【数４】
0006512607.tif 000005
【００４１】
また、平方根演算や対数演算は多項式近似（テイラー展開など）で演算量を削減してもよい。
【００４２】
[実施例２の変形例１]
以下、図７、図８を参照して実施例２のパラメタ変換部２３に変更を加えた変形例１の環境音分析装置について説明する。図７は本変形例の環境音分析装置２’の構成を示すブロック図である。図８は本変形例の環境音分析装置２’の動作を示すフローチャートである。図７に示すように、本変形例の環境音分析装置２’は、収音部１１と、音量計算部１２と、パラメタ変換部２３’と、データ送信部１４とを備える。収音部１１、音量計算部１２、データ送信部１４は実施例２の環境音分析装置２における同一番号の各構成部と同じであるから説明を適宜略する。
【００４３】
＜パラメタ変換部２３’＞
パラメタ変換部２３’は、図６のようなマッピング演算の代わりに、Ｆｊの取りうる０〜３２７６８の値を直接８ｂｉｔのシンボルにマッピングするマッピングテーブル２３Ａを予め備えており、マッピングテーブル２３Ａを参照してパラメタＰｊを求める（Ｓ２３’）。または、パラメタ変換部２３’は、Ｆｊの取りうる０〜３２７６８の値をあらかじめビットシフト等により場合の数を減らしてから、マッピングテーブル２３Ａを用いてパラメタＰｊを求めてもよい。この場合はマッピングテーブル２３Ａの大きさを削減できる。Ｆｊはデシベル単位に変換したものを用いてもよい。
【００４４】
実施例２及び変形例１の環境音分析装置は以下の効果を有する。収音された拍手音の音響信号は正の値となるため、Ｅｊの平方根の値の取りうる範囲は正の整数値、例えばｘｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は最小値が０で最大値が３２７６８となる。このまま、パラメタ変換部でＩＴＵ−Ｔ＿Ｇ．７１１の符号化を行うと、符号化効率が悪くなるという問題がある。上記式（１）の変形を行うと、例えばｘｊ（ｎ）（ｎ＝１，２，…，Ｎ）が符号付き１６ｂｉｔの場合は、Ｆｊの取りうる範囲は−１６３８４から１６３８４になる。そこで、パラメタ変換部においてＥｊの取りうる範囲が負の整数値から正の整数値の範囲となるように変換した値Ｆｊを用いることにより、符号化効率を向上させることができ、パラメタＰｊの情報量を削減することができる。つまり、伝送遅延をより少なくすることが可能となる。
【００４５】
[実施例２の動作例２]
上述の実施例２および実施例２の変形例１では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置２（２’）の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。
【００４６】
実施例２の動作例２においては、環境音分析装置２（２’）の収音部１１、音量計算部１２、パラメタ変換部２３または２３’、データ送信部１４の各部で取り扱われる拍手音および拍手音量が、環境音及び環境音の音量に置き換わる点を除いては、上述の動作例と同じである。
【実施例３】
【００４７】
以下、図９、図１０を参照して本発明の実施例３の環境音合成装置について説明する。図９は本実施例の環境音合成装置３の構成を示すブロック図である。図１０は本実施例の環境音合成装置３の動作を示すフローチャートである。図９に示すように、本実施例の環境音合成装置３は、データ受信部３１と、残響付加音源合成部３２と、テンプレート記憶部３３と、再生部３４とを備える。環境音合成装置３は環境音分析装置１（２、２’）から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する装置である。以下、実施例１、２で詳述した動作例に従い、環境音の例として拍手音を用いて説明を進める。
【００４８】
＜データ受信部３１＞
データ受信部３１は、環境音分析装置から環境音量パラメタＰｊを受信する（Ｓ３１）。
【００４９】
＜テンプレート記憶部３３＞
テンプレート記憶部３３には、拍手音の各音量バリエーションに対して複数の拍手音（１フレーム分）のテンプレートが記憶されている。つまり、テンプレート記憶部３３には、ｉをフレームのインデックスとした場合に、１フレーム分の拍手音を含む環境音のテンプレートＴｉと当該テンプレートの環境音の音量に対応する情報Ｅ’ｉとが対応付けて記憶されているものとする。なお、テンプレートの環境音の音量に対応する値は、各テンプレートＴｉを入力として、上記実施例１または２の音量計算部１２及びパラメタ変換部１３（２３）と同じ方法により求めることができる。なお、実施例１または２のどの方法を用いるかは、環境音分析装置と環境音合成装置との間で統一しておくものとする。
【００５０】
＜残響付加音源合成部３２＞
残響付加音源合成部３２は、入力された環境音量パラメタＰｊで特定される音量に応じたテンプレートのうちいずれか１つをテンプレート記憶部３３からランダムに選択する。つまり、Ｐｊ＝Ｅ’ｉを満たすＥ’ｉに対応づけられているテンプレートＴｉのうち、いずれか１つをランダムに選択する。残響付加音源合成部３２は、選択したテンプレートに環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、テンプレートに残響を加え、残響を加えたテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ３２）。ここでは、環境音量パラメタで特定される音量が大きいほど、伝送元の空間の広いと仮定する。例えば、環境音量パラメタＰｊの値が所定の閾値よりも小さい場合は、狭い空間であることが想定されるので、図１１Ａのように、テンプレートに短い残響Ｈｓを畳み込む。また、環境音量パラメタＰｊの値が閾値以上の場合は、広い空間であることが想定されるので、図１１Ｂのように、テンプレートに短い残響Ｈｓとともに長い残響Ｈｌを畳み込む。所定の閾値は、例えば実験やシュミレーション等により適切な値を調べ、設定すればよい。例えば、２０ｍｓのフレームあたり環境音量パラメタに８ｂｉｔのバリエーションがあったとすると、４００ｂｉｔ／ｓｅｃで拍手音を伝送できる。なお、音量が大きいほど、残響が長くなるという特性が前述の残響特性に相当する。
【００５１】
＜再生部３４＞
再生部３４は、残響付加音源合成部３２が合成した拍手音を再生する（Ｓ３４）。
【００５２】
このように、本実施例の環境音合成装置３によれば、テンプレート記憶部３３に拍手音の各音量バリエーションに対して複数のテンプレートを保持しておき、残響付加音源合成部３２が音量の条件を充たす複数のテンプレートから１つのテンプレートをランダムに選択するため、合成された拍手音が定常的なパターンとして聞こえないようにすることができる。さらに、選択したテンプレートに環境音量パラメタで特定される音量に応じた残響を加えるため、伝送先で伝送元の場の雰囲気を残響を考慮して再現することができる。
【００５３】
[実施例３の動作例２]
実施例３では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置３の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声や、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音とし、伝送元の環境音量パラメタが入力され、伝送先で環境音を合成してもよい。
【００５４】
実施例３の動作例２では、実施例３の環境音合成装置３のデータ受信部３１と、残響付加音源合成部３２と、テンプレート記憶部３３と、再生部３４において、拍手音が環境音に置き換わる点を除いては、上述の動作例と同じである。なお、以降において説明する環境音分析装置、環境音合成装置においても同様に拍手音以外の環境音を対象としても良い。
【実施例４】
【００５５】
以下、図１２、図１３、図１４を参照して本発明の実施例４の環境音合成装置について説明する。図１２は本実施例の環境音合成装置４の構成を示すブロック図である。図１３は本実施例の環境音合成装置４の動作を示すフローチャートである。図１４は本実施例の残響付加音源合成部４２の環境音素片テンプレート合成手順を例示する図である。図１２に示すように、本実施例の環境音合成装置４は、データ受信部３１と、残響付加音源合成部４２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６とを備える。データ受信部３１、再生部３４は実施例３の環境音合成装置３における同一番号の各構成部と同じであるから説明を省略する。
【００５６】
＜テンプレート記憶部４３＞
テンプレート記憶部４３には、一人の人間による一拍分の拍手音（３００ｍｓ程度）のテンプレートの複数のバリエーションが記憶されている。本実施例では環境音の例として拍手音を扱うため、拍手音のテンプレートを環境音素片テンプレートのバリエーションのひとつとする。従って、以下では拍手音のテンプレートを環境音素片テンプレートともいう。例えば、異なる人の一拍分の拍手音をそれぞれ異なる環境音素片テンプレートとして記憶しておく。以下、単にテンプレートという場合には、所定フレーム長の複数人による拍手音（環境音）全体を収録したテンプレートを指すものとし、環境音素片テンプレートという場合には、一人の人間による一拍分の拍手音（環境音）のテンプレートを指すものとする。
【００５７】
＜テンプレート音量記憶部４６＞
テンプレート音量記憶部４６には、テンプレート記憶部４３に記憶されている環境音素片テンプレートの音量に対応する情報（具体的には、実施例１または２の音量計算部１２により計算される、平均エネルギー）が記憶されている。なお、１人分の拍手音の音量の差は小さいので、テンプレート記憶部４３に記憶されている環境音素片テンプレートのいずれか一つについて計算された平均エネルギーを環境音素片テンプレートの音量に対応する情報として記憶しておいてもよい。また、テンプレート記憶部４３に記憶されている全環境音素片テンプレートの平均エネルギーの平均値を、環境音素片テンプレートの音量に対応する情報としてテンプレート音量記憶部４６に記憶しておいてもよい。あるいは、予め定めた定数を音量に対応する情報としてテンプレート音量記憶部４６に記憶しておいても良い。
【００５８】
なお、テンプレート音量記憶部４６に予め環境音素片テンプレートの音量に対応する情報を記憶せず、その都度テンプレート記憶部４３からランダムに選択した環境音素片テンプレートについて計算した平均エネルギーを環境音素片テンプレートの音量に対応する情報として用いても良い。
【００５９】
＜人数推定部４５＞
人数推定部４５は、環境音量パラメタＰｊに応じて音量のゲイン調整を行うための構成である。人数推定部４５は、伝送元から出力された環境音量パラメタＰｊを取得し、当該環境音量パラメタＰｊから音量に対応する情報Ｅ’ｊを求める。具体的には、実施例１または２のパラメタ変換部１３（２３）と逆の処理を行うことにより、音量に対応する情報Ｅ’ｊを得る。人数推定部４５は、音量に対応する情報Ｅ’ｊを環境音素片テンプレートの音量に対応する情報で除算した値の整数値（小数点以下を四捨五入、または切り捨てた値）を拍手の人数Ｍとして出力する（Ｓ４５）。
【００６０】
＜残響付加音源合成部４２＞
残響付加音源合成部４２は、テンプレート記憶部４３から環境音素片テンプレートをランダムに選択して、環境音量パラメタで特定される音量とその音量に応じた残響特性とを用いて、テンプレートに残響を加え、残響を加えた環境音素片テンプレートを合成することで環境音を生成する（Ｓ４２）。ここでは（環境音量パラメタで特定される音量に応じた）人数に応じて空間の広さが変化すると仮定する。例えば、10人(M=10)程度の拍手であれば10人程度の人が入れる空間の大きさに応じた残響を加え、100人(M=100)程度の拍手であれば100人程度の人が入れる空間の大きさに応じた残響を加える。なお、空間の大きさに応じて残響の長さが変化するという特性が前述の残響特性に相当する。例えば、コンサート会場等における、観客間の間隔は50〜70cm程度なので、その値から空間の大きさを推定する。例えば、円形、正方形、直線、格子状または、それらの組合せからなる形状に、50〜70cmの間隔で人間を配置したとして、空間の大きさを推定する。人数が少ない場合、例えば、環境音量パラメタＰｊの値が小さく、Ｍの値が閾値よりも小さい場合は、狭い空間であることが想定されるので、図１１Ａのように、環境音素片テンプレートに短い残響Ｈｓを畳み込む。人数が多い場合、例えば、環境音量パラメタＰｊの値が大きく、Ｍの値が閾値以上の場合は、広い空間であることが想定されるので、図１１Ｂのように、環境音素片テンプレートに短い残響Ｈｓとともに長い残響Ｈｌを畳み込む。
【００６１】
例えば、拍手音の間隔を特許文献１と同様とする。例えば、Ｍ＝１の場合、図１４Ａのように、約３００ｍｓごとにランダムに選択された環境音素片テンプレートＴｉを用いて合成した波形に残響を付加して拍手音として出力する。前述のように合成の時間間隔は約３００ｍｓでよいが、より好ましくは３００ｍｓを中心として時間間隔に揺らぎを持たせてもよい。時間間隔に揺らぎを持たせることによってさらに自然な拍手音を合成することができる。たとえば３００ｍｓを中心としてガウス分布にしたがう乱数により、±数１０ｍｓの揺らぎを持たせればよい。例えば残響付加音源合成部４２は
【００６２】
【数５】
0006512607.tif 000006
【００６３】
によりテンプレートを変換した拍手音Ｙｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ４２）。なお、式中、Ｈは残響を示し、前述の通り、Ｍの値に応じて短い残響Ｈｓまたは長い残響Ｈｌを用いる。Ｍ＝１の場合には、狭い空間であることが想定されるので、短い残響Ｈｓを用いる。別の表現方法で書くと、時系列テンプレート信号Ｔｉ＝（ｔｉ［１］  ｔｉ［２］  …  ｔｉ［Ｐ］）と拍手タイミングを表すインパルスδ（ｉ・τ＋σｉ）とを用いて、合成音Ziを求め、残響Ｈを畳み込み、Ｙｉを求め、出力とする。
【００６４】
【数６】
0006512607.tif 000007
【００６５】
ここで＊は畳み込み演算を表す。ここで、τ＝３００ｍｓであり、σｉは−１０ｍｓ≦σｉ≦＋１０ｍｓの範囲で生成した乱数である。また、δ関数ではなく時間方向に揺れている伝達関数(残響)Hを畳み込み、Ｙｉを求めてもよい。
【００６６】
【数７】
0006512607.tif 000008
【００６７】
環境音量パラメタによりＭ人分の拍手を合成する場合は、図１４Ｂのように、時間間隔を約３００／Ｍ（ｍｓ）ごとにランダムに選択された環境音素片テンプレートを用いて合成された波形に残響を付加して拍手音として出力する。人数Ｍの逆数を使って、時間間隔を約３００／Ｍ（ｍｓ）と設定することで、拍手の人数Ｍが増えるに従って時間間隔が小さくなるように設定することができる。この場合もガウス分布やラプラス分布に従う乱数によって、揺らぎを持たせることができる。例えば残響付加音源合成部４２は、
【００６８】
【数８】
0006512607.tif 000009
【００６９】
によりテンプレートを変換し、残響を付加した環境音Ｙｉ（ｉ＝０，１，２，・・・）を出力する（Ｓ４２）。
【００７０】
このように、本実施例の環境音合成装置４によれば、実施例３のように音量ごとにテンプレートを用意しておく必要がなく、テンプレート記憶部４３に記憶しておく環境音素片テンプレートの数も少なくてよいため、環境音合成装置４のメモリ量を削減することができる。さらに、人数に応じて空間の広さを推定することができ、より適切な残響を生成し、より適切に伝送元の場の雰囲気を再現することができると考えられる。なお、本実施例のポイントは、環境音素片テンプレートを用いて合成された波形に残響を付加して拍手音とすることなので、拍手音の間隔については他の方法を用いて設定してもよい。
【００７１】
[実施例４の動作例２]
実施例４は、伝送元の伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音の音量に関するパラメタを取得して、伝送先で拍手音を生成する環境音合成装置４を説明したが、これに限らず拍手音以外の環境音を対象としても良い。上述では、一人の人間による一拍分の拍手音（３００ｍｓ程度）のテンプレートを環境音素片テンプレートの例として示したが、これに限らず、たとえば、一人の人間による一拍分の声援、掛け声のテンプレートを環境音素片テンプレートとしてもよい。
【００７２】
実施例４の動作例２では、実施例４の環境音合成装置４のデータ受信部３１と、残響付加音源合成部４２と、テンプレート記憶部４３と、再生部３４と、人数推定部４５と、テンプレート音量記憶部４６において取り扱われるデータが拍手音から環境音に置き換わる点を除いては、上述の動作例と同じである。
【００７３】
なお、残響付加音源合成部４２において、式（３）の代わりに、時系列テンプレート信号Ｔｉ＝（ｔｉ［１］  ｔｉ［２］  …  ｔｉ［Ｐ］）と環境音タイミングを表すインパルスδ（ｍ・τ＋σｍ）とを用いて、合成音Ziを求め、残響Ｈを畳み込み、Ｙｉを求め、Ｙｉを出力としても良い。
【００７４】
【数９】
0006512607.tif 000010
【００７５】
ここで＊は畳み込み演算を表す。
【００７６】
また、テンプレート記憶部４３に記憶しておく環境音素片テンプレートの波形のエネルギーをあらかじめ正規化してあってもよい。その場合は、人数推定部４５のパラメタに応じで、音量（ゲイン）を調整すればよい。この場合もメモリ量を少なくしながらバリエーションを増やすことができる。
【実施例５】
【００７７】
以下、実施例３と異なる部分を中心に説明する。
【００７８】
以下、図９、図１５を参照して本発明の実施例５の環境音合成装置について説明する。図９は本実施例の環境音合成装置５の構成を示すブロック図である。図１５は本実施例の環境音合成装置５の動作を示すフローチャートである。図９に示すように、本実施例の環境音合成装置５は、データ受信部３１と、残響付加音源合成部５２と、テンプレート記憶部５３と、再生部３４とを備える。残響付加音源合成部５２及びテンプレート記憶部５３以外の各構成部は実施例３の環境音合成装置３における同一番号の各構成部と同じであるから説明を省略する。
【００７９】
＜テンプレート記憶部５３＞
テンプレート記憶部５３には、拍手音の各音量バリエーションに対して残響を加えた複数の拍手音（以下「残響付加済の拍手音」ともいう、これを１フレーム分）のテンプレートが記憶されている。つまり、テンプレート記憶部５３には、ｉをフレームのインデックスとした場合に、１フレーム分の残響付加済の拍手音を含む環境音のテンプレートＴｉと当該テンプレートの環境音の音量に対応する情報Ｅ’ｉとが対応付けて記憶されているものとする。ここでは、環境音量パラメタで特定される音量が大きいほど、伝送元の空間の広いと仮定する。そのため、音量が大きいほど、伝送元の空間の広く、残響は長くなる。つまり、本実施例のテンプレート記憶部５３に記憶されるテンプレートには、既に、残響特性(音量が大きいほど、残響は長くなるという特性)に応じた残響が加えられていると言える。
【００８０】
なお、残響付加済の拍手音は、所望の残響を観測できる場所で録音したものでもよいし、残響がない（または少ない）状態で録音した信号に残響を畳み込んだものでもよい。
【００８１】
＜残響付加音源合成部５２＞
残響付加音源合成部５２は、入力された環境音量パラメタＰｊで特定される音量に応じた（残響付加済の拍手音の）テンプレートをテンプレート記憶部５３から選択し、選択したテンプレートを合成して環境音を生成し（Ｓ５２）、出力する。
【００８２】
例えば、1つ以上の閾値を設け、テンプレート記憶部５３では、閾値と環境音の音量に対応する情報Ｅ’ｉとの大小関係により、テンプレートを複数のグループに分けておく。残響付加音源合成部５２は、環境音量パラメタＰｊと閾値との大小関係により、何れのグレープに含まれるテンプレートを選択するか決定する。
【００８３】
(グループ例1)
例えば、二つの閾値Th1とTh2(Th1<Th2)を設け、Ｅ’ｉ<Th1となるテンプレートを短い残響が畳み込まれたテンプレートのグループ(以下DB1-1ともいう)に、Ｅ’ｉ>Th2となるテンプレートを長い残響が畳み込まれたテンプレートのグループ(以下DB1-3ともいう)に、Th1≦Ｅ’ｉ≦Th2となるテンプレートを中くらいの残響が畳み込まれたテンプレートのグループ(以下DB1-2ともいう)に分類する。
【００８４】
(選択例１−１)
残響付加音源合成部５２は、Ｐｊ<Th1のときにDB1-1からテンプレートを選択し、Th1≦Ｐｊｉ≦Th2のときにDB1-1及びDB1-2からテンプレートを選択し、Th2<ＰｊのときにDB1-1,DB1-2及びDB1-3からテンプレートを選択する。
【００８５】
(選択例１−２)
閾値で完全に分けずに、音量に応じて各DBから選ばれるテンプレートに確率の重みを付けて選択しても良い。
【００８６】
例えば、残響付加音源合成部５２は、Ｐｊ<Th1のときに70パーセントの確率でDB1-1からテンプレートを選択し、20パーセントの確率でDB1-2からテンプレートを選択し、10パーセントの確率でDB1-3からテンプレートを選択する。また、Th1≦Ｐｊｉ≦Th2のときに80パーセントの確率でDB1-1及びDB1-2からテンプレートを選択し、20パーセントの確率でDB1-3からテンプレートを選択する。また、Th2<Ｐｊのときに10パーセントの確率でDB1-1からテンプレートを選択し、20パーセントの確率でDB1-2からテンプレートを選択し、70パーセントの確率でDB1-3からテンプレートを選択する。
【００８７】
(グループ例２)
例えば、二つの閾値Th1とTh2(Th1<Th2)を設け、Ｅ’ｉ<Th1となるテンプレートを短い残響が畳み込まれたテンプレートのグループ(以下DB2-1ともいう)に、Ｅ’ｉ≦Th2となるテンプレートを短い残響と中くらいの残響とが畳み込まれたテンプレートのグループ(以下DB2-2ともいう)に、Ｅ’ｉ>Th2となるテンプレートを短い残響と中くらいの残響と長い残響とが畳み込まれたテンプレートのグループ(以下DB2-3ともいう)に分類する。
【００８８】
(選択例２−１)
残響付加音源合成部５２は、Ｐｊ<Th1のときにDB2-1からテンプレートを選択し、Th1≦Ｐｊｉ≦Th2のときにDB2-2からテンプレートを選択し、Th2<ＰｊのときにDB2-3からテンプレートを選択する。
【００８９】
(選択例２−２)
閾値で完全に分けずに、音量に応じて各DBから選ばれるテンプレートに確率の重みを付けて選択しても良い。例えば、選択例１−２と同様の方法により選択する。
【００９０】
このような構成により、残響付加音源合成部において畳み込み処理に伴う演算量、時間を省くことができる。なお、本実施例と実施例４とを組合せてもよい。
【実施例６】
【００９１】
以下、図１６、図１７を参照して本発明の実施例６の環境音分析装置について説明する。図１６は本実施例の環境音分析装置６の構成を示すブロック図である。図１７は本実施例の環境音分析装置６の動作を示すフローチャートである。図１６に示すように、本実施例の環境音分析装置６は、収音部１１と、音量計算部１２と、パラメタ変換部６３と、データ送信部６４と、空間計算部６５を備える。パラメタ変換部６３、データ送信部６４、及び空間計算部６５以外の各構成部は実施例１の環境音分析装置１における同一番号の各構成部と同じであるから説明を省略する。
【００９２】
＜空間計算部６５＞
空間計算部６５は、拍手音の音響信号を取得する。空間計算部６５は、フレーム毎に入力された拍手音の音響信号Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（Ｎ））の残響に対応する値を求め（Ｓ６５）、出力する。具体的には、空間計算部６５は、フレーム毎に、入力された拍手音の音響信号Ｘｊ＝（ｘｊ（１），ｘｊ（２），…，ｘｊ（Ｎ））の直接音と残響音との平均エネルギー比ＲＥｊを計算し、残響に対応する値として出力する。例えば、参考文献１の残響制御技術を用いて音響信号から直接音と残響音との平均エネルギー比ＲＥｊを計算することができる。
（参考文献１）木下慶介、中谷智広、三好正人、“実環境音声処理-音声認識に適した残響除去収音”、ＮＴＴ技術ジャーナル、2007、Vol.19、No.6
また、直接音と残響音との平均エネルギー比ＲＥｊに代えて、直接音の平均エネルギーと残響音の平均エネルギーとの組合せ(等価な値)を残響に対応する値として出力してもよい。残響に対応する値は、伝送元の空間の残響の特徴を示すような値であれば、上述の値以外の値でもよい。また、図示しないカメラ等を使って（または人手により）、横並びか正方形か円形かなどの配置に関する情報を残響に対応する値の一部として付加しても良い。
【００９３】
＜パラメタ変換部６３及びデータ送信部６４＞
パラメタ変換部６３は、音量計算部１２から出力された拍手音量に対応する値及び残響に対応する値を取得する。パラメタ変換部１３は、取得した拍手音量に対応する値及び残響に対応する値を量子化し、環境音量パラメタ及び環境残響パラメタを出力する。環境音量パラメタについては、実施例１で説明した通りである。例えば、パラメタ変換部１３は、直接音と残響音との平均エネルギー比ＲＥｊの取りうる範囲をあらかじめ定められた場合の数（例えば１６ｂｉｔ）に量子化し、そのインデックスを環境残響パラメタＲＰｊとして出力する（Ｓ６３）。
【００９４】
データ送信部６４は、パラメタ変換部６３が出力した環境音量パラメタＰｊ及び環境残響パラメタＲＰｊを伝送先の環境音合成装置７に送信する（Ｓ６４）。環境音合成装置７については実施例７に記載する。例えば、環境音量パラメタＰｊを示すデータなのか、環境残響パラメタＲＰｊを示すデータなのかを示すフラグを付けて符号化し、送信すればよい。
【００９５】
なお、環境音量パラメタＰｊ及び環境残響パラメタＲＰｊそのものではなく、たとえば環境音量パラメタＰｊに基づく値と環境残響パラメタＲＰｊに基づく値の比（例：たとえば、部屋の容積から概算収容人数を求める所定のテーブルを用いて、環境音量パラメタＰｊから推定される人数を、環境残響パラメタＲＰｊに基づく部屋の容積で特定される概算収容人数で割った値）や、その符号化値を送信することとしても良い。このとき、環境音量パラメタＰｊと環境残響パラメタＲＰｊとの比を示すデータであることを示すフラグをつけて符号化することとしても良い。もしくは、環境音量パラメタＰｊに基づく値を符号化したものと、環境音量パラメタＰｊに基づく値と環境残響パラメタＲＰｊに基づく値の比を符号化したもの、を伝送しても良い。なお、「部屋の容積」は、環境残響パラメタＲＰｊに基づき推定することができる。例えば、環境残響パラメタＲＰｊが直接音と残響音との平均エネルギー比の場合、環境残響パラメタＲＰｊが大きいときには残響が多く部屋の容積が大きいと推定し、環境残響パラメタＲＰｊが小さいときには残響が少なく部屋の容積が小さいと推定する。また、環境残響パラメタは、音響信号（環境音）の残響に対応する情報であり、例えば、部屋の容積や部屋の概算収容人数自体を環境残響パラメタとして用いてもよい。
【００９６】
このように、本実施例の環境音分析装置６によれば、伝送元において収音された拍手音を残響を考慮した上で効率よく低遅延に伝送することができる。
【実施例７】
【００９７】
以下、図１８、図１９を参照して本発明の実施例７の環境音合成装置について説明する。図１８は本実施例の環境音合成装置７の構成を示すブロック図である。図１９は本実施例の環境音合成装置７の動作を示すフローチャートである。図１８に示すように、本実施例の環境音合成装置７は、データ受信部７１と、残響付加音源合成部７２と、テンプレート記憶部７３と、再生部３４とを備える。再生部３４は実施例３の環境音合成装置３における同一番号の再生部３４と同じであるから説明を省略する。
【００９８】
＜データ受信部７１＞
データ受信部７１は、環境音分析装置から環境音量パラメタＰｊ及び環境残響パラメタＲＰｊを受信する（Ｓ７１）。
【００９９】
＜テンプレート記憶部７３＞
テンプレート記憶部７３には、拍手音の各残響バリエーションに対して複数の拍手音（１フレーム分、残響バリエーションに対するものなので、当然、残響付加済の拍手音である）のテンプレートが記憶されている。つまり、テンプレート記憶部７３には、ｉをフレームのインデックスとした場合に、１フレーム分の残響付加済の拍手音を含む環境音のテンプレートＴｉと当該テンプレートの環境音の残響に対応する情報Ｒ’ｉとが対応付けて記憶されているものとする。なお、当該テンプレートの環境音の残響に対応する情報Ｒ’ｉは、例えば、空間計算部６５において、残響に対応する値を計算する際に用いた方法と同じ方法を用いて、テンプレートから計算すればよい。
【０１００】
なお、残響付加済の拍手音は、所望の残響を観測できる場所で録音したものでもよいし、残響がない（または少ない）状態で録音した信号に残響を畳み込んだものでもよい。
【０１０１】
＜残響付加音源合成部７２＞
残響付加音源合成部７２は、入力された環境残響パラメタＲＰｊで特定される残響に応じたテンプレートのうちいずれか１つをテンプレート記憶部７３からランダムに選択する。つまり、ＲＰｊ＝Ｒ’ｉを満たすＲ’ｉに対応づけられているテンプレートＴｉのうち、いずれか１つをランダムに選択する。残響付加音源合成部７２は、選択したテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ７２）。例えば、２０ｍｓのフレームあたり環境残響パラメタに８ｂｉｔのバリエーションがあったとすると、４００ｂｉｔ／ｓｅｃで拍手音を伝送できる。
【０１０２】
例えば、1つ以上の閾値を設け、テンプレート記憶部７３では、閾値と環境音の残響に対応する情報Ｒ’ｉとの大小関係により、テンプレートを複数のグループに分けておく。残響付加音源合成部５２は、環境残響パラメタＲＰｊと閾値との大小関係により、何れのグレープに含まれるテンプレートを選択するか決定する。
【０１０３】
(グループ例)
例えば、二つの閾値Th1とTh2(Th1<Th2)を設け、Ｒ’ｉ<Th1となるテンプレートを短い残響が畳み込まれたテンプレートのグループ(以下DB3-1ともいう)に、Ｒ’ｉ>Th2となるテンプレートを長い残響が畳み込まれたテンプレートのグループ(以下DB3-3ともいう)に、Th1≦Ｒ’ｉ≦Th2となるテンプレートを中くらいの残響が畳み込まれたテンプレートのグループ(以下DB3-2ともいう)に分類する。
【０１０４】
(選択例３−１)
残響付加音源合成部７２は、ＲＰｊ<Th1のときにDB3-1からテンプレートを選択し、Th1≦ＲＰｊｉ≦Th2のときにDB3-2からテンプレートを選択し、Th2<ＲＰｊのときにDB3-3からテンプレートを選択する。
【０１０５】
(選択例３−２)
閾値で完全に分けずに、環境残響パラメタＲＰｊに応じて各DBから選ばれるテンプレートに確率の重みを付けて選択しても良い。なお、本実施例と実施例２及びその変形例とを組合せてもよい。
【０１０６】
例えば、残響付加音源合成部７２は、ＲＰｊ<Th1のときに70パーセントの確率でDB3-1からテンプレートを選択し、20パーセントの確率でDB3-2からテンプレートを選択し、10パーセントの確率でDB3-3からテンプレートを選択する。また、Th1≦ＲＰｊｉ≦Th2のときに70パーセントの確率でDB3-2からテンプレートを選択し、それぞれ15パーセントの確率でDB3-1、DB3-3からテンプレートを選択する。また、Th2<ＲＰｊのときに10パーセントの確率でDB3-1からテンプレートを選択し、20パーセントの確率でDB3-2からテンプレートを選択し、70パーセントの確率でDB3-3からテンプレートを選択する。この例では、ＲＰｊにより各DBに対して所定の重みをつけているが、各DBを同じ重みで利用することとしても良い。部屋の中に人がまばらに分散している場合、つまり、ＲＰｊから想定される部屋の収容人数に対して、Ｐｊから想定される人数が小さな値を取る場合、様々な長さの残響が均等に混じったように聞こえるため、各DBから等分の重みでテンプレートを選択することとしても良い。このとき、ＲＰｊやＰｊとそのものではなく、部屋の中で人がどの程度密集しているかに関する値であるＲＰｊとＰｊとの比（例：ＰｊをRＰｊで割った値、あるいは、その逆数）に着目し、所定の閾値を用いて、たとえばＰｊをＲＰｊで割った値がこの閾値よりも小さな場合には各DBそれぞれから同じ確率でテンプレートを選択することとしても良い（選択するテンプレートの数は、Ｐｊに基づく個数とする）。なお、受信したデータが、環境音量パラメタＰｊと環境残響パラメタＲＰｊとの比を示すデータであることを示すフラグがつけられたデータであった場合、受信したデータをＲＰｊとＰｊとの比の代りに用いても良い。もしくは、環境音量パラメタＰｊに基づく値を符号化したものと、環境音量パラメタＰｊに基づく値と環境残響パラメタＲＰｊに基づく値の比を符号化したもの、を受信して代わりに用いても良い。
【０１０７】
実施例３、４、５では、音量から残響を推定していたが、環境音の残響に対応する情報（例えば、直接音と間接音とのエネルギー比）を用いることで、より適切に残響の特徴をとられることができ、伝送元の場の雰囲気をより適切に再現することができる。例えば、観客などの音源が劇場や映画館などの空間の後ろ側の座席に偏って座っている場合には、音量が小さくても（人数が少なくても）、長い残響が畳み込まれたテンプレートを用いたほうが伝送元の場の雰囲気をより適切に再現することができる。しかし、実施例３、４、５の構成では、短い残響が畳み込まれたテンプレートを選択する可能性が高い。一方、本実施例では長い残響が畳み込まれたテンプレートを選択する可能性が高く、伝送元の場の雰囲気をより適切に再現することができる。また、本実施例の構成であれば、実施例５と同様に畳み込み処理に伴う演算量、時間を省くことができる。なお、本実施例と実施例４とを組合せてもよい。
【０１０８】
なお、本実施例では、残響付加音源合成部７２において、音響信号を合成して環境音を生成する際に、環境音量パラメタＰｊを利用していない。そのため、環境音量パラメタＰｊを伝送しない構成としてもよい。その場合、環境音分析装置６では環境音量パラメタＰｊを求める必要がないため、音量計算部１２を備えなくともよい。パラメタ変換部６３では、残響に対応する値のみを量子化すればよい。また、本実施例の構成を維持しておき、何からの原因により、環境残響パラメタＲＰｊを伝送されずに、環境音量パラメタＰｊのみが伝送されてきた場合に、実施例３、４、５の構成で環境音を生成してもよい。
【０１０９】
また、テンプレート記憶部７３には、拍手音の各残響バリエーションと各音量のバリエーションの組合せに対して複数の拍手音のテンプレートが記憶されている構成としてもよい。この場合、残響付加音源合成部７２は、入力された環境残響パラメタＲＰｊ及び環境音量パラメタＰｊで特定される残響及び音量の組合せに応じたテンプレートのうちいずれか１つをテンプレート記憶部７３からランダムに選択する。つまり、ＲＰｊ＝Ｒ’ｉかつＰｊ＝Ｅ’ｊを満たすＲ’ｉ及びＥ’ｊに対応づけられているテンプレートＴｉのうち、いずれか１つをランダムに選択する。
【実施例８】
【０１１０】
以下、図１８、図２０を参照して本発明の実施例８の環境音合成装置について説明する。図１８は本実施例の環境音合成装置８の構成を示すブロック図である。図２０は本実施例の環境音合成装置８の動作を示すフローチャートである。図１８に示すように、本実施例の環境音合成装置８は、データ受信部７１と、残響付加音源合成部８２と、テンプレート記憶部３３と、再生部３４とを備える。テンプレート記憶部３３及び再生部３４は実施例３の環境音合成装置３における同一番号のテンプレート記憶部３３及び再生部３４と同じであるから説明を省略する。また、データ受信部７１は実施例７の環境音合成装置７における同一番号のデータ受信部７１と同じであるから説明を省略する。
【０１１１】
＜残響付加音源合成部８２＞
残響付加音源合成部８２は、入力された環境音量残響パラメタＰｊで特定される音量に応じたテンプレートのうちいずれか１つをテンプレート記憶部３３からランダムに選択する。つまり、Ｐｊ＝Ｅ’ｉを満たすＥ’ｉに対応づけられているテンプレートＴｉのうち、いずれか１つをランダムに選択する。残響付加音源合成部８２は、選択したテンプレートに環境残響パラメタＲＰｊで特定される残響を加え、残響を加えたテンプレートを、必要に応じて前のフレームと補間をして、１フレーム分の音響信号を合成して環境音（この動作例では拍手音）を生成する（Ｓ８２）。例えば、環境残響パラメタＲＰｊが直接音と残響音との平均エネルギー比を量子化したものである場合、平均エネルギー比が大きいほど残響が長くなるため、所定の閾値よりも環境残響パラメタＲＰｊの値が小さい場合にはテンプレートに短い残響Ｈｓを畳み込み、環境残響パラメタＲＰｊの値が閾値以上の場合はテンプレートに短い残響Ｈｓとともに長い残響Ｈｌを畳み込む。
【０１１２】
このような構成により、実施例７の場合に比べ、テンプレート記憶部に記憶するテンプレートの量を減らすことができる。なお、本実施例と実施例４とを組合せてもよい。
【０１１３】
＜その他の変形例＞
実施例７では、環境音分析装置により分析された部屋の広さ・大きさ（容積）に関連する情報である環境残響パラメタＲＰｊを用いて残響畳み込み済のテンプレートを選択したが、実施例４のように残響が含まれないテンプレートを用いて、環境残響パラメタＲＰｊに応じて特定される長さ、分布の残響を畳み込むこととしても良い。具体的には、環境残響パラメタＲＰｊに基づき、残響の最大値を求め、所定の残響の最小値から求めた残響の最大値までの範囲の中から、ランダムに、環境音量パラメタＰｊに基づく個数の残響の長さを決定し、決定した各長さに応じてテンプレートに残響を畳み込むこととしても良い。
【０１１４】
残響付加音源合成部で環境音を収音する部屋の広さが、環境音合成装置で環境音を合成する部屋に比べて大きな場合、本来は部屋の中で聞こえることがない領域の音が部屋の中で発生しているような合成音となるため、合成音を聞いた人が違和感を感じる場合がある。この問題を低減するために、たとえば、収音を行う部屋の収容人数で環境音量パラメタＰｊを正規化した値をパラメタとして伝送し、環境音合成装置において、予め定めた合成を行う部屋の収容人数と受信したパラメタとを掛けて得られる値を環境音量パラメタＰｊに替えて用いて、畳み込む残響の長さを求めたり残響畳み込み済のDBからテンプレートを選択することとしても良い。
【０１１５】
別の方法としては、たとえば、環境音を合成する部屋に応じて予め、環境音量パラメタＰｊの上限値や環境残響パラメタＲＰｊの上限値を設けておき、受信したパラメタが上限以上の場合には、受信したパラメタに替えて、部屋に応じた所定の上限値を用いることとしても良い。もしくは、環境音を合成する部屋に応じて予め、環境音量パラメタＰｊの下限値や環境残響パラメタＲＰｊの下限値を設けておき、受信したパラメタが下限以下の場合には、受信したパラメタに替えて、部屋に応じた所定の下限値を用いることとしても良い。
【０１１６】
なお、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０１１７】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【０１１８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１１９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【０１２１】
なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0006512607.tif 000011
【図２】
0006512607.tif 000012
【図３】
0006512607.tif 000013
【図４】
0006512607.tif 000014
【図５】
0006512607.tif 000015
【図６】
0006512607.tif 000016
【図７】
0006512607.tif 000017
【図８】
0006512607.tif 000018
【図９】
0006512607.tif 000019
【図１０】
0006512607.tif 000020
【図１１】
0006512607.tif 000021
【図１２】
0006512607.tif 000022
【図１３】
0006512607.tif 000023
【図１４】
0006512607.tif 000024
【図１５】
0006512607.tif 000025
【図１６】
0006512607.tif 000026
【図１７】
0006512607.tif 000027
【図１８】
0006512607.tif 000028
【図１９】
0006512607.tif 000029
【図２０】
0006512607.tif 000030