(57)【要約】【課題】伝送先であたかも伝送元の音源がその場(伝送先)に存在するかのように環境音を再現することができる環境音合成システム等を提供する。【解決手段】環境音合成システムは、環境音量パラメタによって表される音量を、N個の再生部で再生させて実現するためのパラメータである駆動パラメタに変換する駆動パラメタ算出部と、環境音のテンプレートである環境音素片テンプレートを記憶するテンプレート記憶部と、環境音素片テンプレートの環境音の音量に対応する情報とその環境音素片テンプレートの長さに対応する情報とを用いて、駆動パラメタの示す音量が平均的に実現されるように、その環境音素片テンプレートを発生させるタイミングを決定し、再生音を合成する再生音合成部とを含む。【選択図】図１
2018186386.tif 000002
【特許請求の範囲】
【請求項１】
環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成システムであって、
Nを１以上の整数の何れかとし、前記環境音はN個の再生部で再生されるものとし、
前記環境音量パラメタによって表される音量を、N個の再生部で再生させて実現するためのパラメータである駆動パラメタに変換する駆動パラメタ算出部と、
環境音のテンプレートである環境音素片テンプレートを記憶するテンプレート記憶部と、
環境音素片テンプレートの環境音の音量に対応する情報とその環境音素片テンプレートの長さに対応する情報とを用いて、前記駆動パラメタの示す音量が平均的に実現されるように、その環境音素片テンプレートを発生させるタイミングを決定し、再生音を合成する再生音合成部とを含む、
環境音合成システム。
【請求項２】
請求項１の環境音合成システムであって、
前記再生音合成部は、前記駆動パラメタの示す音量が実現されるために必要な人数に対応する人がそれぞれ前記再生部の存在する位置で環境音を発しているかのような再生音を合成する、
環境音合成システム。
【請求項３】
請求項２の環境音合成システムであって、
前記駆動パラメタ算出部は、前記環境音量パラメタに基づき、１つの再生部で実現する環境音の人数を駆動パラメタとして求め、
前記再生音合成部は、前記駆動パラメタの整数部に対応する人がそれぞれ前記再生部の存在する位置で環境音を発しているかのような再生音を合成し、前記駆動パラメタの少数部に対応する人がN個の再生部全体で実現されるように確率的に人数調整を行う、
環境音合成システム。
【請求項４】
環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する環境音合成方法であって、
Nを１以上の整数の何れかとし、前記環境音はN個の再生部で再生されるものとし、テンプレート記憶部には、環境音のテンプレートである環境音素片テンプレートが記憶されているものとし、
前記環境音量パラメタによって表される音量を、N個の再生部で再生させて実現するためのパラメータである駆動パラメタに変換する駆動パラメタ算出ステップと、
環境音素片テンプレートの環境音の音量に対応する情報とその環境音素片テンプレートの長さに対応する情報とを用いて、前記駆動パラメタの示す音量が平均的に実現されるように、その環境音素片テンプレートを発生させるタイミングを決定し、再生音を合成する再生音合成ステップとを含む、
環境音合成方法。
【請求項５】
請求項４の環境音合成方法であって、
前記再生音合成ステップは、前記駆動パラメタの示す音量が実現されるために必要な人数に対応する人がそれぞれ前記再生部の存在する位置で環境音を発しているかのような再生音を合成する、
環境音合成方法。
【請求項６】
請求項５の環境音合成方法であって、
前記駆動パラメタ算出ステップは、前記環境音量パラメタに基づき、１つの再生部で実現する環境音の人数を駆動パラメタとして求め、
前記再生音合成ステップは、前記駆動パラメタの整数部に対応する人がそれぞれ前記再生部の存在する位置で環境音を発しているかのような再生音を合成し、前記駆動パラメタの少数部に対応する人がN個の再生部全体で実現されるように確率的に人数調整を行う、
環境音合成方法。
【請求項７】
請求項１から請求項３の何れかの環境音合成システムとして、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伝送元で収音された環境音を、伝送先で再生する環境音合成システム、その方法及びプログラムに関する。
【背景技術】
【０００２】
実測データをもとに算出した個人差や、速度・大きさの揺らぎの程度を利用して、単独のユーザと同期するように複数の拍手音を合成し出力する技術が提案されている（非特許文献１）。また、ある地点の音を別の場所に伝送し再生する技術として、音響符号化技術が知られている。例えば、非特許文献２では、聴覚マスキングを巧みに利用し、また楽器の特性を利用して低域の成分を高域にコピーして使うという楽音の特性に合わせたモデルにより、低ビットレートで品質の高い音響符号化技術が提案されている。
【０００３】
非特許文献１は、ユーザと同調する複数の人がその場にいるような環境を仮想的に実現することを目的としたものであり、ユーザの拍手のピッチに合わせて仮想的な拍手音を合成する技術であり、実在する遠隔地の場の状況（拍手音や手拍子）を、別の場所に伝送し再現することはできなかった。また、声援・掛け声などの拍手音以外の環境音を伝送し再現することは対象としていない。また、拍手音や声援・掛け声などの環境音は純粋な音声や楽器音とは異なり白色雑音に近いため、非特許文献２のような従来の音響符号化技術ではうまく表現できず、音質が劣化していた。
【０００４】
伝送元において収音された拍手や手拍子音、声援・掛け声などの環境音を効率よく伝送し、伝送先で伝送元の場の雰囲気を再現することができる環境音合成装置として、特許文献１が知られている。
【０００５】
特許文献１の環境音合成装置では、テンプレート記憶部に１フレーム分（一定時間分）の環境音のテンプレートと当該テンプレートの環境音の音量に対応する情報とを対応付けて記憶しておき、音源合成部が受信した環境音量パラメタと同じ音量大きさのテンプレートをテンプレート記憶部から選択し、選択したテンプレートを合成して環境音を生成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−６３１４５号公報
【非特許文献】
【０００７】
【非特許文献１】西村竜一、宮里勉、「仮想的集団による拍手音の合成」、電子情報通信学会技術研究報告、電子情報通信学会、1999年3月、MVE,マルチメディア・仮想環境基礎、98(684), p.17-24,
【非特許文献２】Stefan Meltzer and Gerald Moser,"MPEG-4 HE-AAC v2 - audio coding for today's digital media world," EBU technical review, Jan., 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、伝送先における残響を考慮していない。そのため、生成された環境音を再生すると、一点から環境音が発せられるように聞こえてしまい、実際には一点ではなく所定の空間から発せられる環境音を適切に再現することが難しい。特に、伝送先の空間が広い場合にその傾向が強くなる。
【０００９】
そこで本発明では、伝送先において、多数の再生部が存在する場合にそれらを効果的に活用することにより、伝送先であたかも伝送元の音源がその場(伝送先)に存在するかのように環境音を再現することができる環境音合成システム、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様によれば、環境音合成システムは、環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。Nを１以上の整数の何れかとし、環境音はN個の再生部で再生されるものとし、環境音合成システムは、環境音量パラメタによって表される音量を、N個の再生部で再生させて実現するためのパラメータである駆動パラメタに変換する駆動パラメタ算出部と、環境音のテンプレートである環境音素片テンプレートを記憶するテンプレート記憶部と、環境音素片テンプレートの環境音の音量に対応する情報とその環境音素片テンプレートの長さに対応する情報とを用いて、駆動パラメタの示す音量が平均的に実現されるように、その環境音素片テンプレートを発生させるタイミングを決定し、再生音を合成する再生音合成部とを含む。
【００１１】
上記の課題を解決するために、本発明の他の態様によれば、環境音合成方法は、環境音分析装置から伝送元の音響信号の音量に関する環境音量パラメタを取得して環境音を生成する。Nを１以上の整数の何れかとし、環境音はN個の再生部で再生されるものとし、テンプレート記憶部には、環境音のテンプレートである環境音素片テンプレートが記憶されているものとし、環境音合成方法は、環境音量パラメタによって表される音量を、N個の再生部で再生させて実現するためのパラメータである駆動パラメタに変換する駆動パラメタ算出ステップと、環境音素片テンプレートの環境音の音量に対応する情報とその環境音素片テンプレートの長さに対応する情報とを用いて、駆動パラメタの示す音量が平均的に実現されるように、その環境音素片テンプレートを発生させるタイミングを決定し、再生音を合成する再生音合成ステップとを含む。
【発明の効果】
【００１２】
本発明によれば、伝送先であたかも伝送元の音源がその場(伝送先)に存在するかのように環境音を再現することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】環境音伝送システムの機能ブロック図。
【図２】端末指示装置の機能ブロック図。
【図３】端末指示装置の処理フローの例を示す図。
【図４】環境音再生端末の機能ブロック図。
【図５】環境音再生端末の処理フローの例を示す図。
【図６】合成タスクを説明するための図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１５】
＜第一実施形態のポイント＞
伝送元で発生した環境音の音量に対応する情報を伝送先に送り、その音量を伝送先に分散して配置された複数の再生部(スピーカ)を駆動することによって実現する。
本実施形態では環境音再生端末が伝送先の会場内に分散して複数配置されており、この環境音再生端末が全体として伝送元で生じた環境音の音量を模擬できるような動作を行う。
【００１６】
＜第一実施形態に係る環境音伝送システム＞
図１は第一実施形態に係る環境音伝送システム１０００の構成を示すブロック図である。
本実施形態の環境音伝送システム１０００は、伝送元の環境音分析装置１と、伝送先の端末指示装置２１、N個の環境音再生端末２２−ｎ(あわせて環境音合成サブシステム２)から構成される。Nは1以上の整数の何れかであり、n=1,2,…,Nである。
【００１７】
＜環境音分析装置１＞
拍手や手拍子音、声援・掛け声などの環境音の総音量は、観客の人数が多いほど大きくなる。環境音分析装置１では伝送元の環境音そのものを伝送するのではなく、環境音の音量を表す情報だけを抽出することにより、収音された環境音を効率よく低遅延に伝送することが可能となっている。図１に示すように、環境音分析装置１は、入力された音響信号（環境音）の音量に対応する情報（環境音量パラメタPj）を抽出し、出力する。ここでjはフレームのインデックスを示し、環境音分析装置１はフレーム毎に環境音量パラメタPjを出力する。環境音量パラメタPjの抽出方法としては様々な方法を用いることができる。例えば、特許文献１の方法により環境音量パラメタPjを抽出してもよく、伝送元で収音した音響信号の平均エネルギーEjに対応する情報等を環境音量パラメタPjとして用いることができる。
【００１８】
＜環境音合成サブシステム２＞
環境音合成サブシステム２は、端末指示装置２１とN台の環境音再生端末２２−ｎによって構成される。環境音分析装置１より入力された環境音量パラメタPjに基づき端末指示装置２１は駆動パラメタDjを求め、N台の環境音再生端末２２−ｎに送信し、N台の環境音再生端末２２−ｎから予め記憶された環境音のテンプレート(以下、環境音素片テンプレートともいう)が再生される頻度をコントロールすることによって環境音を合成する。
【００１９】
＜端末指示装置２１＞
本実施形態の端末指示装置２１は、環境音分析装置１から伝送元の音響信号の音量に関する環境音量パラメタPjを取得し、環境音量パラメタPjを駆動パラメタDjに変換した上で各環境音再生端末２２−ｎに駆動パラメタDjを分配する。
本実施形態の端末指示装置２１は、データ受信部２１１と、駆動パラメタ算出部２１２と、駆動パラメタDjを送信する端末指示部２１３とを備える。図２は端末指示装置２１の機能ブロック図を、図３はその処理フローの例を示す。
【００２０】
＜データ受信部２１１＞
データ受信部２１１は、環境音分析装置１から環境音量パラメタPjを受信し（Ｓ２１１）、駆動パラメタ算出部２１２に出力する。
【００２１】
＜駆動パラメタ算出部２１２＞
駆動パラメタ算出部２１２は、環境音量パラメタPjを入力とし、環境音量パラメタPjから音量を抽出し、さらに駆動パラメタDjに変換し（Ｓ２１２）、出力する。本実施形態では環境音量パラメタPjは伝送元の環境音の音量に対応する値であり、特許文献１に示されているように環境音量パラメタPjから音量に対応する情報(平均エネルギーE'j)を抽出できる。駆動パラメタ算出部２１２は情報(平均エネルギーE'j)によって表される音量を、N個の環境音再生端末２２−ｎ（再生部２２３−ｎ）全体を駆動させて実現するためのパラメタである駆動パラメタDjに変換する。
【００２２】
本実施形態では音量に対応する情報(平均エネルギーE'j)の最大値E'maxと環境音再生端末２２−ｎの総数Nを用いて、
Dj=E'j/NE'max
により駆動パラメタDjに変換する。なお、最大値E'maxは、環境音伝送システム１０００がシステム上取り得る値(想定しうる値)の最大値を意味する。また、本実施形態から明らかであるが、駆動パラメタ算出部２１２は環境音再生端末２２−ｎの総数Nの値を保持しているものとする。
【００２３】
＜端末指示部２１３＞
端末指示部２１３は、駆動パラメタDjを入力とし、N個の環境音再生端末２２−ｎ全てに駆動パラメタDjを分配する（Ｓ２１３）。本実施形態では端末指示部２１３はN個の環境音再生端末２２−ｎに同じ情報を伝える。環境音再生端末の個別識別の必要がないため、単純な通信方式で伝えることができる。例えばbluetooth(登録商標), wifi(登録商標)などで実現できる。
【００２４】
＜環境音再生端末２２−ｎ＞
本実施形態の環境音再生端末２２−ｎは、N個存在し、それぞれ端末指示装置２１から駆動パラメタDjを取得し、その駆動パラメタDjを用いて再生部から音を発生させることを特徴とする。
図４は環境音再生端末２２−ｎの機能ブロック図を、図５はその処理フローの例を示す。環境音再生端末２２−ｎは、再生情報受信部２２１−ｎ、再生音合成部２２２−ｎ、再生部２２３−ｎ及びテンプレート記憶部２２４−ｎを備える。N個の環境音再生端末２２−ｎ全体の発する音であたかも伝送元の人間がその場で環境音を発しているかのように環境音を合成するように動作する。
【００２５】
＜再生情報受信部２２１−ｎ＞
再生情報受信部２２１−ｎは、端末指示装置２１から駆動パラメタDjを受信(取得)し（Ｓ２２１）、再生音合成部２２２−ｎに出力する。
【００２６】
＜テンプレート記憶部２２４−ｎ＞
テンプレート記憶部２２４−ｎには、L個の環境音素片テンプレートTiと、そのL個の環境音素片テンプレートTiの音量にそれぞれ対応するL個の情報Giと、L個の環境音素片テンプレートの長さにそれぞれ対応するL個の情報τiとが組みになって保存されている。ただし、ｉは環境音素片テンプレートのインデックスを示し、i=1,2,…,Lであり、Lは1以上の自然数の何れかである。ここで環境音素片テンプレートとは一人の人間の行動によって生じる環境音（300ms程度）をさし、環境音素片テンプレートの音量に対応する情報とは例えば特許文献１に記載された手法によって計算される環境音素片テンプレートの持つ音量である。例えば、環境音素片テンプレートTiがHサンプルで構成される信号列Xi=(xi(1),xi(2),…,xi(H))からなる場合、信号列Xi=(xi(1),xi(2),…,xi(H))から、環境音素片テンプレートTiの平均エネルギー
【数１】
2018186386.tif 000003
を計算し、この平均エネルギーEiを環境音素片テンプレートTiの音量に対応する情報Giとして利用する。
【００２７】
本実施形態では拍手音を例に用いるため、異なる人の一拍分の拍手音の環境音素片テンプレートTiとその長さに対応する情報τiと、その音量(平均エネルギー)に対応する情報Giが組になって記憶されている。例えば、環境音素片テンプレートTiの長さに対応する情報τiとしては長さそのもの[ms]を用いることができる。
【００２８】
なお、１人分の拍手音の音量の差は小さいので、テンプレート記憶部２２４−ｎに記憶されている環境音素片テンプレートTiのいずれか一つについて計算された平均エネルギーEiを、L個全ての環境音素片テンプレートTiの音量に対応する情報Gとして1つ記憶しておいてもよい。また、テンプレート記憶部２２４−ｎに記憶されている全環境音素片テンプレートの平均エネルギーの平均値Eを、L個全ての環境音素片テンプレートTiの音量に対応する情報Gとしてテンプレート記憶部２２４−ｎに記憶しておいてもよい。あるいは、予め定めた定数を音量に対応する情報Gとしてテンプレート記憶部２２４−ｎに記憶しておいても良い。また、テンプレート記憶部２２４−ｎに予め環境音素片テンプレートの音量に対応する情報を記憶せず、その都度テンプレート記憶部２２４−ｎからランダムに選択した環境音素片テンプレートTIについて計算した平均エネルギーEIを環境音素片テンプレートTIの音量に対応する情報GIとして用いても良い。Iは1,2,…,Lの何れかである。
【００２９】
また、テンプレート記憶部２２４−ｎに予め環境音素片テンプレートTiの長さに対応する情報τiを記憶せず、その都度テンプレート記憶部２２４−ｎからランダムに選択した環境音素片テンプレートTIから取得(計算)しても良い。
よって、テンプレート記憶部２２４−ｎには、少なくともL個の環境音素片テンプレートTiが記憶されていればよい。また、L個の環境音素片テンプレートTiは、テンプレート記憶部２２４−ｎ毎に異なるものを用いてもよいし、同じものを用いてもよい。
【００３０】
＜再生音合成部２２２−ｎ＞
再生音合成部２２２−ｎは、駆動パラメタDjを入力とし、テンプレート記憶部２２４−ｎから(L個の環境音素片テンプレートTiの中から)ランダムに1つの環境音素片テンプレートTIを選択し、環境音素片テンプレートTIの環境音の音量に対応する情報GIと環境音素片テンプレートTIの環境音の長さに対応する情報τIとを用いて、駆動パラメタDjの示す音量が平均的に実現されるように、再生音を合成し（Ｓ２２２）、出力する。その繰り返し頻度(環境音素片テンプレートTIを発生させるタイミング)は駆動パラメタDjをもとに決定され、駆動パラメタDjの示す音量が平均的に実現されるように決定される。
【００３１】
例えば、再生音合成部２２２−ｎは、駆動パラメタDjと、選択した環境音素片テンプレートTIの音量、長さに対応する情報GI，τIを用いて、時間τIGI/Djを計算する。この時間τIGI/Dj中にランダムに環境音素片テンプレートTIを1回発生させて再生部２２３−ｎに出力し、時間τIGI/Djが経過した後に再び駆動パラメタDjを取得し、同じ動作を繰り返せばよい。なお、駆動パラメタDj=0のとき、または、時間τIGI/Djがある時間（例えば1[s]）を超える場合には、前述のある時間（例えば1[s]）経過後に強制的に駆動パラメタDjを取得し再び動作させてもよい。
【００３２】
＜再生部２２３−ｎ＞
再生部２２３−ｎは、再生音合成部２２２−ｎが合成した拍手音(環境音素片テンプレートTI)を再生する(Ｓ２２３)。
【００３３】
＜効果＞
以上の構成により、複数のスピーカ(再生部)が配置された場合でも各々が自然な音量の拍手音を合成することが出来る。なお、単に同じ音を分けて再生すると小さな拍手音になってしまうが、本実施形態では上述の構成により、このような問題を解決している。
観客の中に分散配置されたスピーカから音を出すことにより、特別な残響処理を施さずとも観客の位置から観客の出すドライな環境音が再生されるため、自然な環境音を伝送先に再現することが出来る。
【００３４】
＜変形例＞
第一実施形態では、伝送元の環境音の例として拍手音を対象とし、伝送元の拍手音を分析する環境音分析装置１の動作例を説明したが、これに限らず拍手音以外の環境音を対象としても良い。例えば、声援や掛け声などを環境音としても良いし、伝送元で収音される音の中から伝送元会場のメインコンテンツの音を除いた音響信号（雑音を含む）を環境音としても良い。
【００３５】
拍手音や声援・掛け声、雑音などは、いずれも伝送元の会場の雰囲気を決定づける重要な要素である一方で、いろいろな音響信号が混合された白色雑音に近い信号である。前述したようにこれらの音を環境音と呼ぶ。伝送元で環境音が発せられたタイミング及び音量が保たれていれば、信号そのものは伝送元の環境音と全く同じ信号でなくとも、場の雰囲気を再現することができる。そこで、環境音分析装置１において、伝送元の環境音の音量に関するパラメタを抽出することで、伝送元において収音された環境音を効率よく低遅延に伝送することができる。
【００３６】
本実施形態では、端末指示部２１３は、駆動パラメタDjを入力とし、N個の環境音再生端末２２−ｎ全てに駆動パラメタDjを分配しているが、環境音再生端末２２−ｎ毎に駆動パラメタDjに対応する情報を分配する構成としてもよい。例えば、端末指示部２１３において、環境音再生端末２２−ｎ毎の時間τiGi/Djを計算し、インデックスiとともに出力する構成としてもよい。再生音合成部２２２−ｎでは、インデックスiに対応する環境音素片テンプレートTiをテンプレート記憶部２２４−ｎから取り出し、時間τiGi/Dj中にランダムに環境音素片テンプレートTiを１回発生させて再生部２２３−ｎに出力する。この場合、環境音再生端末２２−ｎの個別識別が必要となる。
【００３７】
さらに、端末指示装置２１側で各再生部２２３−ｎで再生する環境音素片テンプレートTiを発生させ、各再生部２２３−ｎに出力する構成としてもよい。ただし、音声データ(環境音素片テンプレートTi)をそのまま伝送するため、駆動パラメタDjのみを伝送する場合に比べ、端末指示装置２１と環境音再生端末２２−ｎとの間の伝送量が増える。この場合、環境音再生端末２２−ｎは再生部２２３−ｎのみを含めばよい。
【００３８】
なお、駆動パラメタ算出部、再生音合成部、テンプレート記憶部からなる構成を環境音合成システムともいう。また、環境音合成システムは、再生部を含まなくともよく、再生部を別装置としてもよい。
【００３９】
＜第二実施形態のポイント＞
第一実施形態では、N個の環境音再生端末２２−ｎ全体から再生される音量が伝送元の環境音の音量と近い状態が実現できる。しかし、例えば、ある環境音再生端末２２−ｎが一人分の拍手音しか出さない場合、再生音合成部２２２−ｎでは、様々な環境音素片テンプレートTiがランダムに用いられるために、同一人物が出しているかのような環境音を再現しづらいという問題があった。
【００４０】
そこで、環境音を合成する際に、環境音再生端末２２−ｎ上で一人の人が出す環境音をひとつのタスク(以下、合成タスクともいう)として管理し、その合成タスクの増減によって音量を調節することにより、あたかも環境音再生端末２２−ｎの場所に人がいるかのような自然な環境音を合成することが可能となる。
【００４１】
以下にその具体的な構成を記す。
＜第二実施形態に係る環境音伝送システム＞
第一実施形態と異なる部分を中心に説明する。
【００４２】
＜環境音再生端末３２−ｎ＞
本実施形態では、一人の人物が出す環境音をひとつの合成タスクとして管理することにより、伝送先の会場内に会場元で計測された環境音の音量を自然に再現できる数の人間が伝送先に存在するかのような自然な環境音を再現する。環境音再生端末３２−ｎ上で一人の人物が出す環境音をひとつの合成タスクとして管理し、この合成タスクの増減によって環境音の音量をコントロールする。
【００４３】
＜環境音再生端末３２−ｎの再生音合成部３２２−ｎ＞
本実施形態では駆動パラメタDjによって表される音量の拍手を行うのに必要な人数があたかも環境音再生端末３２−ｎ(再生部２２３)の存在する位置で拍手をしているかのような再生音を発生する。そのために、特定の環境音素片テンプレートTiをある一定の周期で繰り返すことにより一人の人物の環境音を模擬し、この模擬した人物の環境音の発生と終了をコントロールすることにより駆動パラメタDjの表す音量を実現する。
【００４４】
まず、拍手音が収録された環境音素片テンプレートTiを用いて一人の人物の環境音を模擬する方法を示す。本実施形態では環境音素片テンプレートTIを(情報τiに対応する)その長さごとに再生することによって実現する。このように同じ環境音素片テンプレートTIを繰り返すことによって、時間τiGi/Djごとにランダムに選択した環境音素片テンプレートTiを再生するより同一性が高まり、繰返し周期も一定になるためあたかも一人の人間が拍手しているかのような環境音を作成することが出来る。
【００４５】
さらに発生間隔τIに±10ms前後の揺らぎを持たせることで、より自然な一人の人物の拍手音を再現することが出来る。以降説明の簡単のため、前述の方法で環境音素片テンプレートTIによって一人の人物の環境音を再現している状況を合成タスクLkとし(kは合成タスクのインデックスであり、k=1,2,…,Θjとする)、その合成タスク集合を[L]=[L1,L2,…,LΘj]とする。ただし、Θjは伝送元の環境音の音量に合わせて増減する値である。図６は合成タスクを説明するための図である。
【００４６】
以下、具体的な再生音合成部３２２−ｎの動作を示す。再生音合成部３２２−ｎは、駆動パラメタDjを入力とし、駆動パラメタDjの示す音量が実現されるために必要な人数に対応する人がそれぞれ再生部２２３−ｎの存在する位置で環境音を発しているかのような再生音を合成し（Ｓ３２２）、出力する。例えば、再生音合成部３２２−ｎは、現在合成中の音量Oj-1、直前に取得した駆動パラメタDj-1を保持しており、合成タスク集合[L]によって再生音を合成している。新たに駆動パラメタDjを取得し、駆動パラメタDjの値により以下の動作を行う。
【００４７】
(A)Dj＝Dj-1の場合(環境音の音量に変化がない場合)
Oj←Oj-1とする。現在の合成タスク集合[L]による合成音再生を継続する。つまり、合成タスク集合[L]に含まれるΘj個の合成タスクLk(k=1,2,…,Θj)にそれぞれ対応する環境音素片テンプレートTiを(情報τiに対応する)その長さ毎に発生させて再生部２２３−ｎに出力する。
【００４８】
(B)Dj>Dj-1の場合(環境音の音量が大きくなる場合)
(i)Oj←Oj-1とする。
(ii)L個の環境音素片テンプレートTiの中からランダムに1個の環境音素片テンプレートTIを選択する。(Dj-Oj)>GIであれば(iii)へ、それ以外((Dj-Oj)≦GI)は(iv)へ移行する。
(iii)環境音素片テンプレートTIをもとに合成タスクLkを新たに合成し、合成タスク集合[L]に加え、Θj←Θj+1、Oj←Oj+Giとする。(ii)へ戻る。
(iv)現在の合成タスク集合[L]による合成音再生を継続する。
上述の(i)〜(iv)に係る処理により、環境音の音量が、環境音素片テンプレートの音量に対応する情報GIよりも大きくなる場合、新たな拍手音を合成し、伝送先で再生される環境音の音量を大きくする。
【００４９】
(C)Dj<Dj-1の場合(環境音の音量が小さくなる場合)
(v)Oj←Oj-1とする。
(vi)合成タスク集合[L]の中からランダムに1つ合成タスクLm(mは1,2,…,Θjの何れか)を選択し、合成タスクLmが用いる環境音素片テンプレートTmの平均エネルギーEmを音量に対応する情報Gmとして用いて、(Dj-Oj)<Gmであれば(vii)へ、それ以外((Dj-Oj)≧Gm)は(viii)へ移行する。
(vii)合成タスクLmの合成を終了し、合成タスク集合[L]から合成タスクLmを除き、Θj←Θj-1、Oj←Oj-Gmとし、(vi)へ戻る。
(viii)現在の合成タスク集合[L]による合成音再生を継続する。
【００５０】
上述の(v)〜(viii)に係る処理により、環境音の音量が、環境音素片テンプレートの音量に対応する情報Gmよりも小さくなる場合、合成タスク集合[L]の中から合成タスクを削除し、伝送先で再生される環境音の音量を小さくする。
【００５１】
＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、本実施形態によれば、環境音再生端末上で一人の人が出す環境音をひとつの合成タスクとして管理し、その合成タスクの増減によって音量を調節することにより、あたかも環境音再生端末の場所に人がいるかのような自然な環境音を合成することが可能となる。
【００５２】
＜変形例＞
なお、合成タスク集合[L]はなるべく不均一なタイミングで拍手が行われるほうが自然である。ところが、環境音素片テンプレートTiが全て同じ長さであったり、フレーム更新間隔が環境音素片テンプレートTiの長さより長かったりすると、合成タスクLkのオンセット(開始時刻)が揃ってしまう場合がある。その場合は前述の(iii)で、環境音素片テンプレートTIを用いた合成タスクLkを開始する時に0からτIまで間でランダムなタイムラグを入れることによって解決できる(図６のタイムラグ参照)。
【００５３】
また、合成タスクLkの合成終了を環境音素片テンプレートTiの再生が終了した時点とし、環境音素片テンプレートTiの再生途中で音が切れないように(ブチッと切れないように)してもよい。
【００５４】
さらに、合成タスクLkが環境音素片テンプレートTiで構成される場合に、その繰返し周期をτiで設定したが、繰返し周期をτi〜τi+100ms程度のランダムな周期に設定しても良い。こうすることで、同じ環境音素片テンプレートTiが合成タスクLkに登録された場合の不自然さが軽減される。
【００５５】
本実施形態では、端末指示部２１３は、駆動パラメタDjを入力とし、N個の環境音再生端末２２−ｎ全てに駆動パラメタDjを分配しているが、環境音再生端末２２−ｎ毎に駆動パラメタDjに対応する情報を分配する構成としてもよい。例えば、端末指示部２１３において、環境音再生端末３２−ｎ毎の合成タスク集合[L]を求め、出力する構成としてもよい。再生音合成部３２２−ｎでは、合成タスク集合[L]による合成音再生を継続すればよい。
【００５６】
さらに、端末指示装置２１側で各再生部２２３−ｎに対応する合成タスク集合[L]に基づき合成音を生成し、各再生部２２３−ｎに出力する構成としてもよい。
【００５７】
＜第三実施形態のポイント＞
第二実施形態において環境音再生端末２２−ｎ上で一人の人物が出す環境音をひとつの合成タスクLkとして管理できるようになったが、その結果、１つの環境音再生端末２２−ｎで1.5人分に相当する環境音を合成するということが出来なくなり、N個の環境音再生端末２２−ｎ全体で環境音の音量を再現する精度が悪化する(端数処理による精度の悪化)という問題が新たに生じる。
【００５８】
そこで本実施形態では、それぞれの環境音再生端末４２−ｎにおいては一人の人物が出す環境音をひとつの合成タスクLkとして管理して音を合成しつつ、確率的に合成タスクの増減を管理することによりN個の環境音再生端末４２−ｎ全体で再現する環境音の音量の精度を向上させる。
【００５９】
＜第三実施形態に係る環境音伝送システム＞
第二実施形態と異なる部分を中心に説明する。
【００６０】
以下に具体的な構成を記述する。
＜端末指示装置４１の駆動パラメタ算出部４１２＞
駆動パラメタ算出部４１２は、環境音量パラメタPjを入力とし、環境音量パラメタPjに基づき、環境音再生端末４２−ｎ一台あたりで実現するべき環境音の人数Mjを求め（Ｓ４１２）、駆動パラメタDjとして端末指示部４１３に出力する。
【００６１】
本実施形態では環境音再生端末４２−ｎのテンプレート記憶部４２４−ｎに記憶されている全環境音素片テンプレートT1,T2,…,TLの平均エネルギーE1,E2,…,ELの平均値Eが環境音素片テンプレートT1,T2,…,TLの音量に対応する情報Gとして保持されているとする。駆動パラメタ算出部４１２は、伝送元から出力された環境音量パラメタPjを入力とし(取得し)、環境音量パラメタPjから音量に対応する情報(平均エネルギーE'j)を求める。さらに、各環境音再生端末４２−ｎで実現するべき環境音の人数Mjを、例えば、Mj=E'j/(GN)によって計算し、駆動パラメタDjとして出力する。
【００６２】
＜端末指示装置４１の端末指示部４１３＞
端末指示部４１３は、駆動パラメタDj(=Mj)を入力とし、N個の環境音再生端末４２−ｎ全てに駆動パラメタDjを分配する（Ｓ４１３）。
【００６３】
＜環境音再生端末４２−ｎ＞
一人の人が出す環境音をひとつの合成タスクLkとして管理することにより、伝送先の会場内に会場元で計測された環境音の音量を自然に再現できる数の人間が伝送先に存在するかのような自然な環境音を再現する。さらに、本実施形態では再現するべき音量に相当する人数が整数ではない場合もN個の環境音再生端末４２−ｎ全体で再現するべき音量に近づけるために、確率的に合成タスクの増減を行う。
【００６４】
＜環境音再生端末４２−ｎのテンプレート記憶部４２４−ｎ＞
本実施形態では、テンプレート記憶部４２４−ｎには、環境音素片テンプレートTiとテンプレート記憶部４２４−ｎに記憶されている全環境音素片テンプレートT1,T2,…,TLの平均エネルギーE1,E2,…,ELの平均値Eが環境音素片テンプレートT1,T2,…,TLの音量に対応する情報Gとして保持されている。情報Gは、駆動パラメタ算出部４１２において、人数Mj(=E'j/(GN))を求める際に利用される。
【００６５】
＜環境音再生端末４２−ｎの再生音合成部４２２−ｎ＞
再生音合成部４２２−ｎは、駆動パラメタDj(=人数Mj)を入力とし、駆動パラメタDjの整数部[Dj]によって表される音量の拍手を行うに必要な人数があたかもその装置の存在する位置で拍手をしているかのような再生音を発生し、駆動パラメタDjの少数部djに相当する人数がN個の環境音再生端末４２−ｎ全体で実現されるように各環境音再生端末４２−ｎで確率的に人数調整を行い、再生音を合成し（Ｓ４２２）、出力する。
【００６６】
第二実施形態に記載したように環境音素片テンプレートTiによって一人の人物の環境音を再現する合成タスクをLkとし、このLkの数をコントロールすることで音量をコントロールする。現在再現中の人数をΘjとする。Θjは、現在動作している合成タスク集合[L]に含まれる合成タスクの数と同じである。
【００６７】
以下にΘjを算出する具体的な動作例を示す。
(i)Djの値を取得する。
(ii)[Dj]=[Dj-1]で整数値が変わらない場合は(iv)へ、変わった場合は(iii)へ移行する。
(iii)確率100・dj％でΘj←[Dj]+1とし、それ以外はΘj←[D]とし、(iv)へ移行する。
(iv)少数部分が増加（dj-dj-1>0）の場合は(v)へ、その他(dj-dj-1≦0)の場合は(vi)へ移行する。
(v)Θj-1=[Dj]+1なら終了する。Θj-1=[Dj]の場合は
【数２】
2018186386.tif 000004
の確率でΘj←[Dj]+1として終了する。
【００６８】
(vi)Θj-1=[Dj]なら終了する。Θj-1=[Dj]+1の場合は
【数３】
2018186386.tif 000005
の確率でΘj←[Dj]として終了する。
Θjが算出された後に、合成タスク集合[L]を以下のように変える動作を行う。
Θj-1からΘjが増加した場合は、ランダムに環境音素片テンプレートTiを選択する。環境音素片テンプレートTiをもとに合成タスクLkを新たに合成し合成タスク集合[L]に加える。これを(Θj-Θj-1)回繰り返す。
Θj-1からΘjが減少した場合は、現在の合成タスク集合[L]からランダムに合成タスクLkを選択し、その動作を停止する。これを(Θj-1-Θj)回繰り返す。
Θjの増減処理後も合成タスク集合[L]にもとづき引き続き再生音合成を行う。つまり、合成タスク集合[L]に含まれるΘj個の合成タスクLk(k=1,2,…,Θj)にそれぞれ対応する環境音素片テンプレートTiを(情報τiに対応する)その長さ毎に発生させて再生部２２３−ｎに出力する。
【００６９】
＜効果＞
本実施形態によれば、環境音再生端末上で一人の人が出す環境音をひとつの合成タスクとして管理する場合でも、確率的に合成タスクの増減を管理することにより環境音再生端末全体で再現する環境音の音量の精度を向上させることができる。
【００７０】
＜変形例＞
本実施形態では、端末指示部４１３は、駆動パラメタDjを入力とし、N個の環境音再生端末２２−ｎ全てに駆動パラメタDjを分配しているが、環境音再生端末２２−ｎ毎に駆動パラメタDjに対応する情報を分配する構成としてもよい。例えば、端末指示部４１３において、環境音再生端末４２−ｎ毎のΘjを求め、出力する構成としてもよい。再生音合成部４２２−ｎでは、Θjに基づき合成タスク集合[L]を更新し、合成音再生を継続すればよい。
【００７１】
さらに、端末指示装置４１側で各再生部２２３−ｎに対応する合成タスク集合[L]に基づき合成音を生成し、各再生部２２３−ｎに出力する構成としてもよい。
【００７２】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００７３】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００７４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００７５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００７６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００７７】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018186386.tif 000006
【図２】
2018186386.tif 000007
【図３】
2018186386.tif 000008
【図４】
2018186386.tif 000009
【図５】
2018186386.tif 000010
【図６】
2018186386.tif 000011