(57)【特許請求の範囲】
【請求項１】
第１の音信号を取得する取得手段と、
前記第１の音信号の前端部及び終端部のそれぞれについて周波数特性に基づく値を求め、求めた値の差が所定の閾値未満か否かを判定する判定手段と、
前記第１の音信号を逆再生した場合の音を示す第２の音信号を取得する逆再生手段と、
前記差が前記閾値以上である場合には、前記第１の音信号と前記第２の音信号とを連結することで伸長音信号を生成し、前記差が前記閾値未満である場合には、前記第１の音信号と該第１の音信号のコピーとを連結することで前記伸長音信号を生成する連結手段と
を備える音生成装置。
【請求項２】
前記判定手段が、前記差が前記閾値以上である場合には、更に、前記第１の音信号に周期性があるか否かを判定し、
前記連結手段が、前記差が前記閾値以上であり、且つ前記周期性が無い場合に、前記第１の音信号と前記第２の音信号とを連結することで前記伸長音信号を生成する、
請求項１に記載の音生成装置。
【請求項３】
前記判定手段が、前記第１の音信号に周期性がある場合には、更に、該第１の音信号の各周期において、該周期の中点に設けた軸を対称軸とする前記周波数特性の対称性があるか否かを判定し、
前記連結手段が、前記差が前記閾値以上であり、前記周期性があり、且つ前記対称性がある場合には、前記第１の音信号と前記第２の音信号とを連結することで前記伸長音信号を生成する、
請求項２に記載の音生成装置。
【請求項４】
前記取得手段が、所定の音信号からフェードイン及びフェードアウトの部分を除去し、該除去で得られた音信号から前記第１の音信号を取得する、
請求項１〜３のいずれか一項に記載の音生成装置。
【請求項５】
音生成装置により実行される音生成方法であって、
第１の音信号を取得する取得ステップと、
前記第１の音信号の前端部及び終端部のそれぞれについて周波数特性に基づく値を求め、求めた値の差が所定の閾値未満か否かを判定する判定ステップと、
前記第１の音信号を逆再生した場合の音を示す第２の音信号を取得する逆再生ステップと、
前記差が前記閾値以上である場合には、前記第１の音信号と前記第２の音信号とを連結することで伸長音信号を生成し、前記差が前記閾値未満である場合には、前記第１の音信号と該第１の音信号のコピーとを連結することで前記伸長音信号を生成する連結ステップと
を含む音生成方法。
【請求項６】
コンピュータを、
第１の音信号を取得する取得手段と、
前記第１の音信号の前端部及び終端部のそれぞれについて周波数特性に基づく値を求め、求めた値の差が所定の閾値未満か否かを判定する判定手段と、
前記第１の音信号を逆再生した場合の音を示す第２の音信号を取得する逆再生手段と、
前記差が前記閾値以上である場合には、前記第１の音信号と前記第２の音信号とを連結することで伸長音信号を生成し、前記差が前記閾値未満である場合には、前記第１の音信号と該第１の音信号のコピーとを連結することで前記伸長音信号を生成する連結手段と
して機能させる音生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音生成装置、音生成方法、及び音生成プログラムに関する。
【背景技術】
【０００２】
最近は、様々な場面に対応できる音（例えば効果音）を収録したサウンドライブラリが用いられている。このようなサウンドライブラリには、誰もが簡単に入手して手軽に使うことができるという利点がある。
【０００３】
サウンドライブラリの欠点は音の長さが予め決まっていることである。したがって、使用したい場面に対して音の長さが十分であれば問題ないが、必ずしも充分な長さの音を得られるとは限らない。例えば映像に効果音を付加する場合には、ユーザは、その映像に合い、且つその映像の再生時間に対応する充分な長さを持った効果音を探さなければならない。もしそのような音を見つけることができなければ、ユーザは選んだ音に更に別の効果音を加えたり一つの効果音を数回用いたりして、音の再生時間を延ばす必要がある。音を伸長する技術として、例えば下記非特許文献１，２に記載されている手法がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】馬場貴之、“モーフィング技術を用いた音の伸長の研究”、筑波大学大学院博士前期課程システム情報工学研究科修士論文、2007
【非特許文献２】小坂直敏、“Sinusoidal model による音色の補間”、電子情報学会技術研究報告、SP95-130、pp.9-16、Feb.1996
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１，２に記載されているような手法では、音を伸長すると原音の雰囲気が損なわれてしまうことがある。
【０００６】
そこで本発明は、原音の雰囲気をできるだけ維持しつつ音を伸長することが可能な音生成装置、音生成方法、及び音生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の音生成装置は、第１の音信号を取得する取得手段と、第１の音信号の前端部及び終端部のそれぞれについて周波数特性に基づく値を求め、求めた値の差が所定の閾値未満か否かを判定する判定手段と、第１の音信号を逆再生した場合の音を示す第２の音信号を取得する逆再生手段と、差が閾値以上である場合には、第１の音信号と第２の音信号とを連結することで伸長音信号を生成し、差が閾値未満である場合には、第１の音信号と該第１の音信号のコピーとを連結することで伸長音信号を生成する連結手段とを備える。
【０００８】
本発明の音生成方法は、音生成装置により実行される音生成方法であって、第１の音信号を取得する取得ステップと、第１の音信号の前端部及び終端部のそれぞれについて周波数特性に基づく値を求め、求めた値の差が所定の閾値未満か否かを判定する判定ステップと、第１の音信号を逆再生した場合の音を示す第２の音信号を取得する逆再生ステップと、差が閾値以上である場合には、第１の音信号と第２の音信号とを連結することで伸長音信号を生成し、差が閾値未満である場合には、第１の音信号と該第１の音信号のコピーとを連結することで伸長音信号を生成する連結ステップとを含む。
【０００９】
本発明の音生成プログラムは、コンピュータを、第１の音信号を取得する取得手段と、第１の音信号の前端部及び終端部のそれぞれについて周波数特性に基づく値を求め、求めた値の差が所定の閾値未満か否かを判定する判定手段と、第１の音信号を逆再生した場合の音を示す第２の音信号を取得する逆再生手段と、差が閾値以上である場合には、第１の音信号と第２の音信号とを連結することで伸長音信号を生成し、差が閾値未満である場合には、第１の音信号と該第１の音信号のコピーとを連結することで伸長音信号を生成する連結手段として機能させる。
【００１０】
このような発明によれば、第１の音信号と、該第１の音信号を逆再生した場合の音（逆再生音）を示す第２の音信号とを連結することで、連結部分において信号が連続的に繋がるので、原音の雰囲気をできるだけ維持しつつ音を伸長することが可能になる。また、この場合には、第１の音信号の前端部及び終端部のそれぞれについて周波数特性に基づく値が算出される。そして、算出された二つの値の差が閾値以上である場合に、第１の音信号に第２の音信号が連結される。このように、原音の前端部及び終端部の類似性を考慮した上で逆再生音を連結することで、原音の雰囲気をできるだけ維持しつつ音を伸長することができる。
【００１３】
本発明の音生成装置では、判定手段が、差が閾値以上である場合には、更に、第１の音信号に周期性があるか否かを判定し、連結手段が、差が閾値以上であり、且つ周期性が無い場合に、第１の音信号と第２の音信号とを連結することで伸長音信号を生成してもよい。
【００１４】
この場合には、第１の音信号の周期性が更に判定され、その周期性が無い場合に初めて、第１の音信号に第２の音信号が連結される。このように、上記の類似性だけでなく原音の周期性も考慮した上で逆再生音を連結することで、原音の雰囲気をできるだけ維持しつつ音を伸長することができる。
【００１５】
本発明の音生成装置では、判定手段が、第１の音信号に周期性がある場合には、更に、該第１の音信号の各周期において、該周期の中点に設けた軸を対称軸とする周波数特性の対称性があるか否かを判定し、連結手段が、差が閾値以上であり、周期性があり、且つ対称性がある場合には、第１の音信号と第２の音信号とを連結することで伸長音信号を生成してもよい。
【００１６】
この場合には、第１の音信号の各周期における対称性が更に判定され、その対称性も考慮した上で、第１の音信号に第２の音信号が連結される。このように、各周期の対称性も考慮した上で逆再生音を連結することで、原音の雰囲気をできるだけ維持しつつ音を伸長することができる。
【００１７】
本発明の音生成装置では、取得手段が、所定の音信号からフェードイン及びフェードアウトの部分を除去し、該除去で得られた音信号から第１の音信号を取得してもよい。
【００１８】
この場合には、音量が所定の時間内に大きく変わるフェードイン及びフェードアウトの部分を除去した音を用いて音の連結が行われるので、伸長部分における音量変化を抑えることができる。その結果、原音の雰囲気をできるだけ維持しつつ音を伸長することができる。
【発明の効果】
【００１９】
本発明によれば、第１の音信号と、該第１の音信号を逆再生した場合の音を示す第２の音信号とを連結することで音が伸張されるので、原音の雰囲気をできるだけ維持しつつ音を伸長することができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態に係る音生成装置の機能構成を示すブロック図である。
【図２】図１に示す音生成装置のハードウェア構成を示す図である。
【図３】（ａ），（ｂ）はそれぞれ、付加信号を決定する処理を説明するために用いる、音のスペクトログラムの例である。
【図４】図１に示す音生成装置の動作を示すフローチャートである。
【図５】図４に示す付加信号決定処理の詳細を示すフローチャートである。
【図６】実施形態に係る音生成プログラムの構成を示すブロック図である。
【図７】原音のスペクトログラムの例を示す図である。
【図８】付加信号の決定例を示す図である。
【図９】（ａ）〜（ｃ）は、本実施形態の効果を説明するための図であり、（ａ）はサンプル信号を、（ｂ）は逆再生信号を用いない場合の連結を、（ｃ）は逆再生信号を用いた場合の連結を、それぞれ示している。
【図１０】伸長音のスペクトログラムの例を示す図である。
【発明を実施するための形態】
【００２１】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００２２】
まず、図１〜３を用いて、実施形態に係る音生成装置１０の機能及び構成を説明する。音生成装置１０は、ユーザにより選択された音の再生時間を該ユーザの指示に基づいて延ばすための装置である。なお、本明細書では「音信号」という言葉を用いるが、この語は、アナログ信号だけでなく、符号化処理により得られる音データも含む。なお、音信号のファイル形式は任意である。音生成装置１０は、例えばｗａｖやｍｐ３などの形式の音信号を処理してもよい。
【００２３】
図１に示すように、音生成装置１０は機能的構成要素として原音取得部１１、サンプル取得部（取得手段）１２、判定部（判定手段）１３、連結部（逆再生手段、連結手段）１４、及び出力部（出力手段）１５を備えている。
【００２４】
この音生成装置１０は、音の加工に特化した専用装置であってもよいし、コンピュータに所定のプログラムを読み込ませることで具現化する装置であってもよい。音生成装置１０のハードウェア構成を図２に示す。音生成装置１０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクなどで構成される補助記憶部１０３と、ネットワークカードなどで構成される通信制御部１０４と、キーボードやマウスなどの入力部１０５と、スピーカやモニタなどの出力部１０６とで構成される。音生成装置１０の各機能は、ＣＰＵ１０１や主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力部１０５、出力部１０６などを動作させ、主記憶部１０２や補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２や補助記憶部１０３内に格納される。
【００２５】
図１に戻って、原音取得部１１は加工対象の音信号、すなわち原音の信号を所定の音源から取得する手段である。処理される音は何ら限定されず、例えば、様々な効果音（自然音及び人工音を含む）や楽曲、人の声などが原音であってもよい。また、音源の種類も限定されない。例えば、原音取得部１１はＣＤやハードディスクに記録されているライブラリから原音を読み出したり、マイクを介して入力された任意の音を原音として取得したりしてもよい。ライブラリやマイクは音生成装置１０内に設けられていてもよいし、音生成装置１０と有線又は無線で接続されていてもよい。また、原音取得部１１は他の情報処理装置から原音信号を受信してもよい。原音取得部１１は取得した原音信号をサンプル取得部１２に出力する。また、原音取得部１１はその原音信号を必要に応じて連結部１４にも出力する。
【００２６】
サンプル取得部１２は、入力された原音信号から、音を伸長するために用いる部分を切り出す手段である。
【００２７】
まず、サンプル取得部１２は、原音信号からフェードイン及びフェードアウトの部分を除去する。ここで、フェードイン及びフェードアウトとは、所定の短時間において音量が次第に大きく又は小さくなることである。サンプル取得部１２は、入力されたユーザの指示に基づいてフェードイン及びフェードアウトの箇所を除去してもよい。また、サンプル取得部１２は、原音信号の冒頭部（終端部）において音量が所定の時間内に漸進的に所定の閾値以上増大（減少）した場合に、その冒頭部（終端部）をフェードイン（フェードアウト）の箇所として除去してもよい。
【００２８】
続いて、サンプル取得部１２は、入力されたユーザの指示に基づいて、必要に応じてフェードイン部分及びフェードアウト部分が除去された原音信号から、付加する音（後述する付加信号で示される音）を得るために用いる部分をサンプル信号（第１の音信号）として切り出す。サンプル信号の長さは何ら限定されず、例えば０．１秒でも５分でもよい。また、原音信号全体がそのままサンプル信号となってもよい。サンプル取得部１２はサンプル信号を判定部１３に出力する。
【００２９】
判定部１３は、入力されたサンプル信号に対してどのような音信号を連結するかを判定する手段である。サンプル信号に連結される信号（本明細書では「付加信号」という）は、該サンプル信号に等しい信号か、又は、該サンプル信号で示される音を時間的に逆に再生した場合の音を示す信号のどちらかである。以下では、前者を「順再生信号」といい、後者を「逆再生信号」という。順再生信号（第３の音信号）と逆再生信号（第２の音信号）とでは再生方向のみが異なる。
【００３０】
まず、判定部１３はサンプル信号の先頭（信号の始点を含む、所定の時間間隔（例えば０．２秒）における部分）と最後尾（信号の終点を含む、所定の時間間隔（例えば０．２秒）における部分）との間の類似性を判定する。具体的には、判定部１３は入力されたサンプル信号の先頭及び最後尾をそれぞれ所定数の信号に等分割し、各信号をファイルとして保持する。続いて、判定部１３は各被分割信号を離散フーリエ変換（ＤＦＴ）することで、下記の表１を取得する。以下では、サンプル信号の先頭及び最後尾をそれぞれ１０個に等分割することを前提に説明するが、これらの部分をいくつに分けるかは任意に決めてよい。
【表１】
0005560218.tif 000002
【００３１】
この表において、ｆｉｌｅ１〜１０は被分割信号１〜１０を示し、ｈ１〜ｈｍａｘは周波数を示し、ａｉ，ｊは被分割信号ｊに離散フーリエ変換を施すことにより得られた周波数スペクトルの周波数ｈｉの成分を示している。値Ｍａｘは離散的に設けた周波数の個数である。
【００３２】
続いて、判定部１３はサンプル信号の先頭及び最後尾のそれぞれについて次の処理を行う。
【００３３】
まず、サンプル信号の先頭に対する処理を説明する。判定部１３は周波数毎に、先頭部分に関する被分割信号１と残り９個の被分割信号のそれぞれとの間のユークリッド距離（差の二乗和）を求める。続いて、判定部１３は全周波数における全ユークリッド距離の総和Ｓを求める。すなわち、値Ｓは下記式（１）により算出される。
【数１】
0005560218.tif 000003
【００３４】
式（１）により算出される値Ｓは周波数特性に基づく値である。この値Ｓはサンプル信号に含まれる周波数の幅に依存し、サンプル信号に含まれる周波数帯域が広いほど大きくなりうる。そこで、判定部１３は値Ｓを、サンプル信号に実際に含まれている周波数の個数ｍ（ｍ≦Ｍａｘ）で割ることで正規化する。
【００３５】
判定部１３は、サンプル信号の最後尾に対しても、先頭の場合と同様に正規化された値Ｓを得る。続いて、判定部１３は二つの正規化された値Ｓの差の絶対値を求める。すなわち、サンプル信号の先頭及び最後尾に関する正規化後の値ＳをそれぞれＮＳａ，ＮＳｂとすると、差は式｜ＮＳａ−ＮＳｂ｜で得られる。そして、判定部１３はその差が所定の閾値未満であるか否かを判定する。この閾値は、例えば、音の雰囲気の違いに関する周知の人間の認識限度に基づいて設定される。
【００３６】
差が閾値未満であれば、判定部１３は順再生信号を付加信号として用いると決定する。一方、差が閾値以上であれば、判定部１３は次にサンプル信号の周期性を判定する。
【００３７】
サンプル信号が周期的であるとは、該信号において全周波数において音が弱くなる箇所がほぼ一定の時間間隔で発生する場合をいう。この周期性は、図３に示すようなスペクトログラムによって確認できる。図３（ａ）は川の流れの音についてのスペクトログラムであり、図３（ｂ）は汽車の走行音についてのスペクトログラムである。各スペクトログラムの縦軸及び横軸はそれぞれ、周波数及び時間である。また、各スペクトログラムでは音量の大きさがグレースケールで示されている。図３（ａ）では、常に何らかの周波数における音が一定上の強さをもって現われているので、サンプル信号は周期的でない。一方、図３（ｂ）では、例えば時点Ｔａ，Ｔｂ，Ｔｃで、全周波数において音が弱くなっており、従ってこのサンプル信号は周期的である。
【００３８】
サンプル信号が周期的でない場合には、判定部１３は逆再生信号を付加信号として用いると決定する。一方、サンプル信号が周期的である場合には、判定部１３は次に各周期での信号の対称性を判定する。
【００３９】
１周期内で信号が対称性を持つとは、該１周期の中点に軸を設けた場合に、音の周波数分布がその軸について線対称である場合をいう。図３（ｂ）の例において、時点Ｔａ，Ｔｂを始点及び終点とする１周期での周波数分布を見ると、中点Ｔｍを軸とする対称性を確認することはできない。また、他の周期でも同様である。したがって、図３（ｂ）で示されるサンプル信号は対称性を持たないといえる。
【００４０】
サンプル信号の各周期において、該周期の中点における軸を対称軸とする対称性が存在する場合には、判定部１３は逆再生信号を付加信号として用いると決定する。一方、そのような対称性が存在しない場合には、判定部１３は順再生信号を付加信号として用いると決定する。
【００４１】
以上のように付加信号を決めると、判定部１３はサンプル信号と、付加信号が順再生信号であるか逆再生信号であるかを示す情報とを判定結果として連結部１４に出力する。
【００４２】
なお、判定部１３は、サンプル信号の先頭及び最後尾の類似性を判定する際に、上記正規化された値Ｓとは異なる値を用いて判定してもよい。例えば、判定部１３は、サンプル信号の先頭の周波数スペクトルベクトル（ｂ1,1，ｂ2,1，…，ｂMax,1）と、該サンプル信号の最後尾の周波数スペクトルベクトル（ｂ1,10，ｂ2,10，…，ｂMax,10）との間のユークリッド距離を差として求める。そして、判定部１３はこの差が所定の閾値未満であるか否かを判定する。判定後の処理は上記と同様である。
【００４３】
連結部１４は、入力された判定結果に基づいて付加信号を生成し、ユーザ操作に基づいてその付加信号をサンプル信号に連結することで出力信号を生成する手段である。出力信号は、最終的に人に聞かせるために出力される音信号である。
【００４４】
まず、連結部１４は判定結果に基づいて付加信号を生成する。順再生信号を用いることを判定結果が示していれば、連結部１４は入力されたサンプル信号をコピーすることで付加信号を取得する。一方、逆再生信号を用いることを判定結果が示していれば、連結部１４はサンプル信号で示される音を時間的に逆に再生し、逆再生時に得られる音信号を付加信号として取得する。連結部１４は、デジタル信号処理により逆再生信号を生成してもよい。
【００４５】
続いて、連結部１４はユーザ操作に基づいて出力信号を生成する。出力信号の構成としては後述するように様々な態様が考えられるが、いずれの場合でも、連結部１４はサンプル信号の前端又は後端に付加信号を連結する処理を行う。
【００４６】
付加信号が順再生信号であれば、連結部１４は単純に、サンプル信号に任意の個数の順再生信号を連結することで音を伸長すればよい。
【００４７】
これに対して、付加信号が逆再生信号である場合には、連結部１４は以下のように付加信号をサンプル信号に連結することで音を伸長する。サンプル信号をＳｓとし、逆再生信号をＳａとし、連結を「＋」で表すとする。この場合、連結部１４は１以上の伸長音信号「Ｓｓ＋Ｓａ」で構成される出力信号Ｓｏｕｔを生成してもよい。また、連結部１４は１以上の伸長音信号「Ｓａ＋Ｓｓ」で構成される出力信号Ｓｏｕｔを生成してもよい。このような場合の出力信号の例を以下に示す。
・Ｓｏｕｔ＝Ｓｓ＋Ｓａ
・Ｓｏｕｔ＝Ｓａ＋Ｓｓ
・Ｓｏｕｔ＝Ｓｓ＋Ｓａ＋Ｓｓ＋Ｓａ
・Ｓｏｕｔ＝Ｓａ＋Ｓｓ＋Ｓａ＋Ｓｓ
・Ｓｏｕｔ＝Ｓｓ＋Ｓａ＋…＋Ｓｓ＋Ｓａ
・Ｓｏｕｔ＝Ｓａ＋Ｓｓ＋…＋Ｓａ＋Ｓｓ
【００４８】
また、原音信号Ｓｏｒｇがサンプル信号Ｓｓと、該サンプル信号より前に位置する部分Ａと、該サンプル信号より後ろに位置する部分Ｂとで構成される場合、すなわちＳｏｒｇ＝Ａ＋Ｓｓ＋Ｂである場合には、連結部１４は１以上の伸長音信号「Ｓｓ＋Ｓａ」を含む出力信号Ｓｏｕｔを生成してもよい。このような場合の出力信号の例を以下に示す。
・Ｓｏｕｔ＝Ａ＋Ｓｓ＋Ｓａ＋Ｓｓ＋Ｂ
・Ｓｏｕｔ＝Ａ＋Ｓｓ＋Ｓａ＋Ｓｓ＋Ｓａ＋Ｓｓ＋Ｂ
・Ｓｏｕｔ＝Ａ＋Ｓｓ＋Ｓａ＋…＋Ｓｓ＋Ｓａ＋Ｓｓ＋Ｂ
【００４９】
連結部１４はこのように生成した出力信号を出力部１５に出力する。
【００５０】
出力部１５は、入力された出力信号を出力する手段である。出力方法は限定されない。例えば、出力部１５は出力信号を再生してスピーカから出力してもよい。また、出力部１５は出力信号をデータとして音生成装置１０内の記憶手段や外部の記憶手段に記憶したり、他の情報処理装置に送信したりしてもよい。
【００５１】
次に、図４，５を用いて、音生成装置１０の動作を説明するとともに本実施形態に係る音生成方法について説明する。
【００５２】
まず、原音取得部１１が原音信号を所定の音源から取得する（ステップＳ１１）。続いてサンプル取得部１２がユーザ操作に基づいて原音信号からサンプル信号を取得する（ステップＳ１２、取得ステップ）。この際には、サンプル取得部１２は必要に応じてフェードイン及びフェードアウトの部分を除去する処理も行う。
【００５３】
続いて、判定部１３が付加信号を決定する（ステップＳ１３）。この処理は具体的には図５に示すように行われる。すなわち、判定部１３はサンプル信号の先頭及び最後尾をそれぞれ所定の数に等分割することで被分割信号を取得する（ステップＳ１３１）。続いて、判定部１３は先頭及び最後尾のそれぞれについてユークリッド距離の和Ｓを求め、その差を得る（ステップＳ１３２）。この際には、判定部１３はその値Ｓを正規化する。続いて、判定部１３はその差が所定の閾値未満か否かを判定する（ステップＳ１３３）。
【００５４】
差が閾値未満であれば（ステップＳ１３３；ＹＥＳ）、判定部１３は順再生信号を付加信号として用いると決定する（ステップＳ１３４）。一方、差が閾値以上であれば（ステップＳ１３４；ＮＯ）、判定部１３は次にサンプル信号に周期性があるか否かを判定する（ステップＳ１３５）。
【００５５】
サンプル信号に周期性が無い場合には（ステップＳ１３５；ＮＯ）、判定部１３は逆再生信号を付加信号として用いると決定する（ステップＳ１３６）。一方、サンプル信号に周期性がある場合には（ステップＳ１３５；ＹＥＳ）、判定部１３はサンプル信号の各周期において対称性が認められるか否かを判定する（ステップＳ１３７）。そして、判定部１３は、対称性があれば逆再生信号を付加信号とし（ステップＳ１３７；ＹＥＳ）、対称性がなければ順再生信号を付加信号とする（ステップＳ１３７；ＮＯ）。
【００５６】
図４に戻って、上記のように付加信号が決まると、連結部１４がその決定に基づいて付加信号を生成し、サンプル信号及びその付加信号を連結して伸長音信号を生成する。そして、連結部１４はその伸長音信号を含む出力信号を生成する（ステップＳ１４、逆再生ステップ及び連結ステップ）。最後に、出力部１５がその出力信号を出力する（ステップＳ１５、出力ステップ）。これにより、ユーザが望むように再生時間が延ばされた音が得られる。
【００５７】
次に、図６を用いて、コンピュータを音生成装置１０して機能させるための音生成プログラムＰ１を説明する。
【００５８】
音生成プログラムＰ１は、メインモジュールＰ１０、原音取得モジュールＰ１１、サンプル取得モジュールＰ１２、判定モジュールＰ１３、連結モジュールＰ１４、及び出力モジュールＰ１５を備えている。
【００５９】
メインモジュールＰ１０は、音生成機能を統括的に制御する部分である。原音取得モジュールＰ１１、サンプル取得モジュールＰ１２、判定モジュールＰ１３、連結モジュールＰ１４、及び出力モジュールＰ１５を実行することにより実現される機能はそれぞれ、上記の原音取得部１１、サンプル取得部１２、判定部１３、連結部１４、及び出力部１５の機能と同様である。
【００６０】
音生成プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等の有形の記録媒体に固定的に記録された上で提供される。また、音生成プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
【００６１】
以上説明したように、本実施形態によれば、原音信号の一部又は全部であるサンプル信号と、該サンプル信号を逆再生した場合の音を示す逆再生信号とが連結され、この連結により伸長された音信号を含む出力信号が出力される。このように双方の音信号を連結することで、連結部分において信号が連続的に繋がるので、原音の雰囲気をできるだけ維持しつつ音を伸長することが可能になる。逆再生信号を用いた音の伸長は、順再生信号を用いる場合よりも、原音から切り出すサンプル信号の位置や長さに制限が少ないので、その分自由に音を伸長することができる。
【００６２】
逆再生信号は、順再生信号とは再生方向が異なるものの、その他の加工（例えば音色や再生速度の変更など）は施されていないので、原音の雰囲気は大きく損なわれない。また、ユーザは順再生信号又は逆再生信号を連結する処理を一回以上繰り返すだけで音を任意の長さに伸長できるので、処理が簡単である。
【００６３】
本実施形態では、付加信号として逆再生信号及び順再生信号のどちらを選択するかが、サンプル信号の各種特性（周波数特性に基づく値の差、周期性、及び各周期での周波数特性の対称性）に基づいて決定される。これにより、様々な音を、その本来の雰囲気を維持しつつ伸長することができる。例えば、図７に示すようなスペクトログラムを示す風、川、及び汽車の音については、図８に示すように付加信号が決定される。
【００６４】
風の音については、周波数特性に基づく値（上記式（１）で示される値Ｓを正規化した値）がサンプル信号の両端部で近似しているとはいえない。加えて、風の音には周期性がなく、これは音圧や音色が緩やかに変化することを示している。したがって、順再生信号を用いて音を伸長しようとすると、連結部分で音の流れが途切れてしまい、且つ緩やかな変化がそのまま繰り返されてしまうので、聞き手に違和感を与えてしまう。これに対して、逆再生信号を付加することで音を伸長すれば、連結部分が滑らかに繋がり、且つ音圧や音色も緩やかに変化し続けるので、音を任意の長さに伸長したとしても原音の雰囲気を維持することができる。
【００６５】
風の音について図９を用いて更に説明する。図９（ａ）は風の音のサンプル信号である。この信号を単純に連結すると図９（ｂ）のように連結部分（一点鎖線で示されている箇所）で周波数特性が急に変化してしまうので、この伸長音を聞くと音が途切れたように聞こえてしまう。これに対して、区間Ｒにおいて逆再生信号を付加することで音を伸長した場合には図９（ｃ）に示すように周波数特性が連続的に繋がるので、聞き手は違和感をあまり持つことなく音を聞くことができる。
【００６６】
図７，８に戻って、川の音は定常的であり変化が少ないので、周波数特性に基づく値（上記式（１）で示される値Ｓを正規化した値）がサンプル信号の両端部で近似する傾向を示す。したがって、順再生信号を用いて音を伸長しても、連結部分がほぼ滑らかに繋がり、且つ音圧や音色もほぼ緩やかに変化し続ける。よって、逆再生信号を用いなくても原音の雰囲気を維持しつつ音を伸長することができる。
【００６７】
汽車走行音については、周波数特性に基づく値（上記式（１）で示される値Ｓを正規化した値）がサンプル信号の両端部で近似しているとはいえない。加えて、汽車走行音は周期性があり、各周期におけるスペクトログラムが非対称の特徴的な形状を表している。このような音を逆再生すると、雰囲気が原音と異なってしまい、聞き手に違和感を与えてしまう。このような場合には、順再生信号を付加することで、原音の雰囲気を維持しつつ音を伸長することができる。
【００６８】
風の音、川の音、及び汽車走行音を伸長した例を図１０に示す。それぞれの例は、５秒間のサンプル信号を用いて１５秒間の伸長音を生成したことを示している。
【００６９】
なお、各周期で音の対称性がある例は自然界には見当たらないが、このような音は人工的に作ることが可能である。周期毎に音の対称性があれば、逆再生信号を付加することで連結部分が滑らかに繋がり、且つ原音の雰囲気も大きく損なわれない。したがって、音を任意の長さに伸長したとしても原音の雰囲気を維持することができる。
【００７０】
本実施形態により、図７，８に示す例以外にも、雨や滝、拍手、ジャングル、雑踏の中での音、電動鋸などの様々な効果音について、原音の雰囲気を維持しつつ音を伸長することができる。もちろん、効果音以外の音（例えば音楽）についても本実施形態により同様に音を伸長することができる。
【００７１】
また、本実施形態では、フェードイン及びフェードアウトの部分を除去した上で音の連結が行われるので、伸長部分における音量変化を抑えることができる。これにより、聴取者に大きな違和感を与えることなく音を伸長することができる。
【００７２】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００７３】
上記実施形態により、一つの原音に対して複数のサンプル信号を用いて音を伸長してもよい。この場合には、各サンプル信号に対して逆再生信号または順再生信号が生成される。例えば、音生成装置１０のユーザはサンプル信号Ｓｍ，Ｓｎを含む原音Ｓｏｒｇ＝Ａ＋Ｓｍ＋Ｂ＋Ｓｎ＋Ｃに対して逆再生信号を適用することで、下記のような出力信号Ｓｏｕｔを作ることができる。なお、サンプル信号Ｓｍ，Ｓｎに対応する逆再生信号をそれぞれＳａｍ，Ｓａｎとする。もちろん、伸長音信号「Ｓｍ＋Ｓａｍ」及び「Ｓｎ＋Ｓａｎ」は出力信号に複数含まれてもよい。
Ｓｏｕｔ＝Ａ＋Ｓｍ＋Ｓａｍ＋Ｓｍ＋Ｂ＋Ｓｎ＋Ｓａｎ＋Ｓｎ＋Ｃ
【００７４】
上記実施形態では、判定部１３がサンプル信号の両端における類似性と、サンプル信号の周期性と、各周期での対称性とに基づいて付加信号を決定したが、決定方法はこれに限定されない。例えば、判定部１３はサンプル信号の両端における類似性と、サンプル信号の周期性とにのみ基づいて付加信号を決定してもよい。この場合には、判定部１３は、上記ステップＳ１３５において周期性があると判定した場合に、無条件に順再生信号を付加信号として用いると決定する。また、判定部１３はサンプル信号の両端における類似性のみに基づいて付加信号を決定してもよい。この場合には、判定部１３は、上記ステップＳ１３３において差が所定の閾値以上であると判定した場合に、無条件に逆再生信号を付加信号として用いると決定する。
【００７５】
判定部１３による処理は省略可能である。この場合には、音生成装置は常に逆再生信号を付加信号として用いて音を伸長する。
【００７６】
上記実施形態ではサンプル取得部１２がフェードイン及びフェードアウトの除去を行ったが、この除去処理は省略可能である。
【符号の説明】
【００７７】
１０…音生成装置、１１…原音取得部、１２…サンプル取得部（取得手段）、１３…判定部（判定手段）、１４…連結部（逆再生手段、連結手段）、１５…出力部（出力手段）、Ｐ１…音生成プログラム、Ｐ１０…メインモジュール、Ｐ１１…原音取得モジュール、Ｐ１２…サンプル取得モジュール、Ｐ１３…判定モジュール、Ｐ１４…連結モジュール、Ｐ１５…出力モジュール。
【図１】
0005560218.tif 000004
【図２】
0005560218.tif 000005
【図４】
0005560218.tif 000006
【図５】
0005560218.tif 000007
【図６】
0005560218.tif 000008
【図８】
0005560218.tif 000009
【図３】
0005560218.tif 000010
【図７】
0005560218.tif 000011
【図９】
0005560218.tif 000012
【図１０】
0005560218.tif 000013