(57)【要約】【課題】続けて再生される複数の音コンテンツの音響的な特徴を損なうことなく、これら音コンテンツの切り換わりタイミングでの聴感的な印象が自然になるように制御することを可能にする。  【解決手段】以下の解析手段、変更量算出手段および変更手段を有する信号処理装置を提供する。解析手段は、続けて再生される複数の音コンテンツの切り換わりタイミングの前後の区間において、各音コンテンツの音響特徴を解析する。変更量算出手段は、切り換わりタイミングの前の区間の音コンテンツの音響特徴を表す音響特徴量および切り換わりタイミングの後の区間の音コンテンツの音響特徴を表す音響特徴量に基づいて、当該切り換わりタイミングの前後の区間における音コンテンツの音響特徴量の変更量を算出する。そして、変更手段は、切り換わりタイミングの前後の区間の音コンテンツに対して、変更量算出手段により算出された変更量に応じた処理を施す。【選択図】  図３
2016177004.tif 000002
【特許請求の範囲】
【請求項１】
続けて再生される複数の音コンテンツの切り換わりタイミングの前後の区間において、各音コンテンツの音響特徴を解析する解析手段と、
前記切り換わりタイミングの前の区間の音コンテンツの音響特徴を表す音響特徴量および前記切り換わりタイミングの後の区間の音コンテンツの音響特徴を表す音響特徴量に基づいて、当該切り換わりタイミングの前後の区間における音コンテンツの音響特徴量の変更量を算出する変更量算出手段と、
前記切り換わりタイミングの前後の区間の音コンテンツに対して、前記変更量算出手段により算出された変更量に応じた処理を施す変更手段と、
を有することを特徴とする信号処理装置。
【請求項２】
前記音響特徴は残響特性であることを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記音響特徴は音量であることを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記変更手段の処理の態様を指定する指定手段を有し、
前記変更量算出手段は、前記指定手段により指定された処理の態様に応じて前記変更量を算出する
ことを特徴とする請求項１〜３の何れか１項に記載の信号処理装置。
【請求項５】
前記複数の音コンテンツの各々には、音響特徴の変更を許可するか否を示すフラグが付与されており、
前記フラグが変更を許可する値である場合に、前記解析手段、前記変更量算出手段、および前記変更手段を作動させる制御手段をさらに有する
ことを特徴とする請求項１〜４の何れか１項に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音信号に対する信号処理技術に関し、特に、音量や周波数特性、残響特性などの音響的な特徴を調整する技術に関する。
【背景技術】
【０００２】
近年、ミュージッククリップやコンサートの収録データなど様々な種類の音楽コンテンツがインターネットを通じて利用可能となっている。これらの音楽コンテンツを利用する際には、ユーザの好みに即して選択した複数の音楽コンテンツを携帯音楽プレイヤーなどの再生装置で連続再生できるように配列し直して新たな音楽コンテンツを編集することがある。
【０００３】
複数の音楽コンテンツを連続再生する場合、音楽コンテンツが切り換わる際に違和感や聴感的なギャップ（以下、聴感ギャップ等）が発生する場合がある。聴感ギャップ等の発生原因としては、再生中の音楽コンテンツと後続の音楽コンテンツの音響的な特徴（以下、音響特徴）の差異が挙げられる。例えば、再生中の音楽コンテンツの音量と後続の音楽コンテンツの音量に差がある場合にはその音量差が聴感ギャップ等として体感される。また、再生中の音楽コンテンツがスタジオ録音されたものであり、後続の音楽コンテンツがライブ録音されたものである場合には、両者における残響特性の相違が聴感ギャップ等として体感される。以下、音響特徴を表す物理量を音響特徴量と呼ぶ。音響特徴量の具体例としては、音量、残響音の量や質が挙げられる。
【０００４】
聴感ギャップ等が発生しないようにするには、再生中の音楽コンテンツと後続の音楽コンテンツとの音響特徴の差異を緩和すること、すなわち、両音楽コンテンツの音響特徴量の差を無くす（或いは、小さくする）ことが必要である。このようなことを可能にする技術の一例としては特許文献１に開示の技術が挙げられる。特許文献１に開示の技術では、複数のオーディオデータを事前に解析して音響特徴についての目標特性を設計し、音響特徴がその目標特性に近づくように各オーディオデータを補正する。例えば、上記音響特徴が音量である場合には、各オーディオデータの音量の相加平均を上記目標特性とし、その目標特性に近づくように各オーディオデータの音量を補正するといった具合である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２７３６７８号公報
【非特許文献】
【０００６】
【非特許文献１】近藤多伸、インターネット、[online]、＜ＵＲＬ：http://reverb2014.dereverberation.com/workshop/index.html＞
【非特許文献２】K.Lebart,et al.,acta acustica・ACUSTICA,Vol.87(2001),pp.359-366
【非特許文献３】Jim Y.C.Wen,et al.,Acoustics,Speech and SignalProcessing,2008.ICASSP 2008.March 31 2008-April 4 2008,pp.329-332
【非特許文献４】Keisuke Kinoshita,et al.,IEEE TRANSACTION ON ON AUDIO,SPEECH ANDLANUAGE PROCESSING,VOL.17,NO.4,MAY 2009,pp.1-12
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に開示の技術には以下のような問題があった。まず、第１に、目標特性を定めるために事前に大規模な処理を行っておく必要がある、という点である。第２に、補正により音楽コンテンツ全体を通した聴こえ方が変化し、各音楽コンテンツ本来の特徴（例えば、ライブ音源らしさ等）が損なわれてしまう、という点である。したがって、再生される複数の音楽コンテンツの各々の音響的な特徴を損なうことなく、音楽コンテンツの切り換わり前後の聴感を制御することはできなかった。また、環境音や文章等の読み上げ音声、マスカ音等、音楽コンテンツ以外の複数の音コンテンツを続けて再生する場合も同様の問題が発生する。
【０００８】
本発明は上記課題に鑑みて為されたものであり、続けて再生される複数の音コンテンツの音響的な特徴を損なうことなく、これら音コンテンツの切り換わりタイミングでの聴感的な印象が自然になるように制御することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明は、続けて再生される複数の音コンテンツの切り換わりタイミングの前後の区間において、各音コンテンツの音響特徴を解析する解析手段と、前記切り換わりタイミングの前の区間の音コンテンツの音響特徴を表す音響特徴量および前記切り換わりタイミングの後の区間の音コンテンツの音響特徴を表す音響特徴量に基づいて、当該切り換わりタイミングの前後の区間における音コンテンツの音響特徴量の変更量を算出する変更量算出手段と、前記切り換わりタイミングの前後の区間の音コンテンツに対して、前記変更量算出手段により算出された変更量に応じた処理を施す変更手段と、を有することを特徴とする信号処理装置、を提供する。
【００１０】
本発明の信号処理装置による処理を経た音コンテンツを再生すれば、音コンテンツの切り換わりタイミングを基準として先行する音コンテンツの音響特徴から後続の音コンテンツの音響特徴まで、変更手段による処理内容に応じた態様で音響特徴が時間変化し、これにより切り換わりタイミングの前後の区間における聴感を制御することができる。例えば、先行する音コンテンツの音響特徴から後続の音コンテンツの音響特徴まで滑らかに時間変化するように変更量を変更量算出手段に算出させるようにすれば、聴感ギャップ等の発生を回避することができる。加えて、解析手段による解析対象は、切り換わりタイミングの前後の区間の音コンテンツに限られるため、特許文献１に開示の技術のような大規模な処理を行う必要はない。さらに、変更手段による処理対象は、切り換わりタイミングの前後の区間の音コンテンツに限られる。このため、仮に切り換わりタイミングの前の区間と後の区間の両方の音コンテンツを処理対象とする場合であっても、それら音コンテンツ本来の音響特徴が音コンテンツの全体に亘って損なわれることはない。つまり、本発明の信号処理装置によれば、続けて再生される複数の音コンテンツの音響的な特徴を損なうことなく、これら音コンテンツの切り換わりタイミングでの聴感的な印象が自然になるように制御することが可能になる。
【００１１】
前述のように、音響特徴の具体例としては残響特性や音量が挙げられ、複数種の音響特徴を処理対象としても良い。より好ましい態様においては、本発明の信号処理装置は、変更手段の処理の態様を指定する指定手段を有し、変更量算出手段は、指定手段により指定された処理の態様に応じて変更量を算出することを特徴とする。このような態様によれば、音コンテンツの切り換わり前後の聴感を信号処理装置のユーザに自由に制御させることが可能になる。
【００１２】
また、別の好ましい態様においては、前記解析手段は、所定の周波数帯域の音響特徴を解析し、前記変更量算出手段は、前記周波数帯域について前記変更量を算出することを特徴とする。このような態様によれば、聴感ギャップ等が特定の周波数帯域の音響特徴の相違に起因している場合に、その周波数帯域の音響特徴のみを変更することで、他の周波数帯域の音響的な特徴を損なうことなく、音コンテンツの切り換わりタイミングで聴感ギャップ等が発生することを回避できる。
【００１３】
さらに好ましい態様においては、前記複数の音コンテンツの各々には、音響特徴の変更を許可するか否を示すフラグが付与されており、前記フラグが変更を許可する値である場合に、前記解析手段、前記変更量算出手段、および前記変更手段を作動させる制御手段をさらに有することを特徴とする。このような態様によれば、音コンテンツの配布元等により音響特徴の変更が許可されていない音コンテンツを保護しつつ、そのような制限のない音コンテンツについてのみコンテンツ切り換わりタイミング前後の音響特徴を制御することができる。
【００１４】
上記課題を解決するための別の態様としては、ＣＰＵ（Central Processing Unit）などのコンピュータを上記解析手段、変更量算出手段および変更手段として機能させるプログラムを提供する態様が考えられる。このようなプログラムにしたがってコンピュータを作動させることで当該コンピュータを上記信号処理装置として機能させることが可能になるからである。なお、このようなプログラムの具体的な提供態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only memory）やＤＶＤ（登録商標：Digital Versatile Disc）、フラッシュＲＯＭなどのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布する態様や、インターネットなどの電気通信回線経由のダウンロードにより配布する態様が考えられる。
【図面の簡単な説明】
【００１５】
【図１】この発明の一実施形態の信号処理装置１０の構成を示すブロック図である。
【図２】同信号処理装置１０の制御部１００が信号処理プログラム１２４ａにしたがって実行する処理の流れを示すフローチャートである。
【図３】信号処理プログラム１２４ａにしたがって制御部１００を作動させることにより実現される機能を説明するための機能ブロック図である。
【図４】制御対象の音響特徴が音量である場合の動作例を示す図である。
【図５】制御対象の音響特徴が残響時間の長さである場合の動作例を示す図である。
【図６】この発明の変形例を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ、この発明の実施形態を説明する。
（Ａ：構成）
図１は、本発明の一実施形態の信号処理装置１０の構成例を示す図である。
図１に示す信号処理装置１０は、各々音楽コンテンツを表す複数のオーディオデータ（音楽コンテンツの音波形を表すサンプリングデータ列）の各々に対して、続けて再生した場合に音楽コンテンツの切り換わりタイミングの前後で聴感ギャップ等が発生しないように音響特徴を変更する信号処理を施す装置である。複数の音楽コンテンツを続けて再生することには、音楽コンテンツ間に無音区間等の区切り区間を設けずに連続再生する態様に加えて、区切り区間を設ける態様が含まれる。図１に示すように、信号処理装置１０は、制御部１００、外部機器インタフェース部１１０、記憶部１２０、およびこれら構成要素間のデータ授受を仲介するバス１３０を有する。
【００１７】
制御部１００は、例えばＣＰＵである。制御部１００は、記憶部１２０（より正確には、不揮発性記憶部１２４）に記憶されている信号処理プログラム１２４ａを実行することで信号処理装置１０の制御中枢として機能する。信号処理プログラム１２４ａにしたがって制御部１００が実行する処理の詳細については重複を避けるため後に明らかにする。
【００１８】
外部機器インタフェース部１１０は、例えばＵＳＢ（Universal Serial Bus）インタフェースなど各種インタフェース（以下、「Ｉ／Ｆ」と表記）の集合体である。外部機器Ｉ／Ｆ部１１０は、各種外部機器を接続し、その外部機器との間でデータの授受を行う。外部機器Ｉ／Ｆ部１１０は、その接続先の外部機器から取得したデータを制御部１００に与える一方、制御部１００から与えられたデータを接続先の外部機器へ出力する。外部機器Ｉ／Ｆ部１１０に接続される外部機器の一例としては、ＵＳＢメモリなどの記憶装置やサウンドシステムが挙げられる。
【００１９】
本実施形態では、外部機器Ｉ／Ｆ部１１０を介して信号処理の対象となるオーディオデータ（すなわち、続けて再生する複数の音楽コンテンツの各々に対応するオーディオデータ）が信号処理装置１０に入力される。例えば、続けて再生する複数音楽コンテンツの各々に対応するオーディオデータと各オーディオデータの再生順を示すスケジュールデータとを格納したＵＳＢメモリが外部機器Ｉ／Ｆ部１１０に接続されると、外部機器Ｉ／Ｆ部１１０は当該ＵＳＢメモリからスケジュールデータと各オーディオデータを読み出して制御部１００に与える。以降、制御部１００はスケジュールデータと各オーディオデータを不揮発性記憶部１２４に一旦書き込み、スケジュールデータの示す順にオーディオデータを不揮発性記憶部１２４から読み出して上記信号処理を施し、処理済のオーディオデータで上書きする。このようにして不揮発性記憶部１２４に格納された処理済のオーディオデータは、図示せぬ操作部を介してユーザから再生開始指示を与えられたことを契機としてスケジュールデータの示す順に不揮発性記憶部１２４から読み出され、外部機器Ｉ／Ｆ部１１０に接続されたサウンドシステムに出力され、音として再生される。なお、本実施形態では複数のオーディオデータとスケジュールデータとが各々別個のデータである場合について説明するが、これらを一体化した一つのデータであっても勿論良い。
【００２０】
記憶部１２０は、図１に示すように、揮発性記憶部１２２と不揮発性記憶部１２４を含んでいる。揮発性記憶部１２２は例えばＲＡＭ（Random Access Memory）などの揮発性メモリである。揮発性記憶部１２２は、信号処理プログラム１２４ａを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１２４は例えばフラッシュＲＯＭなどの不揮発性メモリである。不揮発性記憶部１２４には、本発明の特徴を顕著に示す処理を制御部１００に実行させる信号処理プログラム１２４ａが予め記憶されている。本実施形態では、制御部１００は信号処理装置１０の電源（図示略）投入を契機として信号処理プログラム１２４ａを不揮発性記憶部１２４から揮発性記憶部１２２へ読み出し、その実行を開始する。信号処理プログラム１２４ａにしたがって作動している制御部１００は、図示せぬ操作部を介してユーザから処理開始指示を与えられたことを契機として、スケジュールデータの示す順にオーディオデータを読み出し、図２に示す信号処理を開始する。
【００２１】
図２は、信号処理プログラム１２４ａにしたがって制御部１００が実行する信号処理の流れを示すフローチャートである。図２に示すように、信号処理プログラム１２４ａにしたがって作動している制御部１００は、末尾を検出するまで（すなわち、ステップＳＡ１００の判定結果がＹｅｓとなるまで）処理対象のオーディオデータを順次読み込み、ステップＳＡ１００の判定結果がＹｅｓになると、制御部１００は、スケジュールデータを参照して後続のオーディオデータの有無を判定する（ステップＳＡ１１０）。ステップＳＡ１１０の判定結果が“Ｙｅｓ”である場合（すなわち、後続の音楽コンテンツが有る場合）には、制御部１１０は、処理対象のオーディオデータの末尾の時刻を音楽コンテンツの切り換わりタイミングとして検出し、ステップＳＡ１２０以降の処理を実行する。これに対して、ステップＳＡ１１０の判定結果が“Ｎｏ”である場合には、ステップＳＡ１２０の処理を実行することなく当該信号処理を終了する。
【００２２】
ステップＳＡ１２０では、制御部１００は上記切り換わりタイミングよりも手前に再生される音楽コンテンツ（以下、先行する音楽コンテンツ）の末尾の所定時間分のオーディオデータを解析し、当該所定時間に対応する区間（以下、先行する音楽コンテンツの解析区間）について、制御対象として予め定められた音響特徴を表す音響特徴量を算出する。なお、解析区間の時間長については適宜実験を行って好適な値に定めるようにすれば良い。また、音響特徴量を算出するための解析手法については制御対象の音響特徴の種類に応じて異なるため、詳細については動作例にて明らかにする。
【００２３】
ステップＳＡ１２０に後続するステップＳＡ１３０では、制御部１００は、上記切り換わりタイミングに後続して再生される音楽コンテンツ（以下、後続の音楽コンテンツ）の先頭の所定時間分のオーディオデータを解析し、当該所定時間に対応する時間区間（以下、後続の音楽コンテンツの解析区間）における制御対象の音響特徴を表す音響特徴量を算出する。本実施形態では、先行する音楽コンテンツの解析区間についての音響特徴量の算出（ステップＳＡ１２０）を行った後に後続する音楽コンテンツの解析区間についての音響特徴量の算出（ステップＳＡ１３０）を行ったが、ステップＳＡ１２０とステップＳＡ１３０の実行順を入れ替えても良く、両者を並列に実行しても良い。
【００２４】
ステップＳＡ１３０に後続するステップＳＡ１４０では、制御部１００は、先行する音楽コンテンツと後続の音楽コンテンツの各々について、切り換わりタイミングより前の解析区間における音響特徴から後の解析区間の音響特徴まで、音響特徴を滑らかに時間変化させる際の音響特徴量の変更量を時刻毎に算出する。次いで、制御部１００は、ステップＳＡ１４０にて算出した変更量にしたがって上記各解析区間のオーディオデータを加工し、加工済のオーディオデータを不揮発性記憶部１２４に書き込む（ステップＳＡ１５０）。なお、ステップＳＡ１４０における変更量の算出態様およびステップＳＡ１５０における加工態様についても、制御対象の音響特徴の種類に応じて種々の態様が考えられるため、詳細については動作例にて明らかにする。そして、ステップＳＡ１５０に後続するステップＳＡ１６０では、制御部１００は、処理対象のオーディオデータを、スケジュールデータの示す次の音楽コンテンツのオーディオデータに設定し、ステップＳＡ１００以降の処理を再度実行する。
【００２５】
以上説明したように信号処理プログラム１２４ａにしたがって作動している制御部１００は、ステップＳＡ１２０およびＳＡ１３０の処理を実行する解析手段１２４ａ１、ステップＳＡ１４０の処理を実行する変更量算出手段１２４ａ２、およびステップＳＡ１５０の処理を実行する変更手段１２４ａ３として機能する（図３参照）。本実施形態では、図３に示す各手段をソフトウェアモジュールにより実現したが、電子回路などのハードウェアモジュールによりこれら各手段を実現しても勿論良い。
以上が信号処理装置１０の構成である。
【００２６】
（Ｂ：動作）
次いで、制御対象の音響特徴が音量である場合と残響特性（より具体的には、残響時間の長さ）である場合の各々を例にとって信号処理装置１０の動作を説明する。
（Ｂ−１：制御対象の音響特徴が音量である場合の動作）
まず、図４（ａ）に示すように先行する音楽コンテンツがコンテンツＡ、後続の音楽コンテンツがコンテンツＢであり、図４（ｂ）に示すように、コンテンツＡの解析区間における音量ＶＡの方が、コンテンツＢの解析区間における音量ＶＢよりも大きい場合（すなわち、ＶＡ＞ＶＢの場合）を例にとって信号処理装置１０の動作を説明する。なお、図４（ａ）には、コンテンツＡとコンテンツＢの間に無音区間等の区切り区間を設けない場合について例示されているが、区切り区間を設けても勿論良い。
【００２７】
前述したように、制御部１００は、コンテンツＡからコンテンツＢへの切り換わりタイミングを検出すると（ステップＳＡ１００の判定結果：Ｙｅｓ、かつステップＳＡ１１０の判定結果：Ｙｅｓ）、ステップＳＡ１２０以降の処理を実行する。制御部１００は、ステップＳＡ１２０ではコンテンツＡの解析区間における音量ＶＡを算出し、ステップＳＡ１２０に後続するステップＳＡ１３０ではコンテンツＢの解析区間における音量ＶＢを算出する。なお、各解析区間における音量の算出方法としては、各区間における音響エネルギー（例えば、サンプルデータの二乗値の相加平均）を算出し、当該音響エネルギーを音量とするなど周知の方法を適宜用いれば良い。
【００２８】
ステップＳＡ１３０に後続するステップＳＡ１４０では、制御部１００は、コンテンツＡとコンテンツＢの切り換わりタイミングを挟んで音量が滑らかに変化するように、コンテンツＡの解析区間における各時刻の音量の変更量と、コンテンツＢの解析区間における各時刻の音量の変更量とを算出する。本実施形態では、制御部１００は、コンテンツＡの解析区間の始点からコンテンツＢの解析区間の終点まで、横軸を時間、縦軸を音量とする二次元座標において上記始点における音量と上記終点における音量とを通る時間変化曲線（図４（ｂ）に示す例では一点鎖線で示す直線）に沿って音量が変化するように各時刻における音量の変更量を算出する。
【００２９】
具体的には、制御部１００は、各解析区間における時刻（サンプリングタイミング）毎に、その時刻における上記時間変化曲線の示す値の平方根と当該時刻におけるサンプリングデータの値の差を上記変更量として算出する。後続のステップＳＡ１４０およびステップＳＡ１５０にて、各時刻のサンプルデータに上記変更量を加算することでオーディオデータの振幅を変更できるようにするためである。なお、本動作例では、上記時間変化曲線として直線を用いるが、滑らかな曲線であればどのような曲線であっても良い。具体的には、先行する音楽コンテンツの解析区間の始点における音量と、後続の音楽区間の解析区間の終点における音量と、両区間の境界にて両音量の中間に位置する音量の３点をエルミート補間やスプライン補間することで得られる曲線が考えられる。
【００３０】
そして、ステップＳＡ１４０に後続するステップＳＡ１５０では、制御部１００は、コンテンツＡの解析区間における音量がステップＳＡ１４０にて算出された変更量にしたがって時間変化するようにコンテンツＡのオーディオデータの振幅を変更する処理（各時刻のサンプルデータに当該時刻に対応する変更量を加算する処理）を施して不揮発性記憶部１２４に書き込むとともに、コンテンツＢの解析区間における音量がステップＳＡ１４０にて算出された変更量にしたがって時間変化するようにコンテンツＢのオーディオデータの振幅を変更する処理を施して不揮発性記憶部１２４に書き込む。以上に説明した要領で処理されたコンテンツＡのオーディオデータとコンテンツＢのオーディオデータとを続けて再生すると、両コンテンツの切り換わりタイミングを挟んで音量はＶＡからＶＢまで図４（ｂ）にて一点鎖線で示す直線にしたがって滑らかに時間変化し、両コンテンツの音量の差異が緩和される。このため、上記切り換わりタイミングの前後で音量の急激な変化に起因する聴感ギャップ等が発生することはない。
【００３１】
（Ｂ−２：制御対象の音響特徴が残響特性である場合の動作）
次いで、制御対象の音響特徴が残響特性である場合の動作について説明する。
複数の音楽コンテンツを続けて再生する際に先行の音楽コンテンツにおける反射音の量と後続の音楽コンテンツにおける反射音の量に差があると音楽コンテンツの切り換わりタイミングの前後で音場の雰囲気が大きく変わり、聴感ギャップ等が発生する。図５（ａ）に示すように、反射音には、初期反射音と残響音とが含まれる。初期反射音とは音源から放射された後に壁等による最初の反射を経て聴者に至った音のことをいい、残響音とは複数回の反射を経て聴者に至った音のことをいう。残響音は後期反射音とも呼ばれる。制御対象の音響特徴が残響特性である場合には、続けて再生する音楽コンテンツの残響音の量が自然に繋がるよう、音楽コンテンツの残響音の変更量を算出し、残響音を除去或いは付与する処理を信号処理装置１０に行わせるようにすれば良い。
【００３２】
より詳細に説明すると、制御対象の音響特徴が残響特性である場合、前述したステップＳＡ１２０およびステップＳＡ１３０では、処理対象のオーディオデータ（ステップＳＡ１２０では先行する音楽コンテンツの末尾の所定時間分のオーディオデータ、ステップＳＡ１３０では後続の音楽コンテンツの先頭から所定時間分のオーディオデータ）を解析して各々における残響時間を算出する処理を制御部１００に実行させるようにすれば良い。残響時間は残響特性を評価する際の指標の一つであり、残響時間が長いほど残響音の量が多いことを意味する。残響時間の算出方法については周知の技術を適宜採用するようにすれば良い。具体的には、処理対象のオーディオデータから初期反射音と残響音のパワーをそれぞれ推定して残響時間を算出する方法（非特許文献１参照）、処理対象のオーディオデータを解析して信号エネルギーの減衰部を見つけ出し、減衰部における減衰率から残響時間を算出する方法（非特許文献２参照）、同減衰部に対する最尤推定により残響時間を算出する方法（非特許文献３）等を利用することが考えられる。また、残響時間ではなく、残響音の音響エネルギーを推定し、残響音の量を直接推定する方法（非特許文献４）を採用しても良い。
【００３３】
制御部１００は、コンテンツＡとコンテンツＢの切り換わりタイミングを挟んで残響特性が滑らかに変化するように、コンテンツＡの解析区間における各時刻の残響音の変更量と、コンテンツＢの解析区間における各時刻の残響音の変更量とを算出する（ステップＳＡ１４０）。図５（ｂ）に示すように、ステップＳＡ１１０にて算出された残響時間（先行する音楽コンテンツ（コンテンツＡ）の残響時間）ＴＡの方が後続の音楽コンテンツ（コンテンツＢ）の残響時間ＴＢよりも長かった（すなわち、コンテンツＡの方が残響音が多い）とする。この場合、制御部１００は、コンテンツＡの解析区間の始点からコンテンツＢの解析区間の終点まで、横軸を時間、縦軸を残響時間の長さとする二次元座標において上記始点における残響時間ＴＡと上記終点における残響時間ＴＢとを通る時間変化曲線（図５（ｂ）に示す例では一点鎖線で示す直線）に沿って残響時間が変化するように各時刻における残響音の変更量（コンテンツＡに対しては除去する残響音の量、コンテンツＢに対しては付加する残響音の量）を算出する。本実施形態では、制御部１００は、コンテンツＡについては解析区間における時刻毎に、その時刻における上記時間変化曲線の示す値とステップＳＡ１２０にて算出した残響時間の値の比（前者を後者を除した値）を各時刻の残響音の変更量とし、コンテンツＢについては解析区間における時刻毎に、その時刻における上記時間変化曲線の示す値とステップＳＡ１３０にて算出した残響時間の値の比を各時刻の残響音の変更量とする。
【００３４】
ステップＳＡ１５０では、制御部１００は、ステップＳＡ１４０にて算出された変更量に応じて、残響音を除去或いは付加する処理を実行する。残響音の除去方法としてはスペクトルサブトラクションが挙げられる。スペクトルサブトラクションとは周波数領域での減算処理であり、以下の要領で実現される。制御部１００は、まず、処理対象のオーディオデータにＦＦＴを施し、周波数領域のデータに変換する。次いで、制御部１００はＦＦＴにおける周波数ビン毎に振幅レベルの時間変化を追跡し、その減衰幅が所定の閾値未満の周波数ビンについては残響音が加わっていると判定し、上記変更量を乗算することで振幅を抑圧する。一般に、反射音の加わった音は、加わっていないものに比べ、振幅の減衰が緩やかだからである。なお、残響音の除去量については、上記閾値の調整や上記振幅の抑圧量の調整（例えば、上記変更量に加えて更に定数を乗算する等）によりさらにきめ細かく調整しても良い。
【００３５】
これに対して残響音を付与する方法は以下の通りである。制御部１００は、まず、処理対象のオーディオデータに上記変更量と当該オーディオデータの音響エネルギーとに応じた振幅のインパルス応答を畳み込んで残響音データを生成する。残響音データとは図５（ａ）における「残響音」を表すデータである。次いで、制御部１００は、上記の要領で生成した残響音データを処理対象のオーディオデータに加算する。なお、残響音の付加量については、残響音データを処理対象のオーディオデータに加算する際のミキシング比率の調整や上記インパルス応答の長さの調整によりさらにきめ細かく調整しても良い。
【００３６】
本動作例では、コンテンツＡの解析区間については除去量を次第に大きくしつつ残響音を除去する処理が施され、コンテンツＢの解析区間については付加量を次第に小さくしつつ残響音を付加する処理が行われる。コンテンツＡのオーディオデータとコンテンツＢのオーディオデータとを続けて再生すると、両コンテンツの切り換わりタイミングを挟んで残響時間はＴＡからＴＢまで図５（ｂ）にて一点鎖線で示す直線にしたがって滑らかに時間変化し、両コンテンツの残響特性の差異が緩和される。このため、上記切り換わりタイミングの前後で残響特性の急激な変化に起因する聴感ギャップ等が発生することはない。
【００３７】
以上説明したように本実施形態の信号処理装置１０によれば、音楽コンテンツの切り換わりタイミングを基準として、先行する音楽コンテンツから後続の音楽コンテンツまで音量等の音響特徴を滑らかに時間変化させることができる。このため、音楽コンテンツが切り換わる際に両コンテンツの音響特徴の差異に起因する聴感ギャップ等の発生が回避される。加えて、信号処理装置１０による解析対象は、音楽コンテンツの切り換わりタイミングの前後の解析区間のオーディオデータに限られるため、特許文献１に開示の技術のように先行および後続の各音楽コンテンツのオーディオデータ全体を対象とした大規模な処理を行う必要はない。そして、信号処理装置１０による加工対象も音楽コンテンツの切り換わりタイミングの前後の解析区間のオーディオデータに限られるため、先行および後続の音楽コンテンツの各々について本来の音響特徴が音楽コンテンツ全体に亘って損なわれることもない。つまり、本実施形態の信号処理装置１０によれば、続けて再生される複数の音楽コンテンツの各々のコンテンツ全体を通しての音響特徴を損なうことなく、コンテンツの切り換わりタイミングでの聴感的な印象が自然になるように制御する（すなわち、聴感ギャップ等の発生を回避する）ことができる。
【００３８】
（Ｃ：変形）
以上本発明の一実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。
（１）上記実施形態では、続けて再生される複数の音コンテンツが音楽コンテンツである場合について説明したが、続けて再生される複数の音コンテンツは音楽コンテンツには限定されず、小説や案内文などの文章の読み上げ音声であっても良く、森の音や波の音などの環境音や、攪乱音（音声を複数フレームに分割し、それらフレームを並び替える等することで内容を無意味化した音声）などのマスカ音であっても良い。また、上記実施形態では、音楽コンテンツの切り換わりタイミングの前後の解析区間の両方に対して、制御対象の音響特徴が滑らかに変化するように処理を施す場合について説明した。しかし、音楽コンテンツの切り換わりタイミングの手前の解析区間と後続の解析区間の何れか一方に対して音響特徴が滑らかに変化するように処理を施しても良い。例えば、制御対象の音響特徴が音量である場合には、図６（ａ）にて一点鎖線で示すように先行する音楽コンテンツの解析区間に対してのみ音響特徴の変更を施しても良く、また、図６（ｂ）にて一点鎖線で示すように後続の音楽コンテンツの解析区間に対してのみ音響特徴の変更を施しても良い。
【００３９】
（２）上記実施形態では、続けて再生する複数の音楽コンテンツの各々を表すオーディオデータを外部機器Ｉ／Ｆ部１１０を介して信号処理装置１０に入力し、当該外部機器Ｉ／Ｆ部１１０を介して処理済のオーディオデータをサウンドシステム等へ出力する場合について説明した。しかし、外部機器Ｉ／Ｆ部１１０の代わりにＮＩＣ（Network Interface Card）などの通信Ｉ／Ｆ部を信号処理装置１０に設け、インターネットなどの電気通信回線を当該通信Ｉ／Ｆ部を接続するとともに、続けて再生する複数の音楽コンテンツの各々を表すオーディオデータを当該電気通信回線経由で信号処理装置１０に入力しても良い。同様に、処理済のオーディオデータについても当該電気通信回線経由で出力するようにしても良い。このような態様によれば、続けて再生する複数の音楽コンテンツの各々を表すオーディオデータを電気通信回線経由で受け付け、各音楽コンテンツの音響特徴を損なうことなく、コンテンツの切り換わりタイミングにおいて聴感ギャップ等が発生しないように処理を施したオーディオデータを返信するＡＳＰ（Application Service
Provider）形式の信号処理サービスを提供することが可能になる。
【００４０】
（３）上記実施形態では、音楽コンテンツの切り換わりタイミングの前後の解析区間において音響特徴が滑らかに時間変化するように各解析区間のオーディオデータに処理を施すことで聴感ギャップ等の発生を回避する場合について説明した。しかし、音楽コンテンツの切り換わりタイミングが強調されるように各解析区間のオーディオデータに音響特徴を変更する処理を施しても良く、切り換わりタイミングの前後の解析区間における音響特徴の差異が強調されるように各解析区間のオーディオデータに音響特徴を変更する処理を施しても良い。この場合、聴感ギャップ等が強調されることになるが、これを利用した演出を行うことが可能になる。
【００４１】
音楽コンテンツの切り換わりタイミングが強調されるように各解析区間のオーディオデータに音響特徴を変更する態様の具体例は以下の通りである。続けて再生される複数の音楽コンテンツが、映画やビデオゲームの各シーンで流れるＢＧＭ（Back Ground Music）である場合には切り換わりタイミングを強調することでシーンの切り換わりを聴取者に強く想起させることができる。例えば、狭い洞窟で流れるＢＧＭに引き続き、野原などの開けた空間で流れるＢＧＭが再生される場合、図６（ｃ）に示すように、先行するＢＧＭと後続するＢＧＭとでそれらの残響時間に差がないと音の広がり感の変化に欠け、ＢＧＭのみからシーンの切り換わり（洞窟を抜けたら広大な野原が広がっていたこと）を想起することが難しくなる。これに対して、図６（ｃ）にて一点鎖線で示すように残響時間を急激に長くして音の広がり感を強調した後に徐々に元の値に近づけることでＢＧＭの切り換わりタイミングを強調し、上記シーンの切り換わりを聴取者に強く想起させることができる。なお、図６（ｃ）にて二点鎖線で示すように、残響時間を急激に短くした後に徐々に元の値に近づけることによっても同様の効果が得られる。
【００４２】
切り換わりタイミングの前後の解析区間における音響特徴の差異を強調する態様の具体例は以下の通りである。例えば、音コンテンツＡに続けて音コンテンツＢを再生する場合において、制御対象の音響特徴が音量であり、かつ音コンテンツＡの音量ＶＡが音コンテンツＢの音量ＶＢよりも大きい場合には、図６（ｄ）に示すように、音コンテンツＡについての解析区間において音量をより大きな値（ＶＭＡＸ）まで一旦引き上げた後、コンテンツ切り換えタイミングにおいて音量ＶＢよりも小さい値（ＶＭＩＮ）まで急激に音量を引下げ、その後、音コンテンツＢについての解析区間において音量ＶＢまで徐々に音量を増加させる態様が考えられる。なお、図６（ｄ）に示すように示すように切り換えタイミングにおいて音量を不連続に変化させるのではなく、図６（ｅ）に示すように、コンテンツ切り換えタイミングを挟んで音量ＶＡ→音量ＶＭＡＸ→音量ＶＡと音量ＶＢの中間の値→音量ＶＭＩＮ→音量ＶＢと連続的に音量を変化させても良い。これらの態様によれば、コンテンツ切り換えタイミングの前後で両コンテンツの音響特徴の差異が強調され、これを利用した演出を行うことが可能になる。
【００４３】
このように本発明によれば、音コンテンツの切り換わりタイミングの前後の解析区間において音響特徴を制御することで従来にはなかった演出を行うことが可能になる。なお、このような演出を行う態様においても、信号処理装置１０による解析および音響特徴を変更する処理の対象が切り換わりタイミングの前後の解析区間の音コンテンツに限られることに変わりはなく、先行および後続の音コンテンツの各々の本来の音響特徴が音コンテンツ全体に亘って損なわれることがない。
【００４４】
（４）変更手段１２４ａ３の処理の態様を指定する指定手段を信号処理装置１０に設け、変更量算出手段１２４ａ２には、当該指定手段により指定された処理の態様に応じて変更量を算出させ、変更手段１２４ａ３には当該指定手段により指定された態様の処理を音コンテンツに施させるようにしても良い。ここで、変更手段１２４ａ３の実行する処理の態様については、（ａ）切り換えタイミングの前後の解析区間の両方を処理対象とするのか、切り換えタイミングの前の解析区間と後の解析区間の何れか一方のみを処理対象とするのかといった具合に、処理対象とする解析区間についての分類と、（ｂ）音響特徴の差異を緩和する処理であるか、それとも音響特徴の差異（或いは切り換えタイミング）を強調する処理であるか等、処理内容に関する分類とが考えられる。上記指定手段は、処理対象の解析区間を指定するものであっても良く、処理内容を指定するものであっても良い。また、処理対象の解析区間と処理内容の両方を指定するものであっても良い。このような指定手段の具体例としては、タッチパネルやマウスキーボードなどの入力装置と表示装置とからなるユーザインタフェース部が考えられる。
【００４５】
（５）解析手段１２４ａ１には、解析対象のオーディオデータの所定の周波数帯域の音響特徴を解析させ、変更量算出手段１２４ａ２には当該周波数帯域における変更量を算出させ、変更手段１２４ａ３には当該周波数帯域の音響特徴量が当該変更量に応じた分だけ変化するようにオーディデータを更新させるようにしても良い。例えば、続けて再生する複数の音コンテンツがボーカル曲など音声を中心としたものであり、制御対象の音響特徴が残響特性である場合には、音声帯域（例えば１２５Ｈｚ〜２ｋＨｚ）については音響特徴を変更せず、音声帯域よりも高音域についてのみ音響特徴を制御するのである。音の残響感（広がり感）は高音域の方が感知し易いため、このような態様によれば、音コンテンツ全体の音質（聴感的な印象）を大きく変えることなく、聴感ギャップ等を緩和することが可能になる。
【００４６】
また、解析手段１２４ａ１には、予め定められた複数の帯域成分に分割する帯域分割を解析対象のオーディオデータに対して施して帯域毎に音響特徴を特定させ、変更量算出手段１２４ａ２には、帯域毎に変更量を算出させ、変更手段１２４ａ３には音響特徴量を当該変更量に応じた分だけ変化させる処理を帯域毎に実行させるようにしても良い。この場合、各帯域で共通の音響特徴を変更するものの、音響特徴を変更する処理の処理態様を帯域毎に異ならせても良く、帯域毎に異なる音響特徴を変更しても良い。
【００４７】
各帯域で共通の音響特徴を変更するものの、音響特徴を変更する処理の処理態様を帯域毎に異ならせる態様の具体例としては、制御対象の音響特徴が残響特性である場合に、高音域を先に変更し、後から低音域を変更する態様、すなわち、変更するタイミングを高音域（例えば２ｋＨｚ〜４ｋＨｚ）と低音域（２ｋＨｚより低い帯域）とで異ならせる態様が挙げられる。前述したように、残響感は高音域の方が感知し易いため、高音域をまず変更したほうが音質がいきなり大きく変化することを避けて聴感ギャップ等を緩和することができるからである。帯域毎に異なる音響特徴を変更する態様の具体例としては、続けて再生する複数の音コンテンツがボーカル曲など音声を中心としたものであり、残響感とボーカルの音量感の両方を制御したい場合に、音声帯域については音量を制御対象の音響特徴とし、高音域については残響特性を制御対象の音響特徴とする態様が考えられる。
このような態様によれば、音コンテンツの切り換わり前後の聴感を帯域毎にきめ細かく制御することが可能になる。なお、本変形と前述した（１）または（３）の変形を組み合わせても勿論良い。
【００４８】
（６）上記実施形態では、信号処理装置１０に入力された複数のオーディオデータの各々に無条件に音響特徴を変更する処理を施す場合について説明した。ミュージッククリップなどの音楽コンテンツのなかには、商業的なイメージ戦略のために歌唱者や演奏者固有の音響特徴となるように調整が施されているものがあり、このような音楽コンテンツのオーディオデータの音響特徴を変更すると問題が生じる場合がある。音響特徴を変更されたものが動画サイトなどを通じて広まると、上記イメージ戦略に支障を来す虞があるからである。そこで、音響特徴を変更することが好ましくない音楽コンテンツについては、音響特徴の変更を許可しないことを示す値をセットしたフラグを付与した状態でオーディオデータをその配布元に配布させる一方、制御部１００を前述した解析手段１２４ａ１、変更量算出手段１２４ａ２、および変更手段１２４ａ３として機能させるとともに、処理対象のオーディオデータに付与されているフラグの値が音響特徴の変更を許可する旨を示す値である場合に、解析手段１２４ａ１、変更量算出手段１２４ａ２、および変更手段１２４ａ３を作動させる制御手段として機能させる信号処理プログラムを不揮発性記憶部１２４に記憶させておけば良い。
【符号の説明】
【００４９】
１０…信号処理装置、１００…制御部、１１０…外部機器Ｉ／Ｆ部、１２０…記憶部、１２２…揮発性記憶部、１２４…不揮発性記憶部、１２４ａ…信号処理プログラム、１３０…バス。
【図１】
2016177004.tif 000003
【図２】
2016177004.tif 000004
【図３】
2016177004.tif 000005
【図４】
2016177004.tif 000006
【図５】
2016177004.tif 000007
【図６】
2016177004.tif 000008