(57)【要約】【課題】ライヴ会場で発せられるオーディオを直接聴いているかのような臨場感をより強く聴者に与えることが可能な技術を提供する。【解決手段】入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出する特徴検出部と、前記検出信号に基づいて近接音を生成する近接音生成部と、を備える、信号処理装置が提供される。【選択図】図１
2015099266.tif 000002
【特許請求の範囲】
【請求項１】
入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出する特徴検出部と、
前記検出信号に基づいて近接音を生成する近接音生成部と、
を備える、信号処理装置。
【請求項２】
前記特徴検出部は、入力信号から観客生成音の種類をさらに検出し、
前記近接音生成部は、前記観客生成音の種類に応じた近接音を生成する、
請求項１に記載の信号処理装置。
【請求項３】
前記観客生成音の種類は、男性の歓声、女性の歓声、口笛および拍手音のうち少なくとも何れか一つを含む、
請求項２に記載の信号処理装置。
【請求項４】
前記近接音生成部は、前記近接音を入力信号に付加する、
請求項１に記載の信号処理装置。
【請求項５】
前記信号処理装置は、前記検出信号に基づいて音質調整を行う音質調整部を備える、
請求項１に記載の信号処理装置。
【請求項６】
前記特徴検出部は、入力信号から曲調をさらに検出し、
前記音質調整部は、前記曲調に応じた音質調整を行う、
請求項５に記載の信号処理装置。
【請求項７】
前記音質調整部は、前記音質調整として少なくともダイナミックレンジの制御を行う、
請求項５に記載の信号処理装置。
【請求項８】
前記信号処理装置は、前記検出信号に基づいて入力信号から所定の抽出音を抽出する信号抽出部を備える、
請求項１に記載の信号処理装置。
【請求項９】
前記所定の抽出音は、センタ音およびサラウンド音のうち少なくとも何れか一つを含む、
請求項８に記載の信号処理装置。
【請求項１０】
前記信号抽出部は、前記抽出音を入力信号に付加する、
請求項８に記載の信号処理装置。
【請求項１１】
前記信号処理装置は、前記検出信号に基づいて入力信号に残響付加を行う残響付加部を備える、
請求項１に記載の信号処理装置。
【請求項１２】
前記特徴検出部は、入力信号から曲調をさらに検出し、
前記音質調整部は、前記曲調に応じた残響付加を行う、
請求項１１に記載の信号処理装置。
【請求項１３】
入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出することと、
前記検出信号に基づいてプロセッサにより近接音を生成することと、
を含む、信号処理方法。
【請求項１４】
コンピュータを、
入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出する特徴検出部と、
前記検出信号に基づいて近接音を生成する近接音生成部と、
を備える信号処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、信号処理方法およびプログラムに関する。
【背景技術】
【０００２】
近日、オーディオ信号に対して信号処理を施す技術が開示されている。例えば、オーディオ信号を解析して、音声信号特性との類似度を示す音声スコアを算出するとともに音楽信号特性との類似度を示す音楽スコアを算出し、音声スコアと音楽スコアとに基づいて、音質調整を行う技術が開示されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５０１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ライヴ会場で発せられるオーディオを直接聴いているかのような臨場感をより強く聴者に与えることが可能な技術が提供されることが望ましい。
【課題を解決するための手段】
【０００５】
本開示によれば、入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出する特徴検出部と、前記検出信号に基づいて近接音を生成する近接音生成部と、を備える、信号処理装置が提供される。
【０００６】
また、本開示によれば、入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出することと、前記検出信号に基づいてプロセッサにより近接音を生成することと、を含む、信号処理方法が提供される。
【０００７】
また、本開示によれば、コンピュータを、入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出する特徴検出部と、前記検出信号に基づいて近接音を生成する近接音生成部と、を備える信号処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、ライヴ会場で発せられるオーディオを直接聴いているかのような臨場感をより強く聴者に与えることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】本開示の第１の実施形態に係る信号処理装置の機能構成例を示す図である。
【図２】同実施形態に係る特徴検出部の詳細構成例を示す図である。
【図３】同実施形態に係る観客生成音検出部の詳細構成例を示す図である。
【図４】同実施形態に係る特徴量抽出部の詳細構成例を示す図である。
【図５】同実施形態に係るピークレベル特徴量算出部の機能を説明するための図である。
【図６】同実施形態に係る音楽検出部の詳細構成例を示す図である。
【図７】同実施形態に係る特徴量抽出部の詳細構成例を示す図である。
【図８】同実施形態に係る低域レベル変化量抽出部の機能を説明するための図である。
【図９】同実施形態に係る曲調検出部の詳細構成例を示す図である。
【図１０】同実施形態に係る音質調整部の機能詳細例を示す図である。
【図１１】同実施形態に係るゲインカーブ算出部の機能を説明するための図である。
【図１２】コンプレッサ設定の強弱の例を示す図である。
【図１３】サーバとの連携によりさらに高度な信号処理がなされるシステムの例を示す図である。
【図１４】本開示の第２の実施形態に係る信号処理装置の機能構成例を示す図である。
【図１５】同実施形態に係る信号抽出部の機能詳細例を示す図である。
【図１６】同実施形態に係るセンタ音抽出部の詳細構成例を示す図である。
【図１７】同実施形態に係るサラウンド音抽出部の詳細構成例を示す図である。
【図１８】観客生成音とゲインとの関係の一例を示す図である。
【図１９】曲調とゲインとの関係の一例を示す図である。
【図２０】センタ成分およびサラウンド成分それぞれの強弱の例を示す図である。
【図２１】本開示の第３の実施形態に係る信号処理装置の機能構成例を示す図である。
【図２２】同実施形態に係る特徴検出部の詳細構成例を示す図である。
【図２３】同実施形態に係る観客生成音解析部の詳細構成例を示す図である。
【図２４】ピークが存在する帯域と観客生成音の種類との関係の例を示す図である。
【図２５】ピークの鋭さと観客生成音の種類との関係の例を示す図である。
【図２６】本開示の第４の実施形態に係る信号処理装置の機能構成例を示す図である。
【図２７】本開示の第５の実施形態に係る信号処理装置の機能構成例を示す図である。
【図２８】同実施形態に係る特徴検出部の機能構成例を示す図である。
【図２９】本開示の第５の実施形態に係る信号処理装置の機能構成例を示す図である。
【図３０】信号処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．各実施形態の組み合わせ
６．信号処理装置のハードウェア構成例
７．むすび
【００１３】
＜１．第１の実施形態＞
以下に説明するように、信号処理装置１には入力信号が供給される。かかる入力信号には、ライヴ会場において検出された音声入力信号が含まれ得る。ライヴ会場においては、観客に聴かせる音声（以下、「センタ音」とも言う。）を発する者（例えば、ボーカルなど）が存在する。また、以下では、ライヴ会場において観客によって発せられる音を総称して観客生成音とも言う。観客生成音には、観客が発する声、拍手音、口笛音などが含まれてもよい。
【００１４】
まず、本開示の第１の実施形態について説明する。
【００１５】
図１は、本開示の第１の実施形態に係る信号処理装置１Ａの機能構成例を示す図である。図１に示すように、本開示の第１の実施形態に係る信号処理装置１Ａは、特徴検出部１００Ａと音質調整部２００とを備える。特徴検出部１００Ａは、解析用の入力音声信号から、観客生成音らしさ、音楽らしさおよび曲調のうち少なくとも何れか一つを検出し、検出して得られた検出信号を音質調整部２００に供給する。
【００１６】
音質調整部２００は、特徴検出部１００Ａから供給された検出信号に基づき、適応的に音質調整を行う。図１には、特徴検出部１００Ａに解析用の入力音声信号が供給され、音質調整部２００に音質補正用の入力音声信号が供給される例が示されているが、特徴検出部１００Ａに供給される解析用の入力音声信号と音質調整部２００に供給される音質補正用の入力音声信号とは、同じであってもよい。
【００１７】
続いて、本開示の第１の実施形態に係る特徴検出部１００Ａの詳細構成例について説明する。図２は、本開示の第１の実施形態に係る特徴検出部１００Ａの詳細構成例を示す図である。特徴検出部１００Ａは、観客生成音検出部１１０、音楽検出部１２０および曲調検出部１３０のうち少なくとも何れか一つを含んでよい。
【００１８】
観客生成音検出部１１０は、入力信号に観客生成音がどの程度含まれているかを示す観客生成音らしさを検出し、検出した観客生成音らしさを出力する。また、音楽検出部１２０は、入力信号に音楽がどの程度含まれているかを示す音楽らしさを検出し、検出した音楽らしさを出力する。さらに、曲調検出部１３０は、入力信号に含まれる音楽の曲調を検出し、検出した曲調を出力する。
【００１９】
なお、特徴検出部１００Ａが音楽検出部１２０と曲調検出部１３０とを共に含む場合、音楽検出部１２０によって音楽らしいと判断された場合のみ、曲調検出部１３０によって曲調が検出されてもよい。
【００２０】
続いて、本開示の第１の実施形態に係る観客生成音検出部１１０の詳細構成例について説明する。図３は、本開示の第１の実施形態に係る観客生成音検出部１１０の詳細構成例を示す図である。図３に示すように、観客生成音検出部１１０は、スペクトル分析部１１１と特徴量抽出部１１２と判別部１１３とを含んでよい。
【００２１】
スペクトル分析部１１１は、入力信号に対してスペクトル分析を行い、分析結果として得られたスペクトルを特徴量抽出部１１２に供給する。スペクトル分析の手法は特に限定されず、時間領域で行われてもよいし、周波数領域で行われてもよい。特徴量抽出部１１２は、スペクトル分析部１１１から供給されたスペクトルに基づいて、特徴量（例えば、スペクトル形状、スペクトルのピーク度合いなど）を抽出し、抽出した特徴量を判別部１１３に供給する。
【００２２】
続いて、本開示の第１の実施形態に係る特徴量抽出部１１２の詳細構成例についてさらに説明する。図４は、本開示の第１の実施形態に係る特徴量抽出部１１２の詳細構成例を示す図である。図４に示すように、本開示の第１の実施形態に係る特徴量抽出部１１２は、低域特徴量抽出部１１２−１と高域特徴量抽出部１１２−２と中域特徴量抽出部１１２−３とピークレベル特徴量抽出部１１２−４とを含んでよい。
【００２３】
なお、以下では、音楽が演奏されるシーンを、単に「音楽シーン」とも言う。また、１の音楽シーンと他の音楽シーンとの間において観客生成音が発せられるシーンを、単に「歓声シーン」とも言う。
【００２４】
まず、スペクトル分析部１１１から供給されるスペクトルのうち低域レベルをＬＶ０とすると、低域特徴量抽出部１１２−１は、スペクトル形状の例として、以下の式（１）により低域特徴量ＦＶ０を算出することができる。
【００２５】
ＦＶ０＝ｗ０（ＬＶ０−ｔｈ０）・・・（１）
【００２６】
ここで、ｔｈ０は事前学習により定まる閾値であってよく、音楽シーンなどの非歓声シーンではＬＶ０がｔｈ０を超え、歓声シーンではＬＶ０がｔｈ０を超えないように学習されてよい。
【００２７】
同様に、スペクトル分析部１１１から供給されるスペクトルのうち高域レベルをＬＶ１とすると、高域特徴量抽出部１１２−２は、スペクトル形状の例として、以下の式（２）により高域特徴量ＦＶ１を算出することができる。
【００２８】
ＦＶ１＝ｗ１（ＬＶ１−ｔｈ１）・・・（２）
【００２９】
同様に、スペクトル分析部１１１から供給されるスペクトルのうち中域レベルをＬＶ２とすると、中域特徴量抽出部１１２−３は、スペクトル形状の例として、以下の式（３）により中域特徴量ＦＶ２を算出することができる。
【００３０】
ＦＶ２＝ｗ２（ＬＶ２−ｔｈ２）・・・（３）
【００３１】
ここで、ｔｈ２は事前学習により定まる閾値であってよく、歓声シーンではＬＶ２がｔｈ２を超え、音楽シーンなどの非歓声シーンではＬＶ２がｔｈ２を超えないように学習されてよい。
【００３２】
また、ピークレベル特徴量抽出部１１２−４は、スペクトルピークレベル（極大値レベルと極大値レベルに隣接する極小値レベルとの差）の和を用いて、スペクトルのピーク度合いの例として、ピークレベル特徴量ＦＶ３を算出してよい。例えば、図５に示すようなスペクトルがスペクトル分析部１１１から供給された場合、ピークレベル特徴量抽出部１１２−４は、（例えば、Ｄ１〜Ｄ３などにより示される）スペクトルピークレベルの和ＬＶ３を用いて、式（４）によりピークレベル特徴量ＦＶ３を算出することができる。
【００３３】
ＦＶ３＝ｗ３（ＬＶ３−ｔｈ３）・・・（４）
【００３４】
ここで、ｔｈ３は事前学習により定まる閾値であってよく、音楽シーンなどの非歓声シーンではＬＶ３がｔｈ３を超え、歓声シーンではＬＶ３がｔｈ３を超えないように学習されてよい。
【００３５】
なお、ｗ０〜ｗ３は各特徴量の信頼性に依存する重み係数であり、判別部１１３による判別結果が最も正しくなるように学習されてよい。例えば、以下に説明する観客生成音らしさＣｈｒｌｈが正の値の場合、判別部１１３によって観客生成音らしいと判断され、観客生成音らしさＣｈｒｌｈが負の値の場合、判別部１１３によって観客生成音らしくないと判断されるように、ｗ０〜ｗ３の符号が決定されてよい。
【００３６】
判別部１１３は、特徴量抽出部１１２から供給された特徴量に基づいて、観客生成音らしさを判別する。例えば、スペクトル形状に基づいて、低域レベルが閾値より低いという条件と高域レベルが閾値より低いという条件と中域レベル（音声帯域のレベル）が高いという条件との少なくとも何れか一つが満たされる場合には、低音楽器（例えば、ベースやバスドラムなど）や、多くの高音楽器、シンバルなどの楽器音がより弱く、中域レベルがより強いと判断され得る。したがって、かかる場合、判別部１１３は、観客生成音らしいと判断してよい。
【００３７】
また、観客生成音は、音楽と比較して、スペクトルのピークの密度が小さいと考えられる。そこで、判別部１１３は、スペクトルのピークの密度が閾値より小さいとき、観客生成音らしいと判断してよい。
【００３８】
例えば、判別部１１３は、上記特徴量ＦＶ０〜ＦＶ３を用いて、観客生成音らしさＣｈｒｌｈを以下の式（５）により算出することができる。
【００３９】
【数１】
2015099266.tif 000003
【００４０】
例えば、判別部１１３は、観客生成音らしさＣｈｒｌｈが正の値の場合、観客生成音らしいと判断してよい。一方、判別部１１３は、観客生成音らしさＣｈｒｌｈが負の値の場合、観客生成音らしくないと判断してよい。
【００４１】
続いて、本開示の第１の実施形態に係る音楽検出部１２０の詳細構成例について説明する。図６は、本開示の第１の実施形態に係る音楽検出部１２０の詳細構成例を示す図である。図６に示すように、音楽検出部１２０は、スペクトル分析部１２１と特徴量抽出部１２２と判別部１２３とを含んでよい。
【００４２】
スペクトル分析部１２１は、入力信号に対してスペクトル分析を行い、分析結果として得られたスペクトルを特徴量抽出部１２２に供給する。スペクトル分析の手法は特に限定されず、時間領域で行われてもよいし、周波数領域で行われてもよい。特徴量抽出部１２２は、スペクトル分析部１２１から供給されたスペクトルに基づいて、特徴量（例えば、スペクトル形状、スペクトルのピーク度合い、低域レベルの大きな時間変化の密度、低域レベルの傾きのゼロクロスの密度など）を抽出し、抽出した特徴量を判別部１２３に供給する。
【００４３】
続いて、本開示の第１の実施形態に係る特徴量抽出部１２２の詳細構成例についてさらに説明する。図７は、本開示の第１の実施形態に係る特徴量抽出部１２２の詳細構成例を示す図である。図７に示すように、本開示の第１の実施形態に係る特徴量抽出部１２２は、低域特徴量抽出部１２２−１と高域特徴量抽出部１２２−２と中域特徴量抽出部１２２−３とピークレベル特徴量抽出部１２２−４と低域レベル変化量抽出部１２２−５とを含んでよい。
【００４４】
まず、スペクトル分析部１２１から供給されるスペクトルのうち低域レベルをＬＶ０とすると、低域特徴量抽出部１２２−１は、スペクトル形状の例として、以下の式（６）により低域特徴量ＦＶｍ０を算出することができる。
【００４５】
ＦＶｍ０＝ｗｍ０（ＬＶ０−ｔｈｍ０）・・・（６）
【００４６】
ここで、ｔｈｍ０は事前学習により定まる閾値であってよく、音楽シーンではＬＶ０がｔｈｍ０を超え、歓声シーンなどの非音楽シーンではＬＶ０がｔｈｍ０を超えないように学習されてよい。
【００４７】
同様に、スペクトル分析部１２１から供給されるスペクトルのうち高域レベルをＬＶ１とすると、高域特徴量抽出部１２２−２は、スペクトル形状の例として、以下の式（７）により高域特徴量ＦＶｍ１を算出することができる。
【００４８】
ＦＶｍ１＝ｗｍ１（ＬＶ１−ｔｈｍ１）・・・（７）
【００４９】
同様に、スペクトル分析部１２１から供給されるスペクトルのうち中域レベルをＬＶ２とすると、中域特徴量抽出部１２２−３は、スペクトル形状の例として、以下の式（８）により中域特徴量ＦＶｍ２を算出することができる。
【００５０】
ＦＶｍ２＝ｗｍ２（ＬＶ２−ｔｈｍ２）・・・（８）
【００５１】
ここで、ｔｈｍ２は事前学習により定まる閾値であってよく、音楽シーンではＬＶｍ２がｔｈ２を超え、歓声シーンなどの非音楽シーンではＬＶ２がｔｈｍ２を超えないように学習されてよい。
【００５２】
また、ピークレベル特徴量抽出部１２２−４は、スペクトルピークレベル（極大値レベルと極大値レベルに隣接する極小値レベルとの差）の和を用いて、スペクトルのピーク度合いの例として、ピークレベル特徴量ＦＶ３を算出してよい。例えば、図５に示すようなスペクトルがスペクトル分析部１２１から供給された場合、ピークレベル特徴量抽出部１２２−４は、（例えば、Ｄ１〜Ｄ３などにより示される）スペクトルピークレベルの和ＬＶ３を用いて、式（９）によりピークレベル特徴量ＦＶｍ３を算出することができる。
【００５３】
ＦＶｍ３＝ｗｍ３（ＬＶ３−ｔｈｍ３）・・・（９）
【００５４】
ここで、ｔｈｍ３は事前学習により定まる閾値であってよく、歓声シーンなどの非音楽シーンではＬＶ３がｔｈｍ３を超え、音楽シーンではＬＶ３がｔｈｍ３を超えないように学習されてよい。
【００５５】
また、低域レベル変化量抽出部１２２−５は、低域レベルの大きな時間変化の密度を以下のようにして算出することができる。まず、低域レベル変化量抽出部１２２−５は、時刻ｔおよびｔ−Δｔの低域レベルをそれぞれＬＶ０（ｔ）、ＬＶ０（ｔ−Δｔ）とすると、以下の式（１０）および式（１１）によりフラグｆｌｇを算出することができる。
【００５６】
ｗｈｅｎ  ＬＶ０（ｔ）−ＬＶ０（ｔ−Δｔ）＞ｔｈ，ｆｌｇ（ｔ）＝１・・（１０）
【００５７】
ｏｔｈｅｒｓ，ｆｌｇ（ｔ）＝０・・・（１１）
【００５８】
ただし、ｔｈは閾値であり、ｔｈは、例えば、入力信号にバスドラムが叩かれたときの音が含まれている場合に、ＬＶ０（ｔ）−ＬＶ０（ｔ−Δｔ）がｔｈを超えるように設定されてよい。低域レベル変化量抽出部１２２−５は、低域レベルの大きな時間変化の密度の例として、以下の式（１２）によりｆｌｇ（ｔ）の時間平均ｆ＃を算出することができる。
【００５９】
【数２】
2015099266.tif 000004
【００６０】
ここで、Ｔは平均時間を示している。低域レベル変化量抽出部１２２−５は、ｆｌｇ（ｔ）の時間平均ｆ＃を用いて、以下の式（１３）により低域レベル変化量ＦＶｍ４を算出することができる。
【００６１】
ＦＶｍ４＝ｗｍ４（ｆ♯−ｔｈｍ４）・・・（１３）
【００６２】
なお、ｗｍ０〜ｗｍ４は各特徴量の信頼性に依存する重み係数であり、判別部１２３による判別結果が最も正しくなるように学習されてよい。例えば、以下に説明する音楽らしさＭｓｃｌｈが正の値の場合、判別部１２３によって音楽らしいと判断され、音楽らしさＭｓｃｌｈが負の値の場合、判別部１２３によって音楽らしくないと判断されるように、ｗｍ０〜ｗｍ４の符号が決定されてよい。
【００６３】
判別部１２３は、特徴量抽出部１２２から供給された特徴量に基づいて、音楽らしさを判別する。例えば、スペクトル形状に基づいて、低域レベルが閾値より高いという条件と高域レベルが閾値より高いという条件と中域レベル（音声帯域のレベル）が低いという条件との少なくとも何れか一つが満たされる場合には、低音楽器（例えば、ベースやバスドラムなど）や、多くの高音楽器、シンバルなどの楽器音がより強く、中域レベルがより弱いと判断され得る。したがって、かかる場合、判別部１２３は、音楽らしいと判断してよい。
【００６４】
また、音楽は、観客生成音と比較して、スペクトルのピークの密度が大きいと考えられる。そこで、判別部１２３は、スペクトルのピークの密度が閾値より大きいとき、音楽らしいと判断してよい。
【００６５】
また、入力信号にバスドラムが叩かれたときの音が含まれている場合に、低域レベルは鋭く大きく変化する。したがって、判別部１２３は、低域レベルの単位時間当たりの変化量が閾値より大きいとき、入力信号にバスドラムが叩かれたときの音が含まれる可能性が高いと判断することができる。そのため、判別部１２３は、低域レベルの単位時間当たりの変化量が閾値を超える頻度が上限値を超える場合、バスドラムの音が含まれる音楽が持続的に流れていると判断できるため、音楽らしいと判断してよい。
【００６６】
例えば、判別部１２３は、上記特徴量ＦＶｍ０〜ＦＶｍ４を用いて、音楽らしさＭｓｃｌｈを以下の式（１４）により算出することができる。
【００６７】
【数３】
2015099266.tif 000005
【００６８】
例えば、判別部１２３は、音楽らしさＭｓｃｌｈが正の値の場合、音楽らしいと判断してよい。一方、判別部１２３は、音楽らしさＭｓｃｌｈが負の値の場合、音楽らしくないと判断してよい。なお、音楽シーンは比較的長時間継続するのが一般的であるため、音楽らしさＭｓｃｌｈの時間平均が判別部１２３による判別に使用されてもよい。
【００６９】
続いて、本開示の第１の実施形態に係る曲調検出部１３０の詳細構成例についてさらに説明する。図９は、本開示の第１の実施形態に係る曲調検出部１３０の詳細構成例を示す図である。図９に示すように、本開示の第１の実施形態に係る曲調検出部１３０は、スペクトル分析部１３１と特徴量抽出部１３２と判別部１３３とを含んでよい。
【００７０】
スペクトル分析部１３１は、入力信号に対してスペクトル分析を行い、分析結果として得られたスペクトルを特徴量抽出部１３２に供給する。スペクトル分析の手法は特に限定されず、時間領域で行われてもよいし、周波数領域で行われてもよい。特徴量抽出部１３２は、スペクトル分析部１３１から供給されたスペクトルに基づいて、特徴量（例えば、低域レベルの長時間平均、低域レベルの傾きのゼロクロスの密度など）を抽出し、抽出した特徴量を判別部１２３に供給する。
【００７１】
判別部１３３は、かかる特徴量に基づいて曲調を判別する。曲調としては、ベースやバスドラムなどの低音楽器の音がほとんど含まれない穏やかな曲調（例えば、バラードや弾き語りなどの曲調）や、ベース音が歪んでいる曲調、それ以外の通常の曲調（例えば、ロック、ポップス）、音楽らしくない曲調などが挙げられる。例えば、穏やかな曲調の場合には、低域レベルが低くなるのが通例である。しかし、通常の曲調においても一時的に低音楽器の音が抜けて低域レベルが下がる場合があることが想定される。そのため、低域レベルは長時間平均したものを用いてよい。
【００７２】
そこで、判別部１３３は、低域レベルの長時間平均が閾値を下回る場合には、穏やかな曲調であると判断してよい。一方、判別部１３３は、低域レベルの長時間平均が閾値を上回る場合には、激しい曲調であると判断してよい。このとき、曲調が穏やかな曲調と激しい曲調との間において短時間で切り替わる場合などには、低域レベルの長時間平均を用いるだけでは曲調変化への追従が遅れてしまう可能性がある。
【００７３】
そこで、判別部１３３は、観客生成音らしさが閾値を超える場合には、低域レベルを平均化するための時間を短くし、曲調変化に早く追従するようにすることもできる。このように、低域レベルを平均化するための時間は特に限定されない。
【００７４】
また、図８に示すように、低域レベルが同じ場合であっても、バスドラムなどがはっきり粒だっている音源の場合（ベース音が歪んでいない場合）、低域レベルの時間変化は比較的大きな山を描くため、低域レベルの傾きのゼロクロスの密度は小さくなると考えられる。一方、ベース音などが歪んでいる場合、低域レベルは比較的細かく変化するため低域レベルの傾きのゼロクロスの密度は大きくなると考えられる。
【００７５】
そこで、判別部１３３は、低域レベルの傾きのゼロクロスの密度が閾値を超える場合には、ベース音が歪んでいない曲調であると判別してよい。一方、判別部１３３は、低域レベルの傾きのゼロクロスの密度が閾値を下回る場合には、ベース音が歪んだ曲調であると判別してよい
【００７６】
続いて、本開示の第１の実施形態に係る音質調整部２００の詳細構成例について説明する。図１０は、本開示の第１の実施形態に係る音質調整部２００の機能詳細例を示す図である。図１０に示すように、音質調整部２００は、ゲインカーブ算出部２１０と帯域分割フィルタ２２０−１〜２２０−３とダイナミックレンジコントローラ２３０−１〜２３０−３と加算器２４０とを含んでよい。
【００７７】
なお、図１０に示した例では、音質調整部２００は、帯域分割フィルタ２２０およびダイナミックレンジコントローラ２３０それぞれを、低域、中域および高域に対応する数（３つ）備えているが、帯域分割フィルタ２２０およびダイナミックレンジコントローラ２３０それぞれの数は特に限定されない。
【００７８】
音質調整部２００は、検出信号に基づいて少なくともダイナミックレンジの制御を行うことによって音質調整を行ってよい。より詳細には、帯域分割フィルタ２２０は、入力信号を各帯域に分割する。ゲインカーブ算出部２１０は、曲調に基づいて各帯域レベルに乗じられる係数の変化（ゲインカーブ）を算出する。ダイナミックレンジコントローラ２３０は、帯域分割フィルタ２２０によって分割された帯域レベルに対して係数を乗じることによって音質調整を行う。加算器２４０は、ダイナミックレンジコントローラ２３０からの信号を加算して出力する。
【００７９】
ダイナミックレンジコントローラ２３０は、入力信号からライヴ会場で聴かれるような音量感の高い（ダイナミックレンジの狭い）信号を創り出すためのコンプレッサとして動作し得る。ダイナミックレンジコントローラ２３０は、マルチバンドであってもよいし、シングルバンドであってもよい。ダイナミックレンジコントローラ２３０がマルチバンドの場合には、低域レベルおよび高域レベルをブーストしてライヴ会場で聴かれるような周波数特性の信号を生成することもできる。
【００８０】
また、ライヴ会場においては、穏やかな曲調である場合には、コンプレッサを弱めに設定して伸びやかな音作りがされることが多い。したがって、ゲインカーブ算出部２１０は、曲調検出部１３０によって穏やかな曲調であると判別された場合、コンプレッサの設定を弱めるようなゲインカーブを算出することによって、ライヴ会場での音作りを再現することができる。
【００８１】
また、ゲインカーブ算出部２１０は、曲調検出部１３０によって低域レベルの歪みが大きい曲調であると判別された場合に、コンプレッサの設定を弱めるようなゲインカーブを算出することによって、歪みが強調されて不快な音が発生することを防ぐことができる。また、観客生成音はＰＡ（Ｐｕｂｌｉｃ  Ａｄｄｒｅｓｓ）を通る音ではないため、観客生成音に対してはコンプレッサをかけられなくてよい。したがって、ゲインカーブ算出部２１０は、観客生成音検出部１１０によって観客生成音らしくないと判断された場合、コンプレッサの設定を弱めるようなゲインカーブを算出することによって、観客生成音の音質の変化を防ぐことができる。
【００８２】
図１１は、ゲインカーブ算出部２１０によって算出されるゲインカーブの例を示す図である。例えば、ゲインカーブ算出部２１０は、曲調検出部１３０によって通常の曲調であると判別された場合（ミドルテンポからアップテンポのロックや、ポップスであると判断された場合）、音量感を増すためにゲインカーブ１のようなゲインカーブを算出してよい。図１１を参照すると、ゲインカーブ１は、入力レベルが閾値を下回る場合、入力レベルより出力レベルを大きくし、入力レベルが閾値を超える場合には、入力レベルに対して出力レベルを小さくするカーブとして描かれている。
【００８３】
しかし、ベース音の歪みが大きい場合、ゲインカーブ１に示すようにゲインを上げると歪みをさらに増幅することになり不快な音となることがある。そのため、曲調検出部１３０によってベース音の歪みが大きい曲調であると判断された場合には、ゲインカーブ２のようなゲインカーブを算出し、ブースト量を変更することで歪みを増幅しないように制御してよい。図１１を参照すると、ゲインカーブ２は、入力レベルに対する出力レベルの大きさがゲインカーブ１に比べて抑制されている（ゲインカーブ１よりもコンプレッサの設定を弱めるようなゲインカーブである）。
【００８４】
また、ゲインカーブ算出部２１０は、曲調検出部１３０によって穏やかな曲調であると判別された場合、音量感よりも音質が優先されることがあるため、ゲインカーブ２のように設定を変更し、過度の音質変化を防ぐように制御してよい。図１２は、コンプレッサ設定の強弱の例を示す図である。ゲインカーブ算出部２１０は、図１２に示す例に従って、コンプレッサ設定の強弱が制御されるようにゲインカーブを算出してよい。なお、ノイズの発生を避けるため、ゲインカーブは滑らかに変更されるのがよい。
【００８５】
また、サーバとの連携によりさらに高度な信号処理がなされてもよい。図１３は、サーバとの連携によりさらに高度な信号処理がなされるシステムの例を示す図である。図１３に示したシステムは、コンテンツ配信サーバ１０、再生機２０、パラメータ配信サーバ３０およびスピーカ４０を含んでいる。コンテンツ配信サーバ１０は、再生機２０にコンテンツを提供するサーバであり、スピーカ４０は、再生機２０によって再生されたコンテンツを出力する。
【００８６】
例えば、再生機２０が有する特徴検出部１００Ａによってコンテンツから楽曲情報（例えば、楽曲を識別するための情報、楽曲のジャンル情報など）が検出される場合が想定される。かかる場合、音質調整部２００は、この楽曲情報に対応する音質調整パラメータをパラメータ配信サーバ３０から取得して、取得した音質調整パラメータに従って音質調整を行ってもよい。
【００８７】
特徴検出部１００Ａおよび音質調整部２００の機能をサーバが有する場合も想定される。かかる場合、再生機２０は、コンテンツをサーバに提供し、サーバによって音質調整がされたコンテンツを取得して再生してもよい。このとき、再生機２０は、コンテンツとともに、自身の性能情報（例えば、再生可能周波数、再生可能音圧など）をサーバに送信し、自身の性能情報に対応するコンテンツとなるようにサーバに音質調整をさせてもよい。
【００８８】
以上に説明したように、本開示の第１の実施形態によれば、曲調を検出しながら、曲調に応じてコンプレッサのかけ具合を適応的に変えることができる。そのため、ロックやポップスなどの多くの楽曲に対しては、ライヴ会場で聴かれるような音量感の大きい音に調整することができる。一方、穏やかな伸びやかさが求められる楽曲に対しては、自動的にコンプレッサのかけ具合を弱めて、歪みにより伸びやかさが失われることを防ぐことができる。また、コンテンツに収録されているベース音がもともと歪んでいる場合に、コンプレッサの影響で歪みがさらに大きくなり不快な音が発生することを防ぐことができる。
【００８９】
＜２．第２の実施形態＞
続いて、本開示の第２の実施形態について説明する。本開示の第２の実施形態において本開示の第１の実施形態と同様の機能構成については、同一の符号を付して詳細な説明を省略する。
【００９０】
図１４は、本開示の第２の実施形態に係る信号処理装置１Ｂの機能構成例を示す図である。図１４に示すように、本開示の第２の実施形態に係る信号処理装置１Ｂは、特徴検出部１００Ａと信号抽出部３００とを備える。特徴検出部１００Ａは、解析用の入力音声信号から、観客生成音らしさ、音楽らしさおよび曲調のうち少なくとも何れか一つを検出し、検出して得られた検出信号を信号抽出部３００に供給する。
【００９１】
信号抽出部３００は、特徴検出部１００Ａから供給された検出信号に基づき、適応的に所定の抽出音を抽出する。所定の抽出音は、センタ音およびサラウンド音のうち少なくとも何れか一つを含んでよい。サラウンド音は入力信号から主にセンタに定位する音を抑圧した信号である。図１４には、特徴検出部１００Ａに解析用の入力音声信号が供給され、信号抽出部３００に抽出用の入力音声信号が供給される例が示されているが、特徴検出部１００Ａに供給される解析用の入力音声信号と信号抽出部３００に供給される抽出用の入力音声信号とは、同じであってもよい。
【００９２】
続いて、本開示の第２の実施形態に係る信号抽出部３００の詳細構成例について説明する。図１５は、本開示の第２の実施形態に係る信号抽出部３００の機能詳細例を示す図である。図１５に示すように、信号抽出部３００は、センタ音抽出部３１０およびサラウンド音抽出部３２０のうち少なくとも何れか一つを含んでよい。
【００９３】
センタ音抽出部３１０は、検出信号に応じて入力信号から適応的にセンタ音を抽出する。センタ音抽出部３１０は、抽出したセンタ音を入力信号に付加してもよい。そうすれば、残響付加や音質調整などにより不明瞭になったセンタ音を明瞭にすることができる。
【００９４】
例えば、センタ音抽出部３１０は、音楽検出部１２０によって音楽らしいと判断された場合に、センタ音を抽出し、音楽らしくないと判断された場合に、センタ音を抽出しなくてもよい。このように、音楽らしさに応じてセンタ音が抽出されれば、音楽らしくない場合には（歓声シーンでは）、センタ音の抽出が防止され、広がり感が損なわれることが防止され得る。
【００９５】
また、例えば、センタ音抽出部３１０は、観客生成音検出部１１０によって観客生成音らしいと判断された場合に、センタ音を抽出せず、観客生成音らしくないと判断された場合に、センタ音を抽出してもよい。このように、観客生成音らしさに応じてセンタ音が抽出されても、同様の機能が実現され得る。
【００９６】
サラウンド音抽出部３２０は、検出信号に応じて入力信号から適応的にサラウンド音を抽出する。サラウンド音抽出部３２０は、抽出したサラウンド音を入力信号（入力信号のサラウンドチャンネル）に付加してもよい。そうすれば、歓声シーンでの臨場感や広がり感をさらに増すことができる。
【００９７】
例えば、サラウンド音抽出部３２０は、音楽検出部１２０によって音楽らしいと判断された場合に、臨場感を出すために音楽の明瞭さが損なわれない程度にサラウンド音を抽出し、音楽らしくないと判断された場合に、サラウンド音の抽出度合いを強めてもよい。このように、音楽らしさに応じてサラウンド音が抽出されれば、音楽らしい場合には（音楽シーンでは）、サラウンド音の抽出が抑制され、音楽の明瞭さが損なわれることが防止され得る。
【００９８】
また、例えば、センタ音抽出部３１０は、観客生成音検出部１１０によって観客生成音らしいと判断された場合に、臨場感を出すために音楽の明瞭さが損なわれない程度にサラウンド音を抽出し、観客生成音らしくないと判断された場合に、サラウンド音の抽出度合いを強めてもよい。このように、観客生成音らしさに応じてサラウンド音が抽出されても、同様の機能が実現され得る。
【００９９】
続いて、本開示の第２の実施形態に係るセンタ音抽出部３１０の詳細構成例について説明する。図１６は、本開示の第２の実施形態に係るセンタ音抽出部３１０の詳細構成例を示す図である。図１６に示すように、センタ音抽出部３１０は、加算器３１１とバンドパスフィルタ３１２とゲイン算出部３１３と増幅器３１４とを含んでよい。
【０１００】
加算器３１１は、入力信号のＬ  ｃｈａｎｎｅｌ，とＲ  ｃｈａｎｎｅｌとを加算し、バンドパスフィルタ３１２は、加算結果から音声帯域を通過させることによって音声帯域の信号を抽出する。ゲイン算出部３１３は、音楽らしさおよび観客生成音らしさの少なくとも何れか一方に基づいて、バンドパスフィルタ３１２によって抽出された信号に乗じられるゲインを算出し、増幅器３１４は、抽出された信号にゲインを乗じた結果をセンタ音として出力する。
【０１０１】
続いて、本開示の第２の実施形態に係るサラウンド音抽出部３２０の詳細構成例について説明する。図１７は、本開示の第２の実施形態に係るサラウンド音抽出部３２０の詳細構成例を示す図である。図１７に示すように、サラウンド音抽出部３２０は、ハイパスフィルタ３２１とゲイン算出部３２２と減算器３２３、３２４と増幅器３２５、３２６とを含んでよい。サラウンド音抽出部３２０は、サラウンド音を抽出し、抽出したサラウンド音をサラウンドチャンネルから再生することによって、音楽シーンや歓声シーンでの臨場感を増すことができる。
【０１０２】
サラウンド音は、入力信号のＬ  ｃｈａｎｎｅｌおよびＲ  ｃｈａｎｎｅｌの一方からもう一方の音が、減算器３２３および減算器３２４によって減算された信号に相当し得る。ただし、低域成分は、主にセンタに定位していることが多く、かつ、聴感上定位感が弱いため、減算する側の信号の低域成分をハイパスフィルタ３２１によって除去してから減算することにより、減算される側の信号の低域成分を損なわずにサラウンド音を生成できる。
【０１０３】
ゲイン算出部３２２は、音楽らしさおよび観客生成音らしさのうち少なくとも何れか一方に基づいてゲインを算出し、増幅器３２５および増幅器３２６それぞれは、減算結果に対してゲインを乗じた結果を抽出音として出力する。例えば、ゲイン算出部３２２は、図１８に示すように、観客生成音らしさが高いときはゲインを高くし、より臨場感、広がり感が増すように制御してよい。また、ゲイン算出部３２２は、図１９に示すように、曲調が穏やかな場合は、ゲインを高くし、よりダイナミックな広がり感を与えられるように制御してよい。
【０１０４】
図２０は、センタ成分およびサラウンド成分それぞれの強弱の例を示す図である。ゲイン算出部３２２は、図２０に示す例に従って、センタ成分およびサラウンド成分の強弱が制御されるようにゲインを算出してよい。
【０１０５】
以上に説明したように、本開示の第２の実施形態によれば、コンテンツのシーンに合わせて適切な臨場感や明瞭なセンタ音が得られる。ライヴ会場では、音楽は主に観客の前方から到来するため、音楽シーンでは、サラウンドスピーカに供給すべき音は反射音程度の比較的小さい音であってよい。しかし、観客は全方位に存在し得るため、歓声シーンでは、サラウンドスピーカに比較的大きな音を供給するとよい。本開示の第２の実施形態によれば、歓声シーンにおいては、サラウンド成分の供給量を増やすことができるため、ライヴ会場で歓声に包まれているかのような臨場感を得ることができる。
【０１０６】
また、臨場感を高めるための残響付加や音質調整などの処理は、センタ音を不明瞭にすることがある。そのため、音楽シーンにおいてはセンタ音を抽出し、歓声シーンにおいてはセンタ音を抽出しないことによって、歓声シーンでの広がり感が損なわれることなくセンタ音の明瞭さを増すことができる。
【０１０７】
＜３．第３の実施形態＞
続いて、本開示の第３の実施形態について説明する。本開示の第３の実施形態において本開示の第１の実施形態および本開示の第２の実施形態と同様の機能構成については、同一の符号を付して詳細な説明を省略する。
【０１０８】
図２１は、本開示の第３の実施形態に係る信号処理装置１Ｃの機能構成例を示す図である。図２１に示すように、本開示の第３の実施形態に係る信号処理装置１Ｃは、特徴検出部１００Ｂと近接音生成部４００とを備える。特徴検出部１００Ｂは、解析用の入力音声信号から、観客生成音らしさ、観客生成音の種類および音楽らしさのうち少なくとも何れか一つを検出し、検出して得られた検出信号を信号抽出部３００に供給する。
【０１０９】
近接音生成部４００は、特徴検出部１００Ｂから供給された検出信号に基づき、ライヴ会場における音声入力信号の検出位置の近くの観客から発生される音（例えば、声、口笛音、拍手音など）を生成する。以下においては、近くの観客から発生される音を近接音とも言う。
【０１１０】
続いて、本開示の第３の実施形態に係る特徴検出部１００Ｂの詳細構成例について説明する。図２２は、本開示の第３の実施形態に係る特徴検出部１００Ｂの詳細構成例を示す図である。特徴検出部１００Ｂは、観客生成音検出部１１０、音楽検出部１２０および観客生成音解析部１４０のうち少なくとも何れか一つを含んでよい。観客生成音解析部１４０は、観客生成音検出部１１０によって歓声らしいと判断された場合に、観客生成音の種類を検出する。
【０１１１】
続いて、本開示の第３の実施形態に係る観客生成音解析部１４０の詳細構成例について説明する。図２３は、本開示の第３の実施形態に係る観客生成音解析部１４０の詳細構成例を示す図である。図２３に示すように、観客生成音解析部１４０は、スペクトル分析部１４１と特徴量抽出部１４２と判別部１４３とを含んでよい。
【０１１２】
スペクトル分析部１４１は、入力信号に対してスペクトル分析を行い、分析結果として得られたスペクトルを特徴量抽出部１４２に供給する。スペクトル分析の手法は特に限定されず、時間領域で行われてもよいし、周波数領域で行われてもよい。特徴量抽出部１４２は、スペクトル分析部１４１から供給されたスペクトルに基づいて、特徴量（例えば、音声帯域のスペクトル形状など）を抽出し、抽出した特徴量を判別部１４３に供給する。
【０１１３】
判別部１４３は、特徴量抽出部１４２によって抽出された特徴量（例えば、音声帯域のスペクトル形状）に基づいて、観客生成音の種類を判別する。具体例を以下に説明する。例えば、判別部１４３は、図２４に示したスペクトル１のように、音声帯域のスペクトルのピークが男性の音声帯域（約７００〜８００Ｈｚ）にある場合、観客生成音の種類が男性の歓声である（あるいは、男性の歓声が支配的である）と判別してよい。
【０１１４】
一方、判別部１４３は、図２４に示したスペクトル２のように、音声帯域のスペクトルのピークが女性の音声帯域（約１．１〜１．３Ｈｚ）にある場合、観客生成音の種類が女性の歓声である（あるいは、女性の歓声が支配的である）と判別してよい。また、判別部１４３は、図２４に示したスペクトル３のように、両音声帯域の中間にピークがある場合、観客生成音の種類が男女の歓声の混合であると判別してよい。
【０１１５】
また、判別部１４３は、図２５に示したスペクトル１のように、ピークがある程度より鋭い場合には、観客生成音の種類が声である（あるいは、声が支配的である）と判別してよい。一方、判別部１４３は、図２５に示したスペクトル２のように、ピークがある程度よりなだらかな場合には、観客生成音の種類が拍手音である（あるいは、拍手音が支配的である）と判別してよい。
【０１１６】
近接音生成部４００は、検出信号に基づいて近接音を生成する。例えば、近接音生成部４００は、観客生成音らしさが閾値より高いという条件および音楽らしさが閾値より低いという条件のうち少なくとも何れか一方が満たされた場合に、近接音を生成してよい。一方、近接音生成部４００は、観客生成音らしさが閾値より低いという条件および音楽らしさが閾値より高いという条件のうち少なくとも何れか一方が満たされた場合に、曲中に不自然に近接音が付加されることを避けるため、近接音を生成しなくてよい（あるいは、より弱い近接音を生成してもよい）。
【０１１７】
また、近接音生成部４００は、観客生成音の種類が男性の歓声である（あるいは、男性の歓声が支配的である）場合には、男性の声を含む近接音を生成してよい。一方、近接音生成部４００は、観客生成音の種類が女性の歓声である（あるいは、女性の歓声が支配的である）場合には、女性の声を含む近接音を生成してよい。また、近接音生成部４００は、観客生成音の種類が拍手音である（あるいは、拍手音が支配的である）場合には、拍手音を含む近接音を生成してよい。このようにすれば、入力信号に自然に馴染むような近接音を生成することができる。
【０１１８】
近接音は、近接音生成部４００によって入力信号に付加されてもよい。そうすれば、近接音が付加された音場を楽しむことが可能である。なお、近接音生成部４００による近接音の生成手法については限定されない。例えば、近接音生成部４００は、あらかじめ録音された近接音を再生することによって近接音を生成してもよい。また、近接音生成部４００は、シンセサイザのように疑似的に近接音を生成してもよい。あるいは、近接音生成部４００は、入力信号から残響成分を除去することによって近接音を生成してもよい。
【０１１９】
以上に説明したように、本開示の第３の実施形態によれば、コンテンツに収録されにくい近くの観客によって発せられた音（例えば、声、口笛音、拍手音など）が生成されることによって、ライヴ会場で音楽を聴いているかのような没入感、臨場感をより強く与えることができる。コンテンツを解析し、歓声シーンに合わせてなじみのよい近接音を付加することによって、非歓声シーンで突然近接音が付加されることはなく、自然な音場を作ることができる。
【０１２０】
＜４．第４の実施形態＞
続いて、本開示の第４の実施形態について説明する。本開示の第４の実施形態において本開示の第１の実施形態〜本開示の第３の実施形態と同様の機能構成については、同一の符号を付して詳細な説明を省略する。
【０１２１】
図２６は、本開示の第４の実施形態に係る信号処理装置１Ｄの機能構成例を示す図である。図２６に示すように、本開示の第４の実施形態に係る信号処理装置１Ｄは、特徴検出部１００Ａと残響付加部５００とを備える。特徴検出部１００Ａは、解析用の入力音声信号から、観客生成音らしさ、音楽らしさおよび曲調のうち少なくとも何れか一つを検出し、検出して得られた検出信号を残響付加部５００に供給する。
【０１２２】
残響付加部５００は、検出信号に基づき、適応的に入力信号に残響付加を行う。図２６には、特徴検出部１００Ａに解析用の入力音声信号が供給され、残響付加部５００に残響付加用の入力音声信号が供給される例が示されているが、特徴検出部１００Ａに供給される解析用の入力音声信号と残響付加部５００に供給される残響付加用の入力音声信号とは、同じであってもよい。
【０１２３】
残響付加部５００は、曲調検出部１３０によって検出された曲調に応じた残響付加を行ってもよい。例えば、残響付加部５００は、穏やかな曲調であると判別された場合には、残響時間をより長めに設定してよい。そうすれば、より広がりのあるダイナミックな音場を生成することができる。一方、残響付加部５００は、通常の曲調（例えば、ロックやポップスなど）であると判別された場合には、残響時間をより短めに設定してよい。そうすれば、早いパッセージなどの明瞭さが失われずに済む。
【０１２４】
また、残響付加部５００は、観客生成音らしい曲調であると判別された場合には、残響時間をより長くしてよい。そうすれば、より臨場感のある音場を生成して盛り上げることができる。近接音は、近接音生成部４００によって入力信号に付加されてもよい。そうすれば、近接音が付加された音場を楽しむことが可能である。
【０１２５】
以上に説明したように、本開示の第４の実施形態によれば、曲調やシーンに合わせて残響特性を適切に調整することによって、より広がり感があり、明瞭な音場を作ることができる。速いテンポの速い曲では細かいパッセージが不明瞭にならないように比較的短めの残響時間を有する特性にし、ゆったりとした曲や歓声シーンでは比較的長めの残響時間を有する特性にすることによって、ダイナミックな臨場感のある音場を作ることができる。
【０１２６】
＜５．各実施形態の組み合わせ＞
続いて、本開示の第５の実施形態について説明する。本開示の第５の実施形態においては、以上に説明した第１の実施形態〜第４の実施形態を適宜に２つ以上組み合わせることが可能である。これにより、ライヴ会場で発せられるオーディオを直接聴いているかのような臨場感をさらに強く聴者に与えることが可能となることが期待される。一例として、本開示の第５の実施形態においては、第１の実施形態〜第４の実施形態をすべて組み合わせた例について説明する。
【０１２７】
図２７は、本開示の第５の実施形態に係る信号処理装置１Ｅの機能構成例を示す図である。図２７に示すように、本開示の第５の実施形態に係る信号処理装置１Ｅは、特徴検出部１００Ｃと、センタ音抽出部３１０と、音質調整部２００と、サラウンド音抽出部３２０と、近接音生成部４００と、残響付加部５００と、加算器６００とを含んでいる。
【０１２８】
特徴検出部１００Ｃは、入力信号から特徴量を検出し、検出した特徴量を、センタ音抽出部３１０、サラウンド音抽出部３２０、音質調整部２００、近接音生成部４００および残響付加部５００に供給する。センタ音抽出部３１０は、特徴検出部１００Ｃから供給された音楽らしさに応じてセンタ音を抽出し、抽出したセンタ音を音質調整部２００に供給する。音質調整部２００は、特徴検出部１００Ｃから供給された曲調に基づいて、入力信号およびセンタ音それぞれの音質調整を行い、音質調整された入力信号およびセンタ音を、サラウンド音抽出部３２０および残響付加部５００それぞれに供給する。
【０１２９】
サラウンド音抽出部３２０は、特徴検出部１００Ｃから供給された観客生成音らしさに応じて、音声調整された入力信号からサラウンド音の抽出を行い、残響付加部５００に供給する。近接音生成部４００は、特徴検出部１００Ｃから供給された特徴量（例えば、観客生成音らしさ、観客生成音の種類、音楽らしさなど）に応じて近接音を生成し、生成した近接音を残響付加部５００に供給する。
【０１３０】
残響付加部５００は、特徴検出部１００Ｃから供給された曲調に応じて、音質調整部２００、サラウンド音抽出部３２０および近接音生成部４００それぞれから供給される入力信号に対し残響付加を行う。加算器６００は、近接音生成部４００によって生成された近接音を残響付加部５００からの出力信号に付加する。
【０１３１】
図２８は、本開示の第５の実施形態に係る特徴検出部１００Ｃの機能構成例を示す図である。図２８に示すように、特徴検出部１００Ｃは、観客生成音検出部１１０、音楽検出部１２０、曲調検出部１３０および観客生成音解析部１４０を有している。かかる例のように、観客生成音検出部１１０、音楽検出部１２０、曲調検出部１３０および観客生成音解析部１４０をすべて有する特徴検出部１００Ｃが提供され得る。
【０１３２】
また、図２９は、本開示の第５の実施形態に係る信号処理装置１Ｆの機能構成例を示す図である。図２９に示すように、本開示の第５の実施形態に係る信号処理装置１Ｅは、バーチャルサラウンド生成部７００をさらに含んでもよい。上記した信号処理装置１Ｅからの出力信号のサラウンド成分は、サラウンドスピーカから再生されるが、バーチャルサラウンド生成部７００のバーチャルサラウンドを用いて、フロントスピーカのみを用いて再生してもよい。
【０１３３】
＜６．信号処理装置のハードウェア構成例＞
続いて、本開示の実施形態に係る信号処理装置１のハードウェア構成例について説明する。図３０は、本開示の実施形態に係る信号処理装置１のハードウェア構成例を示す図である。ただし、図３０に示したハードウェア構成例は、信号処理装置１のハードウェア構成の一例を示したに過ぎない。したがって、信号処理装置１のハードウェア構成は、図３０に示した例に限定されない。
【０１３４】
図３０に示したように、信号処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８０３と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、通信装置８１５とを備える。
【０１３５】
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って信号処理装置１内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【０１３６】
入力装置８０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための操作部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。信号処理装置１のユーザは、該入力装置８０８を操作することにより、信号処理装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１３７】
出力装置８１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含んでよい。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。
【０１３８】
ストレージ装置８１１は、信号処理装置１の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。
【０１３９】
ドライブ８１２は、記憶媒体用リーダライタであり、信号処理装置１に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１４０】
通信装置８１５は、例えば、ネットワークに接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置８１５は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置８１５は、例えば、ネットワークを介して他の装置と通信を行うことが可能である。
【０１４１】
以上、本開示の実施形態に係る信号処理装置１のハードウェア構成例について説明した。
【０１４２】
＜７．むすび＞
以上説明したように、本開示の第１の実施形態〜本開示の第４の実施形態それぞれによれば、ライヴ会場で発せられるオーディオを直接聴いているかのような臨場感をより強く聴者に与えることが可能である。また、本開示の第５の実施形態によれば、本開示の第１の実施形態〜本開示の第４の実施形態を適宜に２つ以上組み合わせることにより、臨場感をさらに強く聴者に与えることが可能となることが期待される。
【０１４３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１４４】
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した信号処理装置１が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【０１４５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１４６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出する特徴検出部と、
前記検出信号に基づいて近接音を生成する近接音生成部と、
を備える、信号処理装置。
（２）
前記特徴検出部は、入力信号から観客生成音の種類をさらに検出し、
前記近接音生成部は、前記観客生成音の種類に応じた近接音を生成する、
前記（１）に記載の信号処理装置。
（３）
前記観客生成音の種類は、男性の歓声、女性の歓声、口笛および拍手音のうち少なくとも何れか一つを含む、
前記（２）に記載の信号処理装置。
（４）
前記近接音生成部は、前記近接音を入力信号に付加する、
前記（１）〜３の何れか一項に記載の信号処理装置。
（５）
前記信号処理装置は、前記検出信号に基づいて音質調整を行う音質調整部を備える、
前記（１）〜４の何れか一項に記載の信号処理装置。
（６）
前記特徴検出部は、入力信号から曲調をさらに検出し、
前記音質調整部は、前記曲調に応じた音質調整を行う、
前記（５）に記載の信号処理装置。
（７）
前記音質調整部は、前記音質調整として少なくともダイナミックレンジの制御を行う、
前記（５）または（６）に記載の信号処理装置。
（８）
前記信号処理装置は、前記検出信号に基づいて入力信号から所定の抽出音を抽出する信号抽出部を備える、
前記（１）〜７の何れか一項に記載の信号処理装置。
（９）
前記所定の抽出音は、センタ音およびサラウンド音のうち少なくとも何れか一つを含む、
前記（８）に記載の信号処理装置。
（１０）
前記信号抽出部は、前記抽出音を入力信号に付加する、
前記（８）または（９）に記載の信号処理装置。
（１１）
前記信号処理装置は、前記検出信号に基づいて入力信号に残響付加を行う残響付加部を備える、
前記（１）〜１０の何れか一項に記載の信号処理装置。
（１２）
前記特徴検出部は、入力信号から曲調をさらに検出し、
前記音質調整部は、前記曲調に応じた残響付加を行う、
前記（１１）に記載の信号処理装置。
（１３）
入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出することと、
前記検出信号に基づいてプロセッサにより近接音を生成することと、
を含む、信号処理方法。
（１４）
コンピュータを、
入力信号から観客生成音らしさおよび音楽らしさのうち少なくとも何れか一つを含む検出信号を検出する特徴検出部と、
前記検出信号に基づいて近接音を生成する近接音生成部と、
を備える信号処理装置として機能させるためのプログラム。
【符号の説明】
【０１４７】
１（１Ａ〜１Ｆ）  信号処理装置
１００（１００Ａ、１００Ｂ、１００Ｃ）  特徴検出部
１１０  観客生成音検出部
１１１  スペクトル分析部
１１２  特徴量抽出部
１１２−１  低域特徴量抽出部
１１２−２  高域特徴量抽出部
１１２−３  中域特徴量抽出部
１１２−４  ピークレベル特徴量抽出部
１１３  判別部
１２０  音楽検出部
１２１  スペクトル分析部
１２２  特徴量抽出部
１２２−１  低域特徴量抽出部
１２２−２  高域特徴量抽出部
１２２−３  中域特徴量抽出部
１２２−４  ピークレベル特徴量抽出部
１２２−５  低域レベル変化量抽出部
１２３  判別部
１３０  曲調検出部
１３１  スペクトル分析部
１３２  特徴量抽出部
１３３  判別部
１４０  観客生成音解析部
１４１  スペクトル分析部
１４２  特徴量抽出部
１４３  判別部
２００  音質調整部
２１０  ゲインカーブ算出部
２２０  帯域分割フィルタ
２３０  ダイナミックレンジコントローラ
２４０  加算器
３００  信号抽出部
３１０  センタ音抽出部
３１１  加算器
３１２  バンドパスフィルタ
３１３  ゲイン算出部
３１４  増幅器
３２０  サラウンド音抽出部
３２１  ハイパスフィルタ
３２２  ゲイン算出部
３２３  減算器
３２４  減算器
３２５  増幅器
３２６  増幅器
４００  近接音生成部
５００  残響付加部
６００  加算器
７００  バーチャルサラウンド生成部
【図１】
2015099266.tif 000006
【図２】
2015099266.tif 000007
【図３】
2015099266.tif 000008
【図４】
2015099266.tif 000009
【図５】
2015099266.tif 000010
【図６】
2015099266.tif 000011
【図７】
2015099266.tif 000012
【図８】
2015099266.tif 000013
【図９】
2015099266.tif 000014
【図１０】
2015099266.tif 000015
【図１１】
2015099266.tif 000016
【図１２】
2015099266.tif 000017
【図１３】
2015099266.tif 000018
【図１４】
2015099266.tif 000019
【図１５】
2015099266.tif 000020
【図１６】
2015099266.tif 000021
【図１７】
2015099266.tif 000022
【図１８】
2015099266.tif 000023
【図１９】
2015099266.tif 000024
【図２０】
2015099266.tif 000025
【図２１】
2015099266.tif 000026
【図２２】
2015099266.tif 000027
【図２３】
2015099266.tif 000028
【図２４】
2015099266.tif 000029
【図２５】
2015099266.tif 000030
【図２６】
2015099266.tif 000031
【図２７】
2015099266.tif 000032
【図２８】
2015099266.tif 000033
【図２９】
2015099266.tif 000034
【図３０】
2015099266.tif 000035