system: [SYSTEM]

user: 2. 音乐分类模型设计 融合LSTM和注意力机制的音乐分类模型设计流程如图1所示。从训练集数据中提取出多维突出音乐情感的代表性语音特征，将其传送至LSTM注意力机制神经网络中来搭建分类模型，并利用这个模型对音乐进行情感分类。 图1. 音乐情感分类流程 2.1. 提取音频的情感特征 音乐在视觉表现上是以频谱的形式存在的，这里需要选用在频谱信号上最有情感代表性且最合适的特征来提取出情感特征，依此分析出音乐所属的情感类别。本文计划在此处捕捉最原始的声学特征，完成从信号到特征向量的转换。此处需要结合低级描述符LLD，LLD作为能够用于描述音频信号本质特征的变量，主要分为韵律特征、谱特征和音质特征三大类 [ 10 ]。韵律特征是语言的一种音系结构，是情绪表达的重要形式之一，主要包含语调、时域分布和重音三个方面；谱特征是声音及其他信号的视觉表示，最典型的特征提取方法即为梅尔频谱倒谱系数(Mel-scale Frequency Cepstral Coefficients， MFCC)；音质特征主要包含响度，音域、音高、音素和纯度等 [ 11 ]，本文在这里选用的低级描述符LLD包括MFCC、共振峰、短时能量、基音频率和短时过零率，将这些作为情感分类的特征参数，其主要思想是对音乐音高(频率)、音长(节奏)、响度(重音)的刻画等 [ 12 ]。 2.1.1. 梅尔频谱倒谱系数 人是通过声带的振动产生声音的，而人的声道决定了发出什么样的声音，其可以在短时的频谱包络中显示出来。MFCC是基于人耳听觉特性提出的，广泛应用于语音识别(Speech Recognition)和话者识别(Speaker Recognition)方面，根据人类听觉进行感知 [ 13 ]，相比其它参数具有更好的鲁棒性，当信噪比降低时仍然具有较好的识别性能。 首先对音频数据进行预处理以提取MFCC特征，主要包含预加重、分帧、加窗、快速傅里叶变换(Fast Fourier Transform， FFT)、Mel滤波器组、对数运算和离散余弦变换(Discrete Cosine Transform， DCT)等操作。本文中将对音频数据进行预加重处理，即增强信号上升沿和下降沿处的幅度。另外，由于音乐信号具有不平稳性，因此为了最大程度上保证信号的完整性，需要对信号进行分帧处理，将每一帧乘以汉明窗来增加左端和右端的连续性，经过FFT得到每一帧在频谱上的能量分布，对对数频谱进行计算。接下来对经过等带宽的Mel滤波器器组进行滤波处理来对频谱进行平滑化，将上述对数能量带入DCT来得到MFCC特征。MFCC特征的提取过程如图2所示。 图2. MFCC的提取过程 MFCC是在Mel标度频率域提取出来的倒谱参数，Mel标度描述了人耳频率的非线性特性，它与频率的关系如式(1)所示： Mel ( f ) = 2595 ∗ lg ( 1 + f 700 ) (1) 其中，f为频率，其单位是Hz。 MFCC的计算方法如式(2)所示： MFCC ( t ， i ) = 2 N ∑ j = 1 N lg [ E ( t ， j ) ] cos [ i ( j − 0.5 ) π N ] (2) 其中， MFCC ( t ， i ) 为t时刻的MFCC参数，N为滤波器数量， E ( t ， j ) 是t时刻第j个滤波器的输出。本文在此处共提取了18维MFCC特征，采用了更符合人耳听觉特征的参数，信号的完整性得到了大幅度提高。 2.1.2. 共振峰 共振峰是在声音的频谱中能量相对集中的一些区域，共振峰不但是音质的决定因素，而且反映了声道(共振腔)的物理特征。它是反映声道谐振特性的重要特征，是语音信号处理中非常重要的特征参数，代表了发音信息最直接的来源，本文捕捉了共振峰的8维特征，包含共振峰频率、频带宽度和幅值。 2.1.3. 短时平均能量 短时能量意为较短时间内的语音能量，是音频信号的时域特征。这里的较短时间通常指的是一帧，即一帧时间内的语音能量就是短时能量。语音的短时能量就是将语音中每一帧的短时能量都计算出来。它主要用于区分浊音段和清音段，对声母和韵母进行分界，每一帧中所有语音信号的平方和都可以作为辅助的特征参数用于信号识别，其计算公式如式(3)所示。 E n = ∑ m = n − ( N − 1 ) n [ x ( m ) ω ( n − m ) ] 2 (3) 对于每一帧m而言， E n 为n时刻的短时平均短时间内的语音能量， ω ( m ) 是窗口函数，在这里它是一种方窗，N为窗长且其选择与语音周期相关，这里拟将帧长设定为10~30 ms，提取出10维特征。 2.1.4. 基音频率 在声音的振动中，由频率最低的振动所发出的声音叫做基音，其余为泛音。基音频率的长短、薄厚、韧性、劲度和发音习惯有关系，在很大程度上反应了声音的特征。针对此特征，本文主要提取了当前帧的6维特征，包含最值、均值、方差、中位数和振幅。 2.1.5. 短时平均过零率 过零率(Zero-Crossing Rate， ZCR)是指一个信号的符号变化的比率，是对敲击声音的进行分类的主要特征，一帧音频中信号波形穿过横轴，即改变符号的次数即为过零率。由于信号具有短时性，在本文将信号以30 ms为一段分为若干帧进行分析，两帧起始点相隔5 ms，提取出10维特征。 上文提取出的50维音频特征均为接下来音乐情感分类的重要依据。另外，LSTM是一种具有长记忆特征的循环神经网络(Recurrent Neural Networks， RNN)，因此还需要把音乐的时长进行分割，每3秒为一段并同时提取出一个50维的特征，得到的特征序列即为接下来LSTM模型的输入数据。 2.2. 融合LSTM和AM的情感分类模型 本文计划在这个模型中实现对音乐的情感类别进行划分，融合了双层LSTM结构和注意力机制的神经网络模型由三层LSTM、注意力层及输出层组成。其模型框架如图3所示。 图3. LSTM注意力神经网络模型 2.2.1. 三层LSTM结构 RNN会面临梯度消失的问题，梯度是用于更新神经网络的权重值，消失的梯度问题即为在时间的推移传播过程中梯度下降，易导致难以继续学习的问题，而LSTM作为RNN的一种特殊类型，拥有通过门结构来去除或增加信息到细胞状态的能力。它由Hochreiter和Schmidhuber于1997年提出，其关键在于细胞状态，水平线在上方贯穿运行，非常适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM的整体架构 [ 14 ] 如式(5)~(10)所示。 f t = σ ( W f [ h t − 1 ， x t ] + b f ) (4) i t = σ ( W i [ h t − 1 ， x t ] + b i ) (5) C ˜ t = tanh ( W c ˜ [ h t − 1 ， x t ] + b c ˜ ) (6) C t = f t ∗ C t − 1 + i t ∗ C ˜ t (7) o t = σ ( W o [ h t − 1 ， x t ] + b o ) (8) h t = o t ∗ tanh ( C t ) (9) 其中，权重参数分别是 W f ， W i ， W c ˜ ， W o ，偏置值分别是 b f ， b i ， b c ˜ ， b o 。首先将输入的特征序列 x t 和前一层的隐藏层 h t − 1 状态相结合并通过激活函数sigmoid来构成忘记门 f t ，会读取 h t − 1 和 x t ，输出一个0到1之间的数给每个在细胞状态 C t − 1 中的字。接下来将前一层隐藏层状态的信息 h t − 1 和当前输入的信息 x t 传递到tanh函数中，去创造一个新的候选值变量，将sigmoid输出值与tanh的输出值相乘，sigmoid的输出值将决定tanh的输出值中哪些数据是重要且需要保留的。输出数据将作为接下来注意力机制结构的输入序列。 2.2.2. 注意力机制 人们在注意某个目标或某个场景时会利用有限的注意力资源从海量信息中筛选出最具价值的信息。而深度学习中注意力机制的核心目标和选择性视觉注意力机制相似，可以极大提高信息处理的效率和准确性的注意力机制，有助于克服RNN中计算效率低下等问题，其核心在于注意力权重的学习，通过在体系结构中加入一个额外的前馈神经网络来学习。注意力权重 α i 的计算方法如式(11)所示。 α i = exp ( f ( x i ) ) ∑ j exp ( f ( x j ) ) (10) 其中，是用来评分的函数，而是针对于输入序列中的每个向量而言的，每一个向量都对应一个权重。 这些注意力权重都被用于构建内容向量，该向量作为输入传递给解码器，而编码器中所有隐藏状态和相应注意力权重的加权和即为注意力层的输出结果。输出结果 a t t e n t i v e _ x 的计算方法如式(11)所示。 a t t e n t i v e _ x = ∑ i α i x i (11) 本文使用的融合LSTM和注意力机制的情感分类模型，将特征输出和音乐所属情感类别更加紧密的联系对应起来，使计算资源分配更合理。 2.2.3. 输出层 在输出层中，使用softmax函数将50维与情感相关的特征序列映射到[0，1]范围内，为了数据处理方便，把数据定为总和为1的0到1之间的小数。音乐所属类别取决于最大的值。由此音乐的情感被分类为快乐、清新、放松和伤感。