system: [SYSTEM]

user: 3. 语义分析与预测 上述部分提到，1800幅有着语义属性的纹理图像的确不足以构建鲁棒的纹理生成框架，因此，通过有效的算法建立语义预测模型，让更多的纹理获得语义描述，从而进一步扩充语义数据集，是非常有必要的。本文在前述的8，800幅纹理图像的基础上展开纹理语义预测工作，并将通过语义预测模型得到语义描述后的这8800幅过程纹理数据库，称为额外的语义描述数据集(The Additional Semantic Texture Dataset)，简称STD-add。 从43维语义属性的角度进行分析，一幅纹理图像可以被看作同时具有43个语义标签(属性)。由此，对43个语义同时进行预测的工作可以看作图像的多标签学习。正是这个思路引导本文查阅和研究了相关的工作 [ 15 ] [ 16 ] ，并通过多标签学习算法快速完成了过程纹理语义预测模型的建立工作，基本过程按照图3进行。 选择多标签学习的方法开展过程纹理的语义预测工作是有依据的。多标签排序方法需要满足以下两个条件：第一、每个样本 的多个标签可以分为相关标签集合 和不相关标签集 ；第二、样本 含有的多个标签，其强度值是有序的，即 。本文的语义标签满足以上条件；而且，利用多标签学习算法学习一个可以拟合过程纹理语义数据的潜在分布，可以有效地解决过程纹理语义预测的问题。 3.1. 构建语义分布模型 多标签学习的目标是从有限的样本集的基础上学习一个映射，使其能够输出样本多个标签的排序。从收集数据的过程的角度来讲，本文认为给出这样一种假设是合理的，即：每位心理物理学实验的参与者都是有意或者无意地在某种程度上依照大脑中某种潜在的概率分布来给出语义描述的。于是，本文将纹理图像的语义数值在整体上看作某种潜在的概率分布。这个潜在的概率分布，本文称之为语义分布。当给定一幅纹理图像 ，多标签学习的目的就是构建和学习一个分布模型，使其能够在最大程度上为 预测到多个语义属性及其表现强度值，借此表示该纹理样本的语义分布。要解决这个问题，本文可以分为两个步骤:第一步就是通过某种方法从样本中学习一种最能够拟合所有样本整体分布的分布；第二步就是学习一个从样本空间到上述分布的一个映射模型。当这个映射模型被很好地学习出来之后，纹理的语义预测模型也就随之实现了。 1) 学习语义分布模型 图2. STD-basic纹理数据集语义描述示例 图3. 基于多标签学习的纹理语义预测 受上述多标签学习方法的启发，本文探索了STD-basic数据的语义分布。首先，本文生成了一个语义分布P来最大限度地拟合纹理图像的语义数值，然后本文通过学习这个分布P，来建立能够为更多纹理标注语义数据的模型。分布P在此处便起到了类似于预测器的作用。分布P必须满足以下条件： (1) 此处，D是语义分布P与每个样本各自的分布P i 之间的距离度量函数。除了上述条件之外，分布P与P i 也应该受到以下约束： ，这里的 指的是第i个纹理样本的第j个语义属性的数值， 。这里，c是语义属性的个数，而n是数据样本的个数。 公式(1)中的函数D有多种可选择的度量函数，这在论文 [ 17 ] 中早已经被探究过，例如常用的欧氏距离，KL散度和卡方距离等等。本文主要采用KL散度进行计算，并且将整个学习问题通过以下方法进行优化： (2) 这个学习优化过程是要针对每一个训练样本X i 的，如此便可以建立起符合过程纹理语义数据概率分布的语义分布P。 2) 优化语义分布模型 要学习分布P来完成预测过程纹理语义数据的模型。总体来讲，数据集已经转换成如下格式： ，这里的 是第i个样本数据的语义向量。于是，整个模型优化问题就是要在上述数据的基础上学习一个参数化的条件概率分布模型 ， 正是需要求解的参数向量。于是，整个学习问题就转化成了一个学习参数向量 的问题，而 恰恰满足使得概率分布 能够与真实语义数据的潜在概率分布非常相近。参数 的最优解可以被定义成以下形式： (3) 与论文 [ 18 ] 中的工作相似，本文假设上述条件概率模型符合最大熵模型： (4) 其 中是正则化向量， 是参数向量 其中的一个元素，x k 是样本x的第k个语义属性。将公式(4)插入公式(3)中，就可以得到以下目标优化函数： (5) 要求解这个公式的最小值 ，可以借助于准牛顿方法(quasi-Newton)成功求解。而参数 就是在 取最小值时所对应的值。一旦本文成功求解出分布模型 ，就可以利用该模型为STD-add中的纹理图像预测语义描述，这样一来，含有语义描述数据的纹理数据集从1800幅扩增至含有1800幅与8800幅纹理两个数据集：STD-basic与STD-add，这样便丰富了本文的数据，扩大了数据量。 3.2. 实验结果及分析 在这一部分，本文将从实验所采用的图像特征开始，逐步描述过程纹理图像的语义预测实验。 1) 纹理图像的特征表示 本文通过提取纹理图像不同的特征进行对比和验证实验效果。在语义预测实验过程中，本文所提取的图像特征有以下两种： · Gabor特征：Gabor特征是一种符合人类视觉感知的特征，在图像处理中，Gabor函数是一个线性的滤波器，专门用于检测图像边缘。Gabor函数的频率和方向表示类似于人类视觉系统，而且其已经被证实特别适用于纹理的表示与判别。本文种，Gabor变换采用了4个尺度6个方向的滤波器所提取得到，因此最终用来进行纹理图像特征表示的是48维Gabor特征； · 深度卷积神经网络提取的特征(Deep Convolutional Neural Network， CNN特征)：该特征是直接利用AlexNet网络架构 [ 19 ] ，在2012年ILSVRC竞赛最优的model的基础上，提取了其fc7的输出特征。AlexNet网络结构包括5个卷积层和3个全连接层，是Krizhevsky等人在2012年的ImageNet图像分类竞赛上提出的网络结构。 2) 语义预测模型训练与测试 多标签学习方法的效果在STD-basic数据集上进行了验证。该过程是利用matlab工具实现的，其中1700样本作为训练样本，其余的100个作为测试样本。预测模型分别在Gabor特征和CNN特征上测试。结果如图4 所示。左图为Gabor特征训练所得模型测试结果；右图为CNN特征训练所得模型的测试结果。图中红色折线表示预测模型预测的语义数据，绿色折线表示测试样本本身真实的语义数据。 从图4来看，本文发现：CNN特征不如Gabor特征得到的效果优越。在用Gabor特征表示的数据上，预测模型可以很好地拟合纹理语义数据的语义分布，并能够符合期望地预测测试样本的语义数据；而在用CNN特征对纹理进行表示的数据上训练得到的模型所预测到的语义数据却产生了比较大的抖动，无法达到期望的效果。同时，表1展示了由不同特征所预测的语义数据与真实语义数据之间的距离关系。在这个表格数据中本文同样可以看出，用Gabor特征表示纹理进行语义预测模型的训练要相对于用CNN特征来表示纹理进行语义预测模型的训练，效果要更好。 图4. 分别用Gabor特征和CNN特征训练得到的模型各自的测试结果 Table 1 Distance metric result between predicted semantic and real semantic dat 距离 KL距离 欧式距离 索伦森距离 卡方距离 Gabor特征 0.0564 0.0195 0.0557 0.0564 CNN特征 0.1114 0.0671 0.1380 0.1095 表1. 预测的语义数据与真实数据的平均距离度量结果 总体来讲，Gabor特征在预测过程纹理的语义描述实验中，效果要优于流行的深度卷积神经网络模型直接得到的特征，因此，本文使用Gabor特征描述和表示纹理图像，进行语义预测模型的训练，然后利用该模型为STD-add数据集中的纹理图像预测其语义描述。最终，过程纹理的语义数据集就包括两个分别含有1800幅和8800幅纹理的STD-basic和STD-add。