system: [SYSTEM]

user: 3. 传统的图像数据增强方法 传统的图像数据增强方法，通常使用图像处理技术 [ 4 ] 来完成数据集的扩充和图像质量优化，大致分为几何变换、色彩变换、像素变换三大类。 3.1. 几何变换 针对数据集进行空间几何变换，常常会存在改变图像原始的标签信息或者增加一些不相关数据的情况，这称之为不安全的转换。例如对文字的识别任务中，对图像进行翻转操作是没有意义的。但对于存在位置偏差的数据集，用几何变换技术可以很好解决问题。但在真实情况下，训练集与测试集的数据的差异十分复杂，除了移位旋转等操作外，还包括其他复杂变换。因此几何变换的应用范围相对有限。 3.1.1. 图像翻转与旋转 图像翻转操作包括对图片进行垂直和水平翻转，其中垂直翻转实现需要水平翻转后再图像进行180˚旋转处理，水平翻转比垂直翻转应用更为广泛。这种技术的优点是易于实现，此外图像翻转在CIFAR-10数据集上具有较好的效果，但对文本识别的数据集，如MNIST，使用图像翻转会更改其标签信息 [ 5 ]。 图1. 基于图像的数据增强方法分类 进行图像旋转后得到的图像与原始图像的维数是否相同取决于图像的旋转度数以及原始图像的形状。当长方形的图像旋转180˚或者正方形的图像旋转90˚、180˚、270˚时，旋转后的图像与原始图像能够保持一致的维数。与图像翻转操作一样，在特定的数据集上，例如文本识别数据集MNIST，其图像变换的安全性取决于图像的旋转度数，随旋转度数的增加，转换后的图片不在保留原标签信息。 3.1.2. 图像剪裁与缩放 图像的随机剪裁可视为从原始图像上进行随机抽样，再将抽样获得的图像数据样本恢复为原始图像大小。 图像缩放分为向外缩放和向内缩放。图像缩放与图像剪裁不同的是向外缩放会得到比原始图像更大尺寸的图像，再从中剪裁出与原始图像大小相同的图像，向内缩放则缩小原始图像的大小，并针对其超出边界的部分进行填充操作从而获得与原始图像尺寸一致的图像。 3.1.3. 图像移位与边缘填充 图像移位是指不改变图像的尺寸而将图像在以坐标轴为移动参考进行横轴和纵轴的移动，并针对边缘部分进行填充处理。在进行了图像移位操作后，大部分的图像数据中对于图像任务有用的部分将位于图像的边缘部分，因此深度学习模型在进行计算机视觉任务训练时会将关注焦点转移到任意位置，而不是仅仅针对图像中心区域的学习，这种操作能够有效的提高模型的鲁棒性。 在对图像数据样本进行旋转、移位、缩放等操作后，需要将变换后的图像恢复到与原始图像尺寸一致的大小，恢复的过程通过对于图像的边缘部分进行填充操作实现。常用的图像填充方法包括：常数填充，使用常数值对图像的边缘部分进行填充，这种填充方式适用于单色背景的图像数；边界值填充，在原始图像边界的外部填充原始图像的边界的像素值，此方法适用于短距离移位。 3.2. 色彩变换 3.2.1. 色彩空间 数字图像数据通过使用长、宽和通道来表示数据。 常用的色彩空间包括： 1) 通过RGB通道的变化和叠加得到不同颜色的RGB色彩空间； 2) YUV色彩空间，其中Y表示亮度，UV表示色度； 3) HSV颜色模型，H表示色调，S表示饱和度，V表示明暗程度。 此外还包括I1I2I3，L*a*b* [ 6 ] 和YcbCr [ 7 ]，在这些颜色空间中，HSV颜色空间是直观的，其组成部分可以很容易地与物理世界相关联 [ 8 ]。 在色彩通道上进行图像亮度调节以及色度调剂是数据增强的一种有效方式。通常情况下，采集到的图像数据的亮度覆盖范围不足，为达到深度学习对亮度鲁棒性的基本要求，进行亮度转换操作成为基于色彩空间的数据增强技术中最常用的一种方法。在图像数据中，亮度偏暗的图像，亮度方差也更小，从而整体的亮度范围被压缩。Gamma变换通过非线性变换将过亮或过暗的图片进行调整。直方图均衡化是更加高级的色彩空间增强方式，对对比度相近的图像使用该技术可增强局部的对比度而不影响整体的对比度，这种方式对过亮或过暗的图像数据能够实现有效的数据增强。 3.2.2. 色彩空间转换 色彩空间转换是色彩特征提取的一种非常有效的方式。不同的色彩空间表示形式虽各有特性，但由于其同构性，可以互相转换。图像通常位于三维RGB颜色空间中，但RGB颜色空间在感知上不均匀，颜色的接近度并不表示颜色相似性。色彩空间转换通过将图像在RGB、HSV、LAB等不同的颜色空间上转换，使以不同的方式对每个分量进行加权，对于不同的数据集，通常需要选择合适的颜色空间转换来提高模型的性能。 色彩空间转换的缺点除了会消耗大量内存空间和时间，其也会产生不好的效果，例如人脸识别需要的关键信息使黑白黄，但若出现大量红绿等颜色信息，则是不合理的。此外，颜色空间转换的图像增强效果是有限的，虽然比几何变换更具多样性，但不恰当的使用可能会使模型发生欠拟合。 Ze Lu等人 [ 9 ] 提出一种用于面部识别任务的色彩空间框架，提出色彩空间LuC1C2其通过比较RGB系数的颜色传感器属性选择Lu亮度分量，通过RGB颜色空间的色度子空间和协方差分析来确定C1C2颜色分量的变换向量的方向。在AR、Georgia Tech、FRGC和LFW人脸图像数据库上实验，确定了色彩空间LuC1C2具有更好的人脸识别性能。并且通过将LFW和FRGC数据库上提取的LuC1C2颜色空间中的CNN特征与简单的原始像素特征相结合，显著提高面部验证性能。 3.3. 像素变换 3.3.1. 噪声 图像噪声是指在原始图像上随机叠加一些孤立的能够引起较强的视觉效果像素点或像素块，以扰乱图像的可观测信息，使其能够更好的提高卷积神经网络模型的泛化能力。常见的噪声有：椒盐噪声、高斯噪声、Coarse Dropout、Simplex Noise Alpha、Frequency Noise Alpha。它们都是以不同的方式生成以不同数值填充的不同大小像素遮掩点，再与原图混合，以扰乱原始图像的一些特征。 3.3.2. 模糊 模糊的本质上可视为对原始图像进行卷积操作，常用的方法是高斯模糊，该方法服从的卷积核矩阵服从二维正态分布，以减少各像素点值的差异从而降低细节层次，使图像数据的像素平滑化，达到模糊图片的效果。模糊半径越大，图像就越模糊。 3.3.3. 图像融合 图像融合技术，通过求两张图像的像素值的均值将两张图片混合在一起，或者是随机裁剪图像并将裁剪后的图像拼接在一起形成新图像。当混合来自整个训练集的图像而不是仅来自同一类别的实例的图像时，可以获得更好的结果。图像融合方法从人的视角看毫无意义，但从实验的角度上观察，确实能够提升精度。 1) SMOTE [ 10 ] 采集到的数据集常存在的问题是样本类别不平衡问题，样本类别之间的较大差距会影响分类器的分类性能。SMOTE方法提出以小样本类别合成新的样本来解决样本不平衡问题，该方法将提取的图像特征映射到特征空间，确定好采样倍率后，选取几个最相邻的样本，从中随机选取一个连线，并在连线上随机选取一点作为新样本点，重复至样本均衡。杜金华 [ 11 ] 在研究中提出使用基于 SMOTE 算法的上采样法分别对原始图像数据集进行增强，实验表明花岗石识别准确率有所提高。 2) MIXUP [ 12 ] ERM方法会在各个类间形成明确的决策边界，而Mixup方法是一种基于线性过渡的数据增强的方法，使用mixup能够使得数据样本之间像素点是渐变的，使样本分类边界模糊化，使得非0即1的预测变为较为平滑的预测效果，抑制模型在进行预测分类时的不稳定性，增强模型的泛化能力。这种方法从训练数据中随机抽取两条数据将抽取到的图像数据的像素值进行符合Beat分布的融合比例的线性加权求和，同时将样本对应的One-hot向量标签也对应加权求和，预测生成的新样本与加权求和后的标签的损失，进行反向求导并更新参数，同时抽取批量数据并进行随机打散后进行加权求和。在CIFAR、 ImageNet图像分类数据集语音数据集中使用该方法能够实现模型性能的提升，并且降低模型对不完整标签的记忆。mixup方法尽管再在程上取得很好地效果，但缺乏理论支撑，且该方法需要较长的时间才能收敛出较好的结果。ERM方法与Mixup方法的对比如图2所示。 图2. ERM与Mixup对比 3) CUTMIX [ 13 ] CutMix是一种改进的随机擦除策略，随机擦除用一块矩形掩码覆盖原始图像，实现擦除图像上的一部分像素信息，但其缺点是减少了训练图像上的包含信息的像素比例，并且需要大量的计算，较为耗时。CutMix方法将随机选中的区域填充其他图像的补丁区域。这种方法与Mixup方法相比，改进了混合图像后，人眼无法主观辨别图像标签的情形。在擦除区域添加其他样本信息，进一步增强模型定位能力。CutMix在CIFAR和ImageNet分类任务以及对ImageNet上的弱监督的本地化任务领先于最新的数据增强策略，同时，在Pascal检测和MS-COCO图像字幕基准测试中获得了性能提升。这种方法改进了针对输入损坏及其模型失配检测性能的模型鲁棒性。 4) Sample Pairing [ 14 ] Sample Pairing方法常用于图像分类任务中的数据增强，该方法首先从训练集中随机选择两张图片，与Mixup方法不同的是，随机选择图像的方式是从训练集中随机抽取两张图片并分别进行基础数据增强操作(如随机翻转等)处理后，再经像素取平均值，最后叠加合成一个新的样本。而标签为原样本标签中的一种，理论上新样本数量平方增加。这种方法能够显著提高所有测试数据集分类准确性。使用GoogleNet的ILSVRC 2012数据集的top-1错误率从33.5%降低到29.0%，而在CIFAR-10数据集中则从8.22%降低到6.93%。当训练集中的样本数量非常小时，SamplePairing技术大大提高了模型预测的准确性。因此该技术对于训练数据量有限的任务(例如医学成像任务)更有价值。SamplePairing方法实现简单，效率大大增加，但缺少相应的理论支撑。 3.3.4. 信息删除 1) 随机擦除 [ 15 ] 随机擦除方法与添加噪声方法相似，通过随机选取图像中的矩形区域，并使用随机像素值对其遮盖。该技术可以很容易嵌入大部分卷积神经网络模型中。随机擦除的好处在于迫使模型去学习有关图像的更多描述性特征，从而防止过拟合某个特定视觉特征，确保网络关注整个图像，而不只是其中的一部分。随机擦除的缺点是不一定会保留标签(例如文本8->6)。Zhun Zhongy等人将随机擦除方法用于图像分类、物体检测和人员重新识别任务，并通过该方法实现了性能的提升。使用随机擦除方法进行大量实验，在CIFAR、PASCAL VOC 2007、Fast-RCNN、re-ID、Market-1501、DukeMTMC-reID上表现出良好的效果。 2) CUTOUT [ 16 ] 与随机擦除相似，Cutout是在图像上的随机位置使用一定大小的正方形path进行0-mask剪裁。蒋芸等人提出了激活区域处理算法(Activation Region processing algorithm) [ 17 ] 并将其嵌入到CNN模型，对网络卷积层的特征图进行遮盖处理，进一步提高模型的性能，降低过拟合的风险。该方法从卷积神经网络中提取出较为关键的局部特征的卷积层的素值最大的特征图，对其上采样后将像素值大于整个图像素均值的像素点使用[0，1]的随机噪声进行遮盖处理，输入到下层网络继续训练。算法在CIFAR和Fashion-MNIST数据集上得到更低的错误率。在不同的网络结构RestNet-18、WRN-28-10、ResNext-8-64使用AR算法后，与未加任何遮挡的CNN模型相比，得到更低的错误率。随机擦除、Cutout和GridMask方法的图像增强效果如图3所示。 图3. 随机擦除、Cutout和GridMask对比 3) GRIDMASK [ 18 ] Pengguang等人提出的GridMask的信息删除方法平衡了删除区域与保留区域的面积，其本质是对图像进行网格覆盖，优化了cutout和随机擦除方法过度删除问题，并保持图像区域连续，易于实现且快速灵活，与以前的方法相比，GridMask在各种数据集上得到更优的效果，优于所有以前的无监督策略，包括AutoAugment [ 19 ] 提出的最佳组合策略。该方法可以用作数据扩增的新基准策略。