以采用传统的梯度下降（或）方法，其中不是在函数梯度的方向上前进，而是在从函数的次梯度中选出的向量的方向上前进。该方法的优点在于，对于某些实现，迭代次数不随着数据点的数量 formula_13 而增加或减少。
坐标下降.SVM的坐标下降算法基于对偶问题formula_72formula_73对所有 formula_108 进行迭代，使系数 formula_74 的方向与 formula_110 一致。然后，将所得的系数向量 formula_111 投影到满足给定约束的最接近的系数