rmula_2 的近似方法。它是最基础的迭代近似方法之一，另一种是置信域方法。线搜索近似首先找到一个使目标函数 formula_3 下降的方向，然后计算 formula_4 应该沿着这个方向移动的步长。下降方向可以通过多种方法计算，比如梯度下降法，牛顿法和。计算出的步长不一定是精确的。
应用举例.以一个梯度法作为例子，其中第四步中使用到了线搜索。在第四步的线搜索中算法可以通过解方程 formula_14 来"精确地"，或者只是通过寻找一个 formula_15 的充分下降