在线性回归中,需要确定回归任务中输入 x \bm{x}x到输出y的映射f,这个 f 到底是一个什么样的一个形势呢?最简单的来说,我们可以假设 x \bm{x}x与y之间的关系是一个线性关系,我们把这个回归模型叫做线性回归模型,线性函数是最简单的函数线性回归模型用数学表达式是这样, y = f ( x ) = w T x y = f(\bm{x}) = \bm{w}^T \bm{x}y=f(x)=wTx,这里 w \bm{w}w和 x \bm{x}x都是向量,因为机器学习模型用向量表示更简洁,在具体实践上,用数值和矩阵也更高效展开来看,如上图所示,比如说这个x就是一个列向量,表示前面有一个常数项1,后面是从 x 1 x_1x1到 x D x_DxD,这里D表示特征的维数,也就是输入特征一共有多少个在广告投入量例子中只有一个特征,D就是1,如果再加入商品的类型,D就变成2了,就有了两维特征这里 w \bm{w}w其实也是一个列向量,转置之后 w T \bm{w}^TwT就变成一个行向量,这个 w \bm{w}w里面也是包含D+1维,第1个称为 w 0 w_0w0,后面的D维,我们称从 w 1 w_1w1到 w d w_dwd习惯上,我们把 w 0 w_0w0称为截距项或偏置项,一般时候一些论文里用b来表示,其实都一样,因为是基于 y = k x + b y=kx+by=kx+b, 这里的b表示bias, 偏置项的意思如果x只有一维的话,k就相当于这里的 w j w_jwj,这个系数k或者是 w j w_jwj表示这个 x j x_jxj的变化对y的一个影响w j w_jwj越大的话,表示当x有一个单位的变化时y的变化更大一些,这里 w j w_jwj有时我们也叫第j维特征的权重,一般我们把它称为回归系数输入 x \bm{x}x从 x i x_ixi到 x D x_DxD就是一个D维的输入特征,这个我们加了一个常数项 1,这样的表示是为了把截距项当成x的一维来处理,写起来的形式非常简洁不特殊说明的话,线性回归模型,一般是指 y = f ( x ) = w T x y = f(\bm{x}) = \bm{w}^T \bm{x}y=f(x)=wTx