K-近邻算法 在模式识别领域中最近鄰居法KNN算法又譯K近邻算法是一种用于分类和回归的無母數統計方法由美国统计学家伊芙琳费克斯和小約瑟夫霍奇斯于年首次提出后来由托馬斯寇弗英语Thomas M Cover扩展在这两种情况下输入包含特徵空間英语Feature Space中的k个最接近的训练样本 在kNN分类中输出是一个分类族群一个对象的分类是由其邻居的多数表决确定的k个最近邻居k为正整数通常较小中最常见的分类决定了赋予该对象的类别若k  则该对象的类别直接由最近的一个节点赋予 在kNN回归中输出是该对象的属性值该值是其k个最近邻居的值的平均值 最近鄰居法採用向量空間模型來分類概念為相同類別的案例彼此的相似度高而可以藉由計算與已知類別案例之相似度來評估未知類別案例可能的分類 KNN是一种基于实例的学习英语instancebased learning或者是局部近似和将所有计算推迟到分类之后的惰性学习英语lazy learningk近邻算法是所有的机器学习算法中最简单的之一 无论是分类还是回归衡量邻居的权重都非常有用使较近邻居的权重比较远邻居的权重大例如一种常见的加权方案是给每个邻居权重赋值为 d其中d是到邻居的距离 邻居都取自一组已经正确分类在回归的情况下指属性值正确的对象虽然没要求明确的训练步骤但这也可以当作是此算法的一个训练样本集 k近邻算法的缺点是对数据的局部结构非常敏感 K平均算法也是流行的机器学习技术其名稱和k近邻算法相近但兩者没有关系数据标准化可以大大提高该算法的准确性