Machine Learning 的工作原理是什么？
Machine Learning 会通过不同方式工作。您可以向新数据应用经过训练的 Machine Learning 模型，也可以从头开始训练新模型。 向新数据应用经过训练的 Machine Learning 模型通常速度更快，消耗资源也更少。您无需通过训练开发参数，而是使用模型的参数来对输入数据做出预测，这一过程称为推理。您同时也无需评估它的表现，因为此模型的表现在训练阶段已经被评估过了。然而，这种方法的确需要您精心准备输入数据，以确保它与训练模型时所用的数据是同一格式。 训练新的 Machine Learning 模型涉及下列步骤： 数据收集 首先是选择您的数据集。数据可来自很多来源，例如系统日志、指标和跟踪。除了日志和指标之外，在训练 Machine Learning 的过程中，还有几种其他类型的时序数据也很重要，包括： 金融市场数据，包括股票价格、利率以及外汇汇率。这一数据通常用于构建交易和投资的预测性模型。 交通时序数据，例如车流量、速度和出行时间。这一数据可用来优化路线并减少交通拥堵。 产品使用情况数据，例如网站流量和社交媒体互动。这能够帮助公司理解客户行为并找出待改进领域。 无论您使用什么数据，它都应该与您尝试解决的问题相关，而且应该能够代表您的预测或决策所涉及的群体。 数据预处理 收集完数据之后，您需要对其进行预处理，以使其能够被 Machine Learning 算法使用。这有时涉及为数据添加标注，或者为数据集中的每个数据点分配一个特定类别或值，以便 Machine Learning 模型从中学习模式并做出预测。 此外，它还涉及移除缺失值，通过应用聚合将时序数据转换为更紧凑的格式，按比例调整数据以确保所有特征都拥有相似的范围。对于深度神经网络，好比大型语言模型 (LLM)，您必须拥有大量的已加标注训练数据。但对于经典的监督式模型，您则没有必要处理那么多数据。 特征选择 某些方法会要求您选择模型将会使用的特征。从本质上来说，您必须找出与您尝试解决的问题最密切相关的变量和属性。关联性是识别特征的一种基本方法。如需进一步优化，还有多种自动特征选择方法可供选择，而且很多 ML 框架都支持这些方法。 模型选择 现在已选择了特征，接下来您需要选择适用于您尝试解决的问题的 Machine Learning 模型。有几个选项可供选择，包括回归模型、决策树以及神经网络。（请参见下方的“Machine Learning 技巧和算法”。） 训练 选择了模型之后，您需要使用您收集和预处理的数据对模型进行训练。训练就是指算法学习识别数据中的模式和关系，并将这些模式和关系编码到模型参数中。为了实现最优性能，训练是一个迭代性的过程。这包括调整模型的超参数，并改善数据处理和特征选择。 测试 模型现在已训练完毕，接下来您需要使用它从没见过的新数据对它进行测试，并将它的性能与其他模型的性能进行对比。您选择性能最优的模型并使用单独的测试数据评估它的性能。只有之前未使用过的数据才能让您很好地预估您的模型在部署之后可能会有什么样的表现。 模型部署 对模型的性能满意之后，您就可以将它部署到生产环境中，让它实时做出预测或决策。这可能涉及将模型与其他系统或软件应用程序进行集成。现在有与热门云计算服务提供商相集成的 ML 框架，通过此框架您可以很轻松地将模型部署到云端。 监测和更新 模型部署完毕之后，由于会有新数据出现，或者您尝试解决的问题会随着时间而发展，所以您需要监测模型性能并定期更新模型。这可能意味着使用新数据对模型进行再训练，调整模型参数，甚至选择不同的 ML 算法。