树结构Parzen估计器

树结构Parzen估计器（简称Tree-structured Parzen Estimator、Parzen-Tree Estimator或TPE）是一种估计量（Estimator），主要用于贝叶斯超参数优化中，通过构建目标函数的近似模型来实现优化（其中为配置空间，为一组超参数，为目标函数的评分）。

由于评估实际函数的成本非常“昂贵”（例如，寻找深度神经网络的合适层数），因此希望借助找到最佳超参数，随后再将其代入中。该方法假设配置空间具有树形结构（例如，只有在至少存在4层的情况下，才会确定第4层的神经元数量）。随后，TPE会构建一个由核密度估计器组成的树。

概率密度也被称为“代理模型”（surrogate probability model），它并不被直接建模，而是通过应用贝叶斯定理：

通过对和进行建模来实现。

函数通过引入阈值被拆分为两个概率密度，使其不再依赖于：

其中，阈值是一个-分位数，即满足。

概率密度和随后利用核密度估计器构建。对于，使用满足的观测值；而其余满足的观测值则用于构建。J. S. Bergstra, R. Bardenet, Y. Bengio, B. Kégl: Algorithms for Hyper-Parameter Optimization. In: Advances in Neural Information Processing Systems. 2011, S. 2546–2554 (PDF).

 参考 

Category: 估计理论