版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。
版权
学习深度学习时遇见multinoulli分布,在此总结一下机器学习中常用的multinoulli分布与多项式分布之间的区别于关系,以便更好的理解其在机器学习和深度学习中的使用。
首先介绍一下其他相关知识。
Bernoulli分布 (两点分布)
Bernoulli分布是单个二值随机变量的分布
。它由单个参数
控制,
给出了随机变量等于1的概率。
二项分布(n重Bernoulli分布)
二项分布(binomial distribution)用以描述N次独立的伯努利实验中有m次成功(即x=1)的概率,其中每次伯努利实验成功的概率为
。
多项分布
若将伯努利分布由单变量扩展为d维向量
,其中
且
,并假设
取1的概率为
,
,则将得到离散概率分布
在此基础上扩展二项分布则得到多项分布(nultinomial distribution),它描述了在N次独立实验中有
次
的概率。