admin 管理员组

文章数量: 1087139


2024年4月15日发(作者：获取json对象的属性)

kl散度和交叉熵

KL散度（Kullback-LeiblerDivergence）是比较两个概率分布P

与Q之间的差异性，也称克拉普（KL）差异，它是由 Solomon Kullback

和 Richard Leibler 在1951 年提出的信息论中的一个概念，表达

两个样本分布之间的差异程度。

KL散度定义为P和Q之间的信息增益，常作为研究两个样本分

布的差异程度来使用，如果使用KL散度来衡量P和Q的差异，那么

KL散度值越大表明P和Q的差异越大。

KL散度的表示如下：

KL（P||Q）=∑P（x）log(P（x）/Q（x）)

二、交叉熵的定义

交叉熵（Cross Entropy）是一种度量两个概率分布之间的距离

的方法，由Cover和Thomas于1991年提出，是KL散度的简化形式，

直接由KL散度可以得出，并且它也可以被用来衡量分类器的性能。

交叉熵定义如下：

H(p,q)=∑p(x)logq(x)

其中，p(x)表示正确的概率分布，而q(x)表示预测出的概率分

布，H(p,q)表示两个概率分布之间的差异程度，交叉熵越小则预测结

果和真实结果的差别越小。

三、KL散度与交叉熵的比较

1、KL散度和交叉熵都是衡量不同概率分布之间的差异程度，交

叉熵更多的是用在机器学习中，它是用来衡量学习算法的性能，而

- 1 -

KL散度则更多的是用在信息论中，它是用来衡量两个概率分布之间

的差异程度。

2、KL散度比较两个概率分布之间的差异，它是一个正数，0表

示完全相同，越大表示差别越大；而交叉熵比较真实结果和预测结果

之间的差异，它是一个负数，越小表示差别越小。

3、KL散度和交叉熵都是不可交换的，即不存在H(p,q) = KL(q,p)

的情况，因此不要混淆两者。

- 2 -


本文标签： 散度 概率分布 衡量 交叉 差异

版权声明：本文标题：kl散度和交叉熵 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/p/1713195559a623394.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。