似然比分布,似然比检验

什么是KL散度?

KL指的是Kullback-Leibler散度，它是一种用于衡量概率分布之间差异的度量方法。KL散度在信息论、概率统计、机器学习等领域都有广泛的应用。具体而言，KL散度可以衡量两个概率分布的差异程度，越大表示两者之间差异越大。KL散度在机器学习中有广泛的应用，其中最为常见的是在训练神经网络时使用它作为损失函数。

有两个概率分布为：P ， Q 。KL散度告诉了Q和P的接近程度，也就是相似度，利用交叉熵减去信息熵即可。

KLD是Kullback-Leibler Divergence的缩写，中文常译为KL散度或KL距离。它是一种在概率论和统计中用于度量两个概率分布之间差异的非对称性度量。KL散度是由Solomon Kullback和Richard Leibler在20世纪50年代提出的，用于量化两种概率分布P和Q之间的差异。

KL散度（或互信息）是统计独立性的最佳测度。

本文 zblog模板 原创，转载保留链接！网址：https://liangkeke.com/post/13902.html