机器学习条件熵

Sekiro

机器学习

发布于：2020年4月18日

次浏览

字数：577字

时长：2分钟

本文是关于条件熵的知识拓展。

一、问题：

假定数据库有𝑁个人，第𝑛个人的先验概率 $γ_{n}$ ，有𝐾个问题，假定第𝑛个人对第𝑘个问题答案为“是”的概率为 $a_{n k}$ ，请给出给定第𝑘个问题条件下，数据集的条件熵的计算公式。

二、解析

原来的条件熵公式为：

$H (Y | X) = \sum_{x} P (x) H (Y | X = x)$

因为此题中X的取值只有两个即‘是’和‘否’，因此公式变为：

$H (Y | X) = P (X =是) H (Y | X =是) + P (X =否) H (Y | X =否)$

因此先计算对于第k个问题，X=‘是’的样本占总样本的概率P(X=是)和X=‘否’的样本占总样本的概率P(X=否)。

分子为对于第k个问题回答为‘是’的个数即：

$\sum_{i = 1}^{N} (N \times γ_{i} \times a_{i k})$

分母为总数N，因此P(X=是)：

$P (X =是) = \frac{\sum_{i = 1}^{N} (N \times γ_{i} \times a_{i k})}{N}$

$P (X =是) = \sum_{i = 1}^{N} (γ_{i} \times a_{i k})$

同理，P(X=否)：

$P (X =否) = \frac{\sum_{i = 1}^{N} [N \times γ_{i} \times (1 - a_{i k})]}{N}$

$P (X =否) = \sum_{i = 1}^{N} [γ_{i} \times (1 - a_{i k})]$

然后在计算对于第k个问题，X=‘是’的数据集上Y的信息熵和X=‘否’的数据集上Y的信息熵，也就是：

$H (Y | X =是) = - \sum_{j = 1}^{N} (p (x_{j}) \log p (x_{j}))$

$H (Y | X =否) = - \sum_{j = 1}^{N} (q (x_{j}) \log q (x_{j}))$

因此要先计算对于第k个问题，X=‘是’的时候，对应每个人‘j’的概率 $p (x_{j})$ 。

分子为对于第k个问题，X=‘是’的时候，‘j’这个人的个数：

$N \times γ_{j} \times a_{j k}$

分母为对于第k个问题所有X=‘是’的个数，也就是上述的P(X=是)的分子：

$\sum_{i = 1}^{N} (N \times γ_{i} \times a_{i k})$

或者写为：

$P (X =是) \times N$

因此 $p (x_{j})$ ：

$p (x_{j}) = \frac{N \times γ_{j} \times a_{j k}}{\sum_{i = 1}^{N} (N \times γ_{i} \times a_{i k})}$

$p (x_{j}) = \frac{γ_{j} \times a_{j k}}{\sum_{i = 1}^{N} (γ_{i} \times a_{i k})}$

同理X=‘否’的时候，对应每个人‘j’的概率 $q (x_{j})$ ：

$q (x_{j}) = \frac{N \times γ_{j} \times (1 - a_{j k})}{\sum_{i = 1}^{N} [N \times γ_{i} \times (1 - a_{j k})]}$

$q (x_{j}) = \frac{γ_{j} \times (1 - a_{j k})}{\sum_{i = 1}^{N} [γ_{i} \times (1 - a_{j k})]}$

综上所述，可以得出条件熵的最终公式为：

更新于：2023年1月14日

难点

机器学习

Linux 上机实战2 遍历目录

本文是关于Linux中的ls的简化版，遍历目录小程序。一、题目要求编程实现程序list.c，列表普通磁盘文件，包括文件名和文件大小。使用vi编辑文件，熟悉工具vi。使用Linux...

现代交换原理 MOOC习题 1~4章

自己随便整理了一下在学习“现代交换原理”网课时遇到的一些习题，易错点之类的。第一章交换概论都是类似的道理，话音业务需要实时、高可靠、恒定速率，因此电路交换适合，异步显然不适合...

机器学习 条件熵

一、问题：

二、解析

机器学习条件熵