回顾
上次讲到自信息量，也就是用
信息熵
那么如何来衡量一个系统（多个事件以不同的概率发生，它们发生的概率之和为1）的信息量呢？
考虑这么一个例子，某人参加一个比赛，赢的概率为0.3，输的概率为0.7，那么这个系统的信息量怎么计算？
一个直觉的计算方法是：
即对系统中不同事件的自信息量取概率平均，从而得到这个系统的平均不确定度，也就是信息熵。
信息熵衡量了一个系统的平均不确定度，表示了这个系统的信息量。
从通信的角度来看，信息熵表示平均意义上每发一个符号的信息量，或者信源平均的不确定度。
性质
对称性
信息熵的对称性指只要一个系统总的概率分布不变，即使系统中的不同事件的概率发生了交换，信息熵仍然不变。
非负性
信息熵总是大于等于零的。一个事件的信息量至少为0，而不可能是负的，信息熵是信息量的平均，自然也不会是负的。
确定性
若事件发生概率为1，那么信息熵确定为0。
连续性
当不同事件的概率出现微小变化时，信息熵的变化也很小。
扩展性
略
可加性
H(XY)=H(X)+H(Y|X)
强可加性
当系统X和Y，H(XY)=H(X)+H(Y)
