信息论为什么这么难懂？

杨学志

独立,或者相关,就是两个事件之间的概率关系。

关系分很多种,比如有因果关系,时间关系,线性关系,夫妻关系,上下级关系,等等。概率 关系是所有关系当中最抽象,最普适的,它描述的A发生的时候,B有多大可能发生。至于为什 么会这样,概率论是不关心的。

比如说,爸爸姓杨,儿子姓杨的概率会大于90%。发生这种情况是有其伦理方面的原因的,但是 从概率的角度描述成P (儿子姓杨｜爸爸姓杨) > 90%,而并不关心产生这种现象的机理。

再比如说,通信当中接收信号是因为有发射信号形成的,但是概率论只描述这两个信号之间的 概率关系,而不关心通信系统的内部机理。

信息论是建立在概率论的基础之上的。正因为如此,概率论和信息论摆脱了对细节的纠缠,具 有广泛的普适性。也正是这个原因,使得信息论非常抽象,难懂,微妙。