面向未来的通识课-28有效掌控信息,成为表达高手
今天咱们继续来讲信息论。上节课啊我们留了一个悬念,就是从信息论的角度如何看待一个人说废话这件事情呢?其实从信息论的角度,废话连篇的人通常都是说的前后后几句话之间啊互信息非常的大。这里的互信息这个概念是信息论里面一个关键的概念,那两件信息互信息越大,就表明他们之间的相关性越强。要理解这个概念,通过图形最简单假设有这么两个独立发生随机事件,一个叫信春哥,他的信箱是h x,一个叫不挂科,他的信箱是h y。那么这两个代表信息箱的圆圈之间的交集就是他们的互信息了,你可以通俗地理解为这中间交叉。它的区域越大,信春哥和不挂科之间的互信息就越大,也就意味着这两者间的相关性就越强。诶还是没听懂,对吧?假如咱们学校里有两种俱乐部啊,一种是象棋俱乐部,一种是围棋俱乐部然后这个。校里的同学只会选择加入这两个俱乐部中的一个。
这个时候啊如果所有喜欢象棋的同学都会加入象棋俱乐部,而那些不喜欢象棋的同学呢也绝对不会去象棋俱乐部捣乱。那么就可以说喜欢象棋和加入象棋俱乐部这两件事情之间互信息很高,意思是什么呢就是如果我知道一个人他是象棋俱乐部的成员,那他就一定喜欢象棋。而我知道一个人喜欢象棋呀,他也一定会加入象棋俱乐部,所以彼此互信心很高就意味着喜欢象棋和加入相机俱乐部这两件事情,听到任何一件事你都会知道另外一件事情,能理解我的意思吧?你说这不是废话吗哎不是废话。如果我们设想另外一种情况,就是这个学校啊很多同学他随便加入一个社团的,他可以不喜欢象棋,只喜欢围棋,但他依然会加入象棋俱乐部。你看,如果这样。来问题就很复杂了。
因为你知道一个人加入了象棋俱乐部,但是你却没法判断他一定是喜欢象棋的。所以加入象棋俱乐部和喜欢象棋这两件事情的互信息就变得低很多。通过这个对比,同学们应该能够理解什么是低的互信息,什么又是高的互信息的吧。高互信息的一个极端情况,就是信息等价。这也很好理解啊,意思就是只要知道了事件a发生的信息,就等同于知道事件b发生的信息。因为我们刚才讲那个盒子啊,它把里面的皮卡丘的形象非常清晰的印在了盒子外面,它就是一个比较接近于提供等价信息的例子,这个例子不够等价的地方在哪里呢?在于合上印出来的是二维的动画照片……