现在的位置: 首页 > 读书笔记 > 正文
【读书笔记】信息是熵
2014年02月03日 读书笔记 ⁄ 共 3037字 【读书笔记】信息是熵已关闭评论 ⁄ 被围观 1,582 views+

一部耗时七年,涉及数学、物理学、逻辑学、文字科学、机械工程科学、生命科学、信息科学等多学科的知识,各章节大量的援引文字效仿科学论文标明出处……我很荣幸在2014年的春节阅读这样一部著作——《信息简史》。如同书名所示:全书以科技发展史为背景,围绕人类对“信息”的认知和利用历程,从非洲会说话的鼓到文字、字典,再到巴贝奇的机械“分析机”、远距离传讯系统、电报、电话,最终,20世纪杰出的科学家克劳德·香农提出的“信息论”彻底明确了“信息”的本质——“信息是熵”(第7章:“信息论”,215页),并由此带来了对物理学、生命科学等领域一系列的变革。

有关“熵”的概念,我首先想到的不是物理学课本,而是凯文·凯利的那本《科技想要什么》,在第四章:“外熵的扩展”中(68页),凯利给出了这样一幅图:横轴是自宇宙大爆炸以来到如今的时间轴,纵轴是处于宇宙主导地位的量,从图中可以看出,从古到今,电磁辐射(能量)、物质(质量)、信息分别随着时间的推移走向主导地位。由此可以预见,信息的主导地位会越来越明显(也许有朝一日,“信息”终会取代如今“物质”所处的主导地位)。联想到香农“信息论”对物理学、生物学等领域的巨大推动作用,我似乎看到了某种必然性。

一.对于“熵”的理解:

到底什么是“熵”?借用热力学领域的描述:“它被用来度量系统的无序程度”(第7章:“信息论”,215页)。我想不起当年学习热力学时的情形,只是觉得书中第9章:“熵及其妖”中的这几段话有利于对“熵”的理解:

“热力学的先驱们考虑了一种理想情况,即一个密闭容器中的气体。气体由原子构成,它并不像看上去那样简单或平静,而是包含了大量不断扰动的微粒的系统。原子看不见摸不着,在当时还是一种理论假象物。但如克劳修斯、开尔文、麦克斯韦、路德维希·波尔兹曼和威拉德·吉布斯等理论家都接受流体由原子构成的观点,并据此推导出了结论:微粒的运动杂乱无章、膨胀频繁且持续不断。他们意识到,正式微粒的这种运动构成了热。热不是物质,而是流体,也不是燃素,而只是分子的运动。

每一个分子个体都必定遵守牛顿运动定律,因而在理论上,每个动作、每次碰撞都是可度量、可计算的。可是分子的数量实在太多了,无法一一加以度量和计算。但借助概率、新出现的统计力学在微观细节与宏观行为之间架起了桥梁。假设这个密闭容器被一块隔板隔成两半,A和B,并且A的气体比B的热,也就是说,A的分子运动得较快,能量较高。但只要一去掉隔板,分子就开始混合。较快的分子碰撞较慢的分子,同时进行能量交换。最终一段时间后,气体的温度会变得均匀一致。但令人费解的是,为什么这个过程不可逆呢?在牛顿运动方程中,时间可以取正值,也可以取负值。从数学上说,两个方向都能成立,但在现实中,过去和未来可不会这么轻易就对调。

……

而密闭容器内的气体从混合变得区分开来,这在物理定律上并非不可能,只是概率及其小罢了。因此,热力学第二定律只是在概率意义上成立:在统计上,万事万物都将趋于熵的最大化。

……

最终物理学家开始用微观状态和宏观状态来讨论熵。一个宏观状态可以是,所有气体集中在密闭容器的上半部,而与之对应的微观状态则是全部粒子的位置和速度的所有可能组合。这样一来,熵就成了概率在物理学上的等价物:某一给定宏观状态的熵,就是它所对应的微观状态数目的对数。因此,热力学第二定律揭示的是,宇宙从可能性较小的(有序的)宏观状态演化为可能性较大的(无序的)宏观状态的趋势。

不过,将如此重要的物理现象归结为仅仅是由于概率,这不免让人困惑。说物理学完全允许混合气体自发地分成冷热两边,而这之所以不会出现只是由于几率和统计学,这种说法真的正确吗?对于这个难题,麦克斯韦提出了一个思想实验加以说明。设想“一个有限的存在物”,它控制着分隔密闭容器的隔板上的一个微孔。它能够看清飞来的分子,能够判断它们运动的快慢,并能够选择是否让它们通过。这么一来,它改变了原来的几率。通过筛选较快的分子和较慢的分子,它可以使得A更热而B更冷……这个存在物不遵从普通概率。通常的情况是,不同事物会彼此混合。但要将它们筛选出来,就需要信息。

汤姆森很喜欢这个设想,并把这个想像出来的存在物称为妖(demon):“麦克斯韦的智能妖、“麦克斯韦的筛选妖”、以及随后简单的,“麦克斯韦妖”。”——(第9章:熵及其妖,268页,269页,270页)

先说热力学第二定律:宇宙的熵恒增(第9章:熵及其妖,267页)。借助密闭容器被分为A和B的假设实验,宇宙偏向于变得无序,假设可以将宇宙分为很多和不同温度的密闭容器,然后抽掉它们的隔板,足够长的时间后,这些容器的温度都变得一致,也就变成了威廉·汤姆森(开尔文男爵)所描述的“这种最终整个宇宙会归于一个静止和死寂的状态。”(第9章:熵及其妖,267页)

由于“信息是熵”,当宇宙达到“一个静止和死寂的状态”时,熵最大,信息也最大,回到本文开头——凯利的那幅随时间变化的宇宙主导图,我们可以推断:当“信息”主导的端倪崭露头脚时,宇宙离变成“一个静止和死寂的状态”也就更近了。

有意思的是,假想的“麦克斯韦妖”可以阻止“熵恒增”这种令人绝望的状态,而且正是借助于信息(熵)。进一步,在研究“麦克斯韦妖”所产生的悖论时,卡尔埃卡特总结道:“思考产生熵”(第9章:熵及其妖,267页)。更令人惊讶的是:“我们繁衍生息,我们扰乱了趋向热平衡的趋势——这里的我们不仅仅是人类,也包括所有生物在内……有时看来,我们存在于这个宇宙似乎就是为了一个知其不可而为之的目的——控制熵。”埃尔温·薛定谔指出,“生物体以负熵为食……新陈代谢的本质是,生物体成功地使自己摆脱在其存活期内所必然产生的所有熵。”(第9章:熵及其妖,267页)。

二.为什么“信息是熵”?

那么,为什么“信息是熵”——为什么对信息的量度就是对不确定性的量度?我在原书浩瀚的文字中找到这样几段:

““信息与不确定性密切相关”。反过来,不确定性可以通过统计可能讯息的数量加以度量。如果仅有一条可能讯息,那么这其中就不存在不确定性,因而也就不包含信息了。

有一些讯息出现的可能性比其他讯息要大,而信息意味着出人意料。出人意料其实讲的是概率。比如在英语中,如果紧跟在字母t之后的是字母h,那么这其中的信息量就不大,因为字母h在此出现的概率相对较高。

……

如果一个字母能根据先前的内容猜出来,那么它就是冗余的;既然它是冗余的,那么它就没有提供新的信息。”——(第7章:“信息论”,216页,224页)

可见,讯息出人意料的程度越大,所提供的信息就越大,如果讯息接收者能够通过推理、经验等方式获取内容,那么,讯息发送者的发送行为就是多余的,没有向接收者提供任何有价值的讯息——即“信息”。

但是,“冗余”并不是一无是处,就像第1章:“会说话的鼓”在22页所描述的那样:“引入冗余,不言而喻,效率肯定会打折扣,但它是避免混淆的一剂良药,它提供了第二次机会。事实上,每一种自然语言都内在地包含冗余,这也是为什么人们可以读懂错别字连篇的文章,可以在嘈杂的房间里听懂交谈内容的原因。

··············································

以上,仅仅是我阅读《信息简史》的肤浅收获,有关将信息论引入生命科学领域导致对基因编码的发现,以及将思考的复制子类比为模因、对随机性、量子信息等领域的探讨,有待详读此书、逐步吸收。当务之急是,我发现我要尽快学习一些有关逻辑学的知识。

抱歉!评论已关闭.

×