随机事件非(随机事件举例20个)
在随机事件频发的游戏中，《迷你世界Minecraft地下城与勇士手游版2.0版本》的挑战难度相对较高。但最近，玩家们发现了一条潜在的bug，利用这个bug，玩家可以通过自己的努力在游戏中变得更加强大。这个bug允许玩家通过使用特定的道具来增加自身的属性。这无疑是给游戏增加了更多的策略性和趣味性。
在信息论的领域中，Shannon的理论为通信工程的发展奠定了坚实的基础。进入21世纪，随着复杂系统的涌现，信息论的应用也得到了极大的拓展。特别是在处理复杂系统的多变量相互作用时，互信息作为一种重要的衡量工具，为我们理解变量间的非线性关联提供了有力的支持。传统的互信息在面临复杂多变的多变量系统时，常常遭遇无法精准刻画变量间细微关联的困境。特别是在多个变量共同作用于一个目标变量时，如何量化每个变量对目标变量的具体贡献成为了一个难题。
在“因果涌现读书会”第二季中，北京师范大学系统科学学院的张章博士对一篇经典论文进行了深入解读。这篇论文名为“Nonnegative Deposition of Multivariate Information”，其提供了一种新的视角来解读多变量系统中的互信息。通过独特的拆分方法，该理论不仅可以将复杂系统中的互信息进行精准拆分，为我们理解复杂系统中的涌现特性和因果特性提供了深刻的洞察。
那么如何量化复杂系统中的相互作用呢？我们可以想象一个场景：我们收集了许多人的身高、体重和性别信息，并试图用这些信息来训练一个模型，预测某些结果。在这个场景中，我们面临的问题是如何在训练之前估计每个变量的相对重要性。这涉及到理解变量间的相互作用复杂性。而信息论视角为我们提供了一种有效的工具——互信息。当变量数量增多，其相互作用机制变得复杂时，传统的互信息就显得捉襟见肘。这就需要我们寻找新的方法来理解多变量之间的相互作用。
本文将重点介绍针对多源变量作用于单一目标变量时的信息分解工具。我们将从互信息出发，探讨其在多变量情况下的局限性和困境，并引入信息的非负分解方法，以更好地理解多对一情况下的信息结构。通过这种方式，我们可以更深入地理解复杂系统中的相互作用机制，为复杂系统的分析和理解提供新的视角和方法。
在信息论奠基人香农看来，“信息是用来消除随机不确定性的东西”。而在实际的多变量系统中，我们需要通过更精细的工具和方法来量化信息，以便更好地理解变量间的相互作用和系统的整体结构。希望本文的介绍能为读者提供一个全新的视角，激发对复杂系统研究的兴趣和热情。深入探索香农的信息理论：信息熵、互信息以及多变量信息分解
香农的信息论为我们提供了一种全新的视角来审视和处理信息。他提出的“信息熵”概念，为我们衡量随机变量可能产生的信息量提供了一个有效的工具。信息熵实质上衡量的是事物的不确定性的大小，信息熵越大，事物的不确定性越高。其单位以bit计量。
当两个变量存在相互作用时，我们可以通过观测其中一个变量获取另一个变量的部分信息，从而减少其不确定性。这种减少的不确定性大小可以通过“互信息”来度量。例如，考虑一个随机变量X，它有0.5的概率取0，0.5的概率取1。假设存在另一个变量Y，其与X存在某种关系。当我们观测到Y的取值为1时，X的不确定性会大大降低。这降低的不确定性就是互信息，表示通过观测Y所能减少的关于X的不确定性的大小。互信息的计算方式是使用X原本的不确定性减去在Y被观测后的不确定性。
当涉及到多个相互作用的变量时，情况变得复杂。想象三个变量R1、R2和S，它们之间的关系为R1=R2=S。在这种情境下，如果我们先观测到R1或R2，就能确定S的值。这意味着单独观测R1或R2所带来的信息量是冗余的，因为在已知其中一个变量的值后，观测另一个变量不再提供额外的信息。这种冗余信息可以通过条件互信息来描述。也就是说，在已知R2的条件下，R1的观测不能降低S的不确定性。这种情境下，我们可以说R1和R2为S提供了冗余信息。
R1和S之间的互信息，表达的是观测R1后，S取值的不确定性减少的程度。同样，观测R2也可能减少这种不确定性。我们取这两个不确定性的最小值，称之为R1和R2关于S取s的冗余信息量。这个冗余信息表示的是R1和R2都能为S取值为s这一事件提供的信息量，具有冗余的性质。
进一步来说，冗余信息的期望具有更一般的意义。假设目标变量Z受到多个源变量的影响，这些源变量构成集合R={R1, R2,...,Rn}。当存在一系列非空、可能相交的R的子集A={A1, A2,...,Ak}时，我们可以推导出最一般化的冗余信息计算方法。这表示，对于S的每个可能取值s，所有Ai都能提供的最小信息被抓住。
以三个变量R1, R2, S为例，假设S为目标变量，其余为源变量，它们之间的关系为S=R1=R2。从这个系统的状态分布律可以看出，目标变量S的熵为1 bit。当R1被观测后，S的不确定性完全消除，这意味着R1为S提供了1 bit的信息。同样，当R2被观测时，也能完全确定S的取值。R1和R2为S提供了1 bit的冗余信息。通过公式计算，结果也验证了这一点。
冗余信息具有几个重要的性质。冗余信息应该是非负的。如果任何源变量都无法为目标变量的任何一个可能取值提供公共信息，那么冗余信息为零。冗余信息应该小于或等于任何一个源变量关于目标变量的互信息。这可以从冗余信息的计算公式中分析出来。虽然通常定义冗余信息为多个源变量对目标变量提供的共同信息，但如果只有一个源变量，我们也可以定义这个源变量为目标变量提供的冗余信息。实际上，经过计算，这种冗余信息大小等于源变量和目标变量的互信息。
冗余信息之间存在结构关系。例如，R1和R2所提供的冗余信息是R1与目标变量S之间的互信息的一部分。我们可以通过文氏图来辅助理解这种关系。在这个图中，最大的椭圆表示两个源变量与目标变量之间的互信息，每个源变量单独为目标变量提供的信息用圆形表示，重合的部分表示两个源变量都可以为目标变量提供的冗余信息。
我们还可以根据冗余信息的性质画出冗余晶格图（Redundancy lattice）。在这个图中，{1}{2}代表R1与R2提供的冗余信息，而{12}代表将R1和R2视为一个二维变量时，它们为目标变量提供的冗余信息，即这个二维变量与目标变量之间的互信息。图中的任何连边都表示上方节点提供的冗余信息包含下方节点相同的冗余信息。这个图展示了两个源变量对目标变量提供的冗余信息的结构。在信息科学领域中，冗余信息扮演着至关重要的角色。随着从底层节点到上层节点的逐步累积，冗余信息逐渐增多，形成了一种冗余晶格图的结构。为了更好地理解这种结构，我们需要深入理解冗余信息的本质和构成。在此基础上，我们可以引入部分信息分解函数，这是一种帮助我们理解信息结构的有效工具。通过部分信息分解函数，我们可以知道每个节点所携带的冗余信息量，并对其进行更精确的描述。本文将讨论这一过程以及后续相关的定义和计算。
当我们站在冗余晶格图的底层，看到的是每个单独节点提供的冗余信息。这些节点是信息的最基本单元，它们直接与目标变量相关并为其提供了特定的信息量。随着我们向上移动，开始考虑更多的节点组合时，会涉及到一种特殊的信息类型——协同信息。协同信息指的是当我们联合观测某些节点时，能够获取到一些单独观测时无法获取的信息。这种信息是我们通过节点间的相互作用获得的，而非单独节点所能提供。我们还会关注到单独信息，这是指某些节点所携带的独特的、无法被其他节点替代的信息。这种信息的存在使得我们能够更全面地理解系统的复杂性。
为了更好地可视化这一过程，我们可以使用文氏图进行展示。文氏图可以清晰地展示不同节点组合所携带的信息量以及它们之间的交互关系。当我们有三个源变量和一个目标变量时，文氏图可以帮助我们更直观地理解这些变量之间的相互作用和信息的传递过程。冗余晶格图也为我们提供了一个直观的方式来理解这种信息传递的结构和过程。在冗余晶格图上，越上层的节点代表的信息组合越复杂，它们所携带的冗余信息也越多。如果我们自下而上地累加每个节点的信息分解值，就可以得到总的源到目标的互信息。如果我们进一步对每一个节点的信息分解值进行积分，就可以得到每个节点的冗余信息量。这种积分的过程为我们提供了一种量化每个节点对目标变量贡献的方法。
冗余信息是信息科学中的一个核心概念，它涉及到信息的传递、结构以及与其他变量的交互关系。通过引入部分信息分解函数、文氏图和冗余晶格图等工具，我们可以更深入地理解这一过程并对其进行精确的描述和分析。在这个过程中，我们不仅关注了每个节点单独提供的冗余信息，还关注了节点间的相互作用以及它们共同为目标变量提供的信息量。这种分析为我们提供了一种全新的视角来理解信息的传递和处理过程，为后续的研究提供了丰富的思路和方法。未来，我们将能够深入研究多个变量之间的相互作用，正如微积分在计算互信息中所扮演的角色一样。这种方法论上的革新，部分信息分解法的提出，为我们提供了一个全新的视角，以更好地理解复杂系统的本质。
在复杂性科学领域，互信息分解方法的应用正逐渐展现出其巨大的潜力。在一篇于2017年发表于《Entropy》杂志的文章中，研究者们将互信息分解方法应用于元胞自动机和Ising Model等典型的系统，为我们揭示了这些已经被广泛研究的系统的全新面貌。
在Ising Model中，研究者选择了二维模型中的任意节点及其四个邻居节点作为源变量，该节点下一时刻的状态作为目标变量。通过互信息分解，他们研究了冗余信息、协同信息和单独信息随着系统温度的变化关系。结果表明，在临界温度附近，互信息和冗余信息均达到最大值。随着系统逐渐演化至无序状态（温度升高），协同信息量几乎保持不变，但冗余信息和互信息的量逐渐减小。这一发现为我们提供了一种新的可能，即利用信息分解来衡量系统是否达到临界态。
在信息分解方法应用于元胞自动机的研究中，我们也看到了惊人的发现。在一维元胞自动机模型中，每个元胞的取值受到自身和邻居的影响，共有256种二进制规则。根据元胞自动机的演化模式，Wolfram将其分为四种类型。研究者们利用信息分解方法，深入探讨了源变量之间的协同信息量、冗余信息量，以及元胞自身和邻居提供的单独信息量。
研究发现，随着元胞自动机的演化模式从简单到复杂，协同信息的量也在不断上升。这意味着只有多个源变量高度协同，才有可能产生复杂的斑图。冗余信息只在某些特定类型的元胞自动机中出现，而在混沌或复杂斑图中，邻居提供的单独信息通常远多于元胞自身提供的单独信息。
作者还观察到一些有趣的现象。有些元胞自动机在宏观模式上可能相似，但在信息结构上却大相径庭。例如，6号元胞自动机和130号元胞自动机在宏观上看起来相似，但微观的信息结构却存在巨大差异。这表明信息分解方法可以为元胞自动机的分类提供更深入的视角，帮助我们更好地理解其微观演化细节。
互信息分解方法为我们理解复杂系统的本质提供了新的工具。通过深入研究不同系统中的信息结构和演化模式，我们可以更好地预测和控制系统的行为。这一方法的应用前景广阔，有望为我们揭示更多复杂系统的奥秘。信息分解方法在因果涌现中的应用与探索
信息分解方法为我们理解复杂系统的协同程度提供了一种全新的视角。在近期于arXiv上公开的文章“Emergence as the conversion of information: A unifying theory”中，信息分解方法被进一步应用于因果涌现研究，为我们揭示系统内部的深层结构提供了有力工具。
图9为我们展示了两个多变量交互系统的例子，描述了三个源变量对一个目标变量产生影响的情况。通过对比两个子图，我们可以清晰地看到，信息结构的不同导致了系统的性质差异。在其中一个系统中，信息主要由冗余信息构成，而在另一个系统中，信息则更多地由协同信息构成。这一发现为我们提供了一种新的思路，即通过调整系统的信息结构，增加协同信息的比重，从而提高系统的协同程度，进一步产生因果涌现效应。
此篇文章介绍的信息分解方法，为我们理解多个源变量对一个目标变量的影响提供了清晰的框架。通过这种方法，我们可以回答一系列关键问题，如各个源变量对结果贡献了多少信息、这些信息中有多少是冗余的、以及需要多少变量的协同才能获取完整的信息等。通过对冗余信息的深入分析，我们进一步定义了单独信息和协同信息的概念，为我们深入探索这一信息结构铺平了道路。
这篇文章的价值不仅在于其理论创新，更在于其实践应用前景。尽管这篇文章自发表以来并未正式发表，但其引发的科学家们的广泛兴趣和深入探索证明了其重要性。沿着这篇文章的方向，人们不断研究新的冗余信息计算方法、更深入地探索信息结构的性质以及信息分解方法在不同领域的应用。从信息流动的视角理解复杂系统无疑有助于我们揭示复杂性的本质。
我们还探讨了这一方法在多种复杂系统中的应用，包括Ising Model和元胞自动机等已经被广泛研究的系统。特别是在因果涌现领域，信息分解方法展现出了巨大的潜力。
尽管信息分解方法为我们理解复杂系统提供了新的视角，但它仍存在一定的局限性。例如，该方法在多变量相互影响的情况下适用性有限，以及计算复杂度较高。一些后续的研究正在逐步克服这些缺点，为我们理解复杂系统提供了更多的工具。
欢迎大家加入我们的“因果涌现读书会”，与我们共同讨论这一领域的最新进展。通过信息分解方法，我们或许能更深入地理解复杂系统的本质，正如那句俗语所说，“让苹果砸得更猛烈些吧!” 张章、张江两位作者以及梁金审校、邓一雪编辑的这篇文章，为我们揭示了这一领域的无限可能。商务合作及投稿转载请发邮件至：[swarma@swarma.（此处隐藏具体邮箱地址）】。搜索公众号“集智俱乐部”，加入我们的“没有围墙的研究所”，一起探索这一领域的奥秘。