关键词：类脑计算，储备池计算，生物神经网络，涌现动力学，混沌动力系统
龚铭康 | 编译
论文题目：Evolving reservoir computers reveals bidirectional coupling between predictive power and emergent dynamics
论文地址：https://arxiv.org/pdf/2406.19201v1
神经网络具有高度复杂的计算能力，能够预测环境变化，这远远超出了单个神经元的预测能力。传统的研究方法往往集中在分析单个神经元的贡献，但这种方法忽略了整个系统的涌现动力学（emergent dynamics）——即整体系统比其部分的简单组合更为复杂的特性。近日有研究通过使用储备池计算机（Reservoir Computing, RC）这一生物启发的计算框架，探讨了预测性能与涌现之间的双向耦合关系。
储备池计算模型
该研究首先使用了储备池计算机（RC）模型来模拟生物神经网络中的环境预测。图 1 展示了储备池计算机的工作原理。RC 的核心处理单元是一个固定的循环神经网络（RNN），称为储备池。输入数据经过线性输入层后被投射到高维非线性空间中，从而促进了线性可分离性。接下来，储备池状态通过线性读出层映射到预期的输出。RC 的训练过程主要涉及优化读出层的权重，从而实现快速高效的训练。
图 1. 储备池计算核心方法示意图
涌现的定量测度——因果涌现理论
为了深入理解涌现的作用，该研究借助基于部分信息分解（PID）的因果涌现理论，提出涌现现象必须编码系统未来的协同信息。通过研究涌现的因果框架，该研究对预测环境变化的复杂计算进行了建模，并探讨了涌现与预测性能之间的关系。这种方法通过揭示宏观尺度上协同信息的存在，为传统还原主义方法难以解释的神经网络中的复杂计算提供了新的视角。
实验设计
为了验证涌现在预测环境动态中的作用，该研究通过优化生物启发的 RC 来预测各种混沌动力系统的轨迹，这些系统代表了 RC 的环境。任务环境包括著名的 Lorenz 吸引子和五个 Sprott 混沌流系统。RC 的储备池连接由 100 个大脑皮层区域之间的解剖连接组成，这些连接数据来源于 100 名健康受试者的脑连接组项目。
图 2. 储备池计算机的训练步骤
具体的方法主要包括三大操作：训练、评估和超参数调优（见图 2）。在训练阶段，RC 通过迭代地更新储备池状态来 " 驱动 " 环境时间序列输入网络，并通过 Tikhonov 正则化的线性回归来解决读出权重问题。评估阶段则通过比较预测损失和因果涌现强度来测量训练好的 RC 的预测性能。最后，超参数调优通过使用演化算法来优化 RC 的特定超参数。
图 3. 演化优化过程中预测损失与因果涌现强度 ψ 呈反比关系。
预测性能与涌现强度的双向耦合关系
研究结果表明，优化超参数以降低预测损失的同时，因果涌现强度的指标 ψ 也随之增大（图 3A）。反过来，优化因果涌现强度时，也会导致预测损失的减少（图 3B）。这种双向耦合关系在所有测试的任务环境中得到了验证，且优化因果涌现强度有时会引起瞬时的损失峰值，但这种情况很快会被消除。进一步分析表明，涌现预测成功的可能性显著高于非涌现预测，表明因果涌现强度几乎成为所有测试环境中预测成功的充分条件（图 4A 至图 4D）。
图 4. 不同超参数配置和训练样本大小下的涌现强度与预测性能之间的关系。
随着训练数据集样本大小的增加，预测损失减少，涌现的概率增加，这表明使用更多数据进行训练会增强因果涌现强度的读出能力，并且这些因果涌现强度可能包含任务相关的信息（图 4E 和图 4F）。
研究还探讨了是否在一个环境中优化因果涌现强度有助于在其他未优化环境中的表现。结果表明，尽管进一步研究是必要的，但优化因果涌现强度确实在某些情况下对未优化环境中的表现有积极作用（图 5A 和 5B）。
图 5. 在已优化和未优化环境中测试经过演化的储备池计算机的性能，演化目标是最大化预测性能 P ( S ) 和最大化因果涌现强度 P ( E ) 的不同加权组合
生物启发式与随机连接式储备池计算机的比较
研究比较了生物启发的 RC 与随机连接的 RC 之间的预测性能和因果涌现强度。结果显示，在六个任务环境中，随机连接的 RC 和生物启发的 RC 之间没有显著差异。这表明预测性能与因果涌现强度之间的关系并非特定于生物启发的 RC 架构，而可能代表一种更普遍的原则（图 6A 和 6B）。
图 6. 比较生物启发式和随机连接储备池计算机的预测性能和因果涌现强度
AI By Complexity 读书会
大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在 AI 大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的 AI 系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来 AI 的设计，正在成为备受关注的问题。
集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的 " 好坏 "？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的 AI 模型？在本质上帮助我们设计更好的 AI 系统。读书会于 6 月 10 日开始，每周一晚上 20:00-22:00 举办。欢迎从事相关领域研究、对 AI+Complexity 感兴趣的朋友们报名读书会交流！
详情请见：
AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代 AI 系统
因果涌现读书会第五季
跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。从 2021 年夏天至今，集智俱乐部已经陆续举办了四季「因果涌现」读书会，系统梳理了因果涌现理论的发展脉络，深入探讨了信息整合与信息分解的本质，并探索了在生物网络、脑网络、机器学习等跨学科领域的应用。此次因果涌现读书会第五季将追踪因果涌现领域的前沿进展，展示集智社区成员的原创性工作，希望探讨因果涌现理论、复杂系统的低秩表示理论、本征微观态理论之间的相通之处，对复杂系统的涌现现象有更深刻的理解。读书会从 2024 年 4 月 19 日开始，每周五晚 20:00-22:00 进行，持续时间预计 8-10 周。欢迎感兴趣的朋友报名参与！
详情请见：
登录后才可以发布评论哦
打开小程序可以发布评论哦