导语

机器学习模型在数据的拟合和预测方面展现出惊人的能力。人们不仅用这些模型做预测，还希望提炼出关于机制的科学假说。然而，良好的数据预测能力，是否真的能保证我们对这些模型的解释是准确的尚未可知。这篇发表在自然 · 机器智能的文章提出一个具有内生可解释性的灵活模型框架，用来刻画神经动力学（neural dynamics），并在此框架下具体检验 " 预测好 " 与 " 解释对 " 之间的关系。

关键词：机器学习 ( Machine learning ) ，灵活模型（Flexible models），神经动力学（Neural dynamics），潜在动力系统（Latent dynamical system），特征复杂度（Feature complexity），轨迹熵（Trajectory entropy）

周莉丨作者

赵思怡丨审校

论文题目：Moving beyond generalization to accurate interpretation of flexible models

论文地址：https://www.nature.com/articles/s42256-020-00242-6

神经网络作为一种灵活的建模工具，正在催生大量关于神经计算机制的假设。这依赖于一个隐含的假设：即如果一个模型能够对新的数据表现出良好的预测能力，那么该模型的内部机制就一定与产生数据的生物系统的机制相匹配。然而该研究发现在神经科学中的典型任务中，这一假设并不成立。即使是具有完全不同的动力学机制的循环神经网络（RNN）模型，也能在某些任务上表现出同样的泛化能力。这一现象被称为罗生门效应（Rashomon Effect），即存在多种机制不同的模型都能同样好地解释数据。为了对这些模型进行区分，本文提出了一种基于动力系统分析的新框架，并主张要实现对神经回路的准确解释，必须超越简单的泛化能力，深入到模型的动力学几何结构中去。

问题提出：从 " 预测能力 " 到 " 机制解释 "

在传统统计建模中，研究者通常从若干明确的候选假说出发，通过假设检验或模型比较，在相对小规模的模型族中选择最为合适者（图 1 a）。然而，随着深度学习等机器学习方法的兴起，这一范式正在发生深刻变化。现代神经科学越来越倾向于使用参数众多、表达能力极强的灵活模型（Flexible models），例如循环神经网络（Recurrent neural networks, RNN）或潜在动力系统模型（Latent dynamical system models），直接从数据中学习大脑的计算结构。

在这一过程中，一个关键前提常常被默认接受而缺乏系统检验：如果一个模型表现出令人满意的泛化能力（Generalization），就认为该模型内部所采用的计算机制与真实神经系统的机制是一致的。大量关于 RNN 自发涌现出某种动力学结构并因而可类比大脑的论述，均基于这一隐含前提（图 1 b）。本研究试图在一个可控、可解释的框架内，对这一前提进行检验。研究者关注的问题不是一个模型能否预测数据，而是在多少种不同的机制之下，预测同样可以做得很好，以及在这种情况下，研究者该如何从中选择具有解释价值的模型。

图 1 | 从数据中推导理论。a. 可用简单的特设模型（ad hoc models）对数据进行拟合，将与最优拟合模型对应的假设解读为一种生物学机制。b. 可用灵活模型对数据进行拟合，该类模型在单一模型架构内涵盖多种假设（通常包含大量参数，如人工神经网络（ANN））。模型优化的目标是提升其预测新数据的能力（即泛化能力）。通过解读最优预测模型的结构推导假设。目前尚不清楚该方法能否得出能准确反映生物学现实的正确假设。

具有内生可解释性的潜在动力学框架

建模框架

为了分析预测能力与机制解释的关系，作者构建了一个兼具灵活性与内生可解释性的潜在动力学框架（图 2）。该框架将神经群体放电行为视作由低维潜在状态轨迹 x ( t ) 驱动的随机过程。与直接拟合发放率不同，模型假设存在一个连续演化的潜在状态，通过发放率函数 f ( x ) 映射为瞬时发放率 λ ( t ) =f ( x ( t ) ) ，进而经由非齐次泊松过程生成离散脉冲。这一潜在状态—发放率—脉冲的生成式结构，使得推断过程本质上是从观测数据反推最可能的潜在动力学机制。

框架的核心在于利用 Langevin 随机微分方程描述潜在状态的演化。其中，势能函数 Φ ( x ) 决定确定性漂移，高斯白噪声 ξ ( t ) 引入随机性。函数的几何特征直接对应动力学机制，极小值对应吸引子，谷深反映稳定性，势垒高度决定状态跃迁的难易程度。相比于传统神经网络的黑箱参数，Φ ( x ) 的形状直接构成了关于系统稳态与转换机制的具体假说。

图 2 | 一种灵活且具有内生可解释性的神经动力学建模框架。神经发放数据被建模为非齐次泊松过程，其强度依赖于潜轨迹   x ( t ) ，二者通过发放率函数 f ( t ) 建立联系。潜在动力学由非线性随机微分方程（公式 1）控制，该方程包含确定性势函数 Φ ( x ) 和高斯噪声。

优化函数

为了从数据中学习机制，作者在势能函数的函数空间上运用梯度下降算法，以最大化对数似然为目标来优化 Φ ( x ) （图 3 a），每次迭代得到的 Φ ( x ) 都对应一个可解释的动力学假设。随着训练推进，势能形状从简单趋向复杂，逐步逼近真实动力学结构（图 3b 第一行）。然而，随着迭代次数的增加，模型会过拟合并产生伪结构（图 3b 第二行）。

图 3｜梯度下降优化得到一系列具有不同解释的模型。a. 在梯度下降优化过程中，负对数似然呈单调下降趋势。b. 梯度下降选定迭代轮次下的拟合势函数 Φ ₙ ( x ) （颜色与图 a 中的点对应），以及生成数据所用的真实势函数（灰色）。从一个非特异性初始猜测（第 1 轮迭代时的单阱势函数）开始，优化过程可准确还原真实模型（第 50 轮迭代）；而在后续迭代中，由于过拟合，模型会出现在真实生成模型中并不存在的虚假特征（更多小尺度的起伏），这主要源于模型在有限样本和噪声条件下，对偶然波动的过度拟合（如果在每一次迭代中，都重新生成一批新的模拟数据，同样的学习过程将不会产生那些后期的细小伪结构，势能函数可以稳定收敛到真实形状，见原文补充图 1）。

模型选择

在常规机器学习图景中，随着模型复杂度的提高，训练误差通常单调下降，而验证误差在某个复杂度处达到最小值后开始上升，从而形成所谓偏差–方差权衡（Bias – variance tradeoff）对应的 U 形曲线。模型选择通常依据验证误差的最小点，试图在欠拟合与过拟合之间取得平衡。本文中，作者发现训练误差如预期般持续下降，而验证误差在初期会明显下降。但在进入一定阶段后，会进入一个长而平坦的泛化高原（Generalization plateau），对应的势能函数形状可以彼此差异显著，但它们在验证集上的预测性能几乎难以区分。

图 4 | 泛化高原。针对从同一真实模型生成的 10 组独立训练集和验证集样本，梯度下降（GD）优化得到的模型其验证负对数似然值。验证负对数似然值呈现长平台期，表明存在一系列泛化性能良好的模型。放大图（右侧）显示了泛化平台期形状的多样性。在验证负对数似然值最小值处选取泛化最优模型（样本 1 和样本 2 分别对应红色和蓝色箭头）

这种现象说明，在高参数、强表达能力的模型中，可能同时存在数量众多、内部机制迥异的模型，它们在行为上同样成功地解释了数据。换言之，在预测层面，这些模型几乎不可区分；在机制层面，它们却对应着不同数量的吸引子、不同的势能谷底位置以及不同的状态跃迁结构。作者以罗生门效应来概括这一现象：面对相同的数据，存在一个庞大的模型集合，每一个都能给出 " 看似合理 " 的解释，但这些解释彼此并不等价。

是否可以通过强化正则化（regularization）或更精细的交叉验证策略来缓解这一问题？作者从验证误差、多折交叉验证和加入惩罚项几个角度系统地考察了这一思路。总的来说，只要模型选择标准依然主要基于预测或泛化指标，那么在灵活模型中，解释层面的不确定性就难以根除。 这提示我们需要从根本上调整模型选择的目标函数。

因此，作者提出了一个替代思路：找到在不同数据子集中最具有稳定一致性的结构。通过引入了轨迹熵（Trajectory entropy）及其负值特征复杂度（Feature complexity）来量化势能对潜在轨迹的约束强度：势能越深且越分明，轨迹的随机游走越受限制，轨迹熵下降、特征复杂度上升。该度量反映的是动力学结构的丰富性，而非单纯的参数数量。总体而言，通过将潜在状态、势能景观与生成机制形式化，该框架使得模型的学习过程本质上等同于对神经动力学假说的提出与检验，从而实现了内生可解释性。

图 5 | 识别具有准确解释性的模型。a. 特征复杂度随迭代次数增加而上升，且不同数据样本的增长速率存在差异。b. 特征复杂度边界   M*（橙色点）将真实特征与噪声区分开。c. 数据样本 1 和 2 在不同特征复杂度下的势函数（颜色与图 a 数据对应）。d. 不同特征复杂度水平下，从数据样本 1 和 2 中发现的模型之间的 KL 散度。M* 定义为 KL 散度超过固定阈值时的特征复杂度。

框架验证：On – Off 动力学的再解读

为了展示这一框架在真实神经数据上的效用，作者将其应用于以往在猴子视觉皮层 V4 区记录的神经放电数据。现有研究表明，在恒定刺激条件下，V4 区多单元活动并非保持平稳，而是呈现出类似在 " 高放电率状态 "（On）与 " 低放电率状态 "（Off）之间自发切换的特征。这一现象可以被不同的建模框架拟合。例如，一类模型将其视为围绕单一稳定态的连续波动；另一类模型则假设存在两个稳定吸引子，对应 On 与 Off 状态，并在二者之间发生随机跃迁。二者在拟合单元平均放电率和某些统计量时都可取得不错结果，因此难以基于传统指标加以区分。

在本文中，作者使用提出的潜在动力学框架，对 V4 区的神经放电数据进行建模。结果表明，在若干记录通道上，基于泛化的策略往往在不同子集上选出明显不同的势能形状。而采用特征一致性方法时，两半数据各自选出的最佳复杂度所对应的势能在多数情况下高度相似。

图 6 | 从神经生理记录中发现可解释的神经动力学模型。a. 在注视任务中，通过 16 通道电极同步记录灵长类视觉皮层 V4 区的多单元活动。b. 针对两个独立数据样本得到的模型对应的验证负对数似然值。c. 不同数据样本的泛化最优模型存在不一致性（颜色与图 b 对应）。d. 在各特征复杂度水平下，模型之间的 KL 散度。e. 独立识别出两个数据样本的   M*（0.01，灰线）对应的势函数具有良好一致性。阴影区为数据所发现的两个势函数之间的阴影区域，支持 " 亚稳态转换 " 的假设。

结语：从 " 拟合数据 " 走向 " 理解机制 "

这项研究针对当前在神经科学与机器学习交叉研究中广泛存在的一种趋势，给出了系统而谨慎的反思。文章通过一个兼具灵活性与内生可解释性的潜在动力学框架，明确展示了以下几点：

首先，在高容量灵活模型中，即使在有限样本下，也可以出现庞大的罗生门集合：内部机制差异显著的模型，在训练集和验证集上却表现出几乎无法区分的预测性能。泛化能力在此仅能定义一个宽泛的合格区域，而不足以在该区域中定位唯一或少数几个具有机制代表性的模型。

其次，传统的正则化、交叉验证和提前停止等技术，即使在形式上考虑了过拟合问题，在解释层面仍显不足。只要模型选择标准主要依赖于预测误差，这一标准就难以避免被验证集中的噪声和样本划分偶然性所左右，从而导致所选模式在机制解释上不稳定。

最后，文章提出了一种以特征复杂度与跨样本一致性为核心的替代范式，将科学解释的重点从单一模型的最佳预测性能转移到不同数据子集中结构特征的一致再现上。通过这一视角，潜在动力结构的稳定部分与噪声诱导的伪结构得以分离，模型选择本身也被纳入可解释性的约束之中。

从更广义的角度来看，这项研究强调了科学建模中预测与解释的区别。对于工程应用而言，预测准确往往已足够；但对于试图理解大脑计算原理的基础科学而言，预测只是前提，解释才是核心。在灵活模型日益普及的今天，这一差别尤为重要。如何在利用机器学习强大拟合能力的同时，引入足够严谨的机制约束和一致性标准，将是未来可解释神经建模和可解释机器学习共同需要面对的问题。

计算神经科学第三季读书会

从单个神经元的放电到全脑范围的意识涌现，理解智能的本质与演化始终是一个关于尺度的问题。更值得深思的是，无论是微观的突触可塑性、介观的皮层模块自组织，还是宏观的全局信息广播，不同尺度的动力学过程都在共同塑造着认知与意识。这说明，对心智的研究从最初就必须直面一个核心挑战：局部的神经活动如何整合为统一的体验？局域的网络连接又如何支撑灵活的智能行为？

继「神经动力学模型」与「计算神经科学」读书会后，集智俱乐部联合来自数学、物理学、生物学、神经科学和计算机的一线研究者共同发起「从神经动力学到意识：跨尺度计算、演化与涌现」读书会，跨越微观、介观与宏观的视角，探索意识与智能的跨尺度计算、演化与涌现。重点探讨物理规律与人工智能如何帮助我们认识神经动力学，以及神经活动跨尺度的计算与演化如何构建微观与宏观、结构与功能之间的桥梁。

详情请见：从神经动力学到意识：跨尺度计算、演化与涌现丨计算神经科学第三季 · 读书会启动

推荐阅读

1.  自然 · 机器智能：AI 智能体时代的科学发现新范式

2.  人工智能与量子计算的融合：机器学习隐藏的量子纠缠

3.  自然 · 机器智能：LLM 的语言表征与人脑高阶视觉表征的一致性让 " 读脑 " 不再是巫术

4.  系统科学前沿十讲：探究复杂世界演变背后的规则（二）

5.  集智学园精品课程免费开放，解锁系统科学与 AI 新世界

6.  高考分数只是张入场券，你的科研冒险在这里启航！

点击 " 阅读原文 "，报名读书会