机器学习中的数学角色正在如何变化

现代机器学习还需要数学吗？

过去十年，机器学习的进展方式发生了明显变化。精心设计、具有数学原则支撑的模型架构，往往只能带来边际改进；而以工程为先、依赖更大训练集与更多参数规模的研究，却不断展现出现有理论未能提前预测的新能力。

这让数学与统计学的地位显得有些尴尬。它们曾经是机器学习研究的重要指南，如今却常常难以及时解释最新突破。这并不是第一次经验进展跑在理论前面，但近年的进展幅度，再次迫使研究者面对所谓“苦涩的教训”：通用方法、规模化计算与数据，往往比人类精心注入的结构性先验更有效。

由此产生了一个问题：数学在未来机器学习研究中的作用是否会下降？

一个更合理的判断是：数学仍然重要，只是角色正在变化。

过去，数学常被期待为模型性能提供理论保证；未来，它可能更多用于对训练和性能中的经验现象进行事后解释，类似数学在物理学中的角色。过去，数学直觉可能用于手工特征或架构细节设计；未来，它可能更多影响高层设计选择，例如让模型架构匹配任务结构或数据对称性。

这并非全新变化。数学一直在机器学习中扮演多种角色。卷积神经网络利用平移等变性匹配图像数据结构，已经是一个持续数十年的经典例子。正在变化的，是数学最可能产生影响的问题类型，以及它最常见的使用方式。

一个值得注意的趋势是：随着模型规模扩大，适用于机器学习的数学领域也在拓宽。拓扑、代数、几何等偏“纯数学”的领域，正在与概率论、分析、线性代数等传统应用数学工具一起，参与理解现代深度学习系统。这些领域长期处理高度抽象和复杂的对象，或许能为理解高维表示、模型权重空间与复杂组合过程提供新工具。

从“针尖”理解“大象”

假设我们面对一个拥有 70 亿参数、50 层结构的神经网络，要如何分析它？

最常见的方法是计算性能指标，例如在一组评测基准上的准确率。在某些场景中，这已经足够。但深度学习模型是复杂且多面的。两个计算机视觉模型即使准确率相同，也可能在分布外泛化、校准能力、对抗鲁棒性等方面差异很大，而这些“次级统计量”在实际应用中可能至关重要。

更进一步，如果研究者希望建立对深度学习的科学理解，仅靠评测分数显然不够。就像无法用单一数字完全描述一个人一样，用一个或几个统计指标理解模型，也会受到根本限制。

与理解人类不同，理解模型时，我们可以访问全部参数，也可以观察模型内部的计算过程。通过提取隐藏层激活，可以直接追踪模型如何把输入转换成预测。

问题在于，隐藏激活所在的空间并不友好。它们通常是高维的，而且不像原始输入那样具有易于人类理解的结构。如果进一步观察权重空间，我们会面对数百万甚至数十亿个彼此正交的方向。如何理解这样的空间，是一个极其困难的问题。

有一个著名寓言：几位盲人分别摸到大象的不同部位，于是给出了完全不同的描述。今天研究者分析隐藏激活与模型权重时，处境可能更困难：不是用手摸到大象的一部分，而像是只用针尖触碰了一下大象，就试图描述整体。

描述不可视化对象的工具

很多人以为数学研究主要是“解题”。但实际上，大量数学工作都在寻找正确的问题与合适的描述工具。原因很简单：数学研究的许多对象远离日常经验，研究者一开始并没有可靠直觉。

以“旋转”为例。在二维和三维空间中，旋转很容易想象；但维度升高后，人类直觉迅速失效。在线性代数中，n 维旋转可以用行列式为 1 的 n×n 正交矩阵表示，这些对象组成特殊正交群 SO(n)。

如果要理解所有 n 维旋转，可以从线性代数角度研究这些矩阵，也可以研究它们作为算子如何作用于 n 维空间。还可以从几何角度理解：SO(n) 本身是一个流形。粗略地说，流形在局部看起来像欧几里得空间，但整体可能存在弯曲、孔洞或其他非欧几里得结构。

在二维中，所有旋转可以视为与一维圆周等价的几何对象。但当 n=512 时，研究旋转空间就意味着研究嵌入在 512² 维空间中的流形。此时，我们熟悉的二维、三维视觉直觉几乎失效。

数学家长期面对这类“不可视化对象”。一种重要策略，是把二维、三维中熟悉的空间概念推广到高维，并用这些推广概念连接人类直觉。

这类思路已经开始用于理解深度学习中的权重空间、隐藏激活和输入数据。

内在维度：高维空间中的有效自由度

“维度”是一个直观概念。我们熟悉一维、二维、三维空间，也会在日常生活中用“自由度”描述系统，例如汽车可以前进后退，也可以左右转向。

在机器学习中，维度概念自然出现：我们希望知道一个数据集、一个学习到的表示，或一组权重矩阵，实际上沿多少个独立方向变化。

在形式数学中，不同空间有不同的维度定义，但它们都试图捕捉类似直觉。例如，如果一个人沿圆周行走，只能向前或向后移动，因此圆周是一维对象。对于流形来说，如果每个点附近的小邻域看起来像某个 k 维欧几里得空间的子集，那么该流形就可以称为 k 维。

机器学习中的“流形假设”认为，许多数据虽然嵌入在高维空间中，但实际上近似位于低维流形上。例如图像数据可能拥有极高像素维度，但真实变化因素远少于像素数量。

这一思路不仅适用于输入数据，也可能适用于隐藏表示与模型权重。研究这些对象的内在维度，有助于理解模型究竟学习了怎样的结构，以及高维系统中哪些方向真正重要。

ReLU 网络中的几何结构

数学还可以帮助刻画神经网络如何划分输入空间。以基于 ReLU 的神经网络为例，它们会把输入空间切分成大量多边形区域。在每个区域内部，模型表现得像一个线性映射。

这种分解提供了一个几何视角：复杂神经网络并不是完全不可理解的黑箱，它们可以被看作在高维空间中构造出大量分段线性区域。研究这些区域的形状、数量和排列方式，可能帮助理解模型表达能力、泛化行为以及训练过程中的变化。

对称性与结构：数学仍能指导设计

即使经验规模化成为主导趋势，数学仍然能在架构设计中发挥作用，尤其是在数据或任务存在明确结构时。

卷积神经网络是典型案例。图像中的物体平移后，语义通常保持不变；卷积结构正是利用了这种平移对称性。类似地，在图结构、物理系统、分子建模、三维视觉等领域，任务本身常常具有旋转、置换或其他群对称性。利用这些结构，可以让模型更自然地匹配问题。

这意味着，数学未必总是直接预测“哪个模型分数更高”，但它可以帮助研究者提出更合适的表示方式、更合理的归纳偏置，以及更能反映任务本质的架构。

角色变化，而不是价值消失

现代机器学习确实削弱了某些传统理论路径的中心地位。许多突破来自规模、数据、算力和工程，而不是预先完备的数学证明。

但这并不意味着数学退出舞台。相反，随着模型越来越大、内部机制越来越复杂，研究者更需要能够描述高维结构、不可视化空间和复杂系统行为的工具。

数学在机器学习中的角色，正在从“预先给出保证”扩展为“帮助理解经验现象”；从“设计局部细节”转向“刻画结构、对称性与空间形态”；从传统应用数学扩展到拓扑、几何、代数等更抽象领域。

在规模化时代，数学也许不再总是站在模型突破的最前面，但它仍可能是理解这些突破不可缺少的语言。