线性模型：赤裸的超平面#

以线性回归和逻辑回归为例，模型假设输出与输入特征之间存在如下关系：

$$ y = w^T x + b \quad \text{或} \quad P(y=1|x) = \sigma(w^T x + b) $$

这里，输入特征 ( x ) 是提前固定好的，比如房价预测中的面积、卧室数量，又或者文本分类中人工构造的 TF‑IDF 向量。模型要学习的只有权重向量 ( w ) 和偏置 ( b )，它们在空间中定义了一个超平面。对于二分类，这个超平面就是决策边界；对于回归，它就是预测平面 所以，线性模型学习到的就是一个给定特征空间中的超平面或超曲面（如果做了特征交叉），特征工程的好坏直接决定了模型的天花板

支持向量机：优雅的间隔#

SVM 在线性可分的设定下，同样是学一个分离超平面，但它追求的是最大化分类间隔。在核方法的加持下，SVM 实际上是在一个隐式的高维特征空间中构造最优超平面，其对偶形式表示为支持向量的线性组合。归根结底，SVM 学到的是一个以支持向量为“锚点”的最大间隔决策函数，而这个函数的形状依然由人工选定的核函数来预先约束

决策树及其集成：阶梯王国#

决策树学到的是一系列 if‑then 规则，将特征空间分割成若干轴平行的矩形区域，每个区域赋予一个常数值（分类或回归）。这使得决策树的决策函数呈现为分段常数阶梯函数

随机森林和 GBDT（包括 XGBoost、LightGBM）则将多棵这样的树组合起来。它们的模型可以写成：

$$F(x) = \sum_{m=1}^{M} \alpha_m h_m(x)$$

其中每个 $h_m(x)$ 是一棵决策树，整体函数虽然是大量阶梯函数的加权和，具有强大的非线性拟合能力，但其基础构造单元仍然是轴对齐的矩形分割。树模型的学习过程，实际上是在离散地选择分裂特征和分裂点，逐步降低不纯度，本质上是在离散空间中搜索最佳的阶梯状近似

共同的本质：无论是超平面、核空间中的平面，还是阶梯函数，传统机器学习模型通常是在一个 相对简单、结构化很强的假设空间 中，寻找一个映射 $f_\theta(x)$，而输入 $ x $ 的特征表示几乎完全由人类专家预先设计，模型可以看作：固定特征 + 简单决策函数

前馈网络与 CNN：层次化特征检测器#

在图像分类中，CNN 的卷积层会从原始像素出发，逐层学习：

• 第一层检测边缘、角点、颜色过渡等低级模式
• 中间层将低级模式组合成纹理、形状部件（如眼睛、轮子）
• 高层将部件组合成物体原型和语义概念

这些层次化的特征检测器并不是人类手工设计的 SIFT 或 HOG，而是从数据中自动涌现的分散式表示——每个概念并不对应某一个特定节点，而是由一组神经元的激活模式共同编码。最后一层全连接网络则在这些高度抽象的特征之上，学习一个简单的线性或 softmax 决策面

所以，CNN 学到的是 一个由浅入深的特征提取金字塔，以及顶层一个基于此特征的易于线性分离的映射

RNN 与 LSTM：学习动态系统的隐含状态#

当处理序列时，RNN 在每个时间步维护一个隐含状态 $ h_t $，并按照

$$ h_t = \phi(W_h h_{t-1} + W_x x_t + b) $$

来更新，LSTM 通过精巧的门控机制让状态更稳定地跨越时间

循环网络学习到的是状态转移的动力学规则以及如何将输入序列压缩为一个有意义的上下文向量，这个隐含状态空间往往可以编码语法、话题、上下文等信息，使得语言模型、序列标注等任务成为可能。我们并不是手工设计一个规则系统来跟踪序列状态，而是让网络从数据中学会如何编码历史信息

Transformer 与 BERT：上下文感知的动态表示#

Transformer 抛弃了递归，采用自注意力机制，能够直接捕捉序列中任意两个元素之间的关系。它的学习过程可以理解为：为每个词（或图像块）计算上下文相关的表示——一个向量，它的每一个维度都在反映不同类型的语义或语法属性 以 BERT 为例，其预训练任务迫使模型学会：

• 掩码语言模型：根据上下文推测被遮住的词
• 下一句预测：理解句子间的关系

在这个过程中，BERT 的每一层 Transformer 都在构建更为丰富的语境化词向量，同一个词在不同上下文中的向量完全不同，这种动态性远超传统的静态词向量（如 Word2Vec），BERT 学到的是一个能够将任意输入文本映射到深层语义空间的函数，该空间里词语的各种语言属性（时态、性别、指代、情感等）沿着不同方向被分散地编码，而不是集中在某一个单一维度上

共同的本质：神经网络学到的是一整套层次化的、分散式的内部表示（representation），以及一个构建在这些表示之上的决策机制

换言之，它学的是一个 “表示学习 + 浅层决策”的复合体

表示本身是对输入世界的抽象压缩，随着网络加深而逐步去噪、分离变化因素、放大与任务相关的信息

1. 固定特征 vs 端到端特征学习#

这是最根本的分水岭，传统 ML 的流水线是：
原始数据 → 手工特征工程 → 模型训练 → 预测
而神经网络特别是深度学习的流水线是：
原始数据 → 自动学习特征与映射 → 预测

在传统方法中，若特征设计不佳，再强大的模型也难突破上限，神经网络则将特征提取与任务学习融为一体，特征不再是“前置步骤”，而是与任务联合优化的一部分。因此，神经网络学到的表示是“为最终任务量身定制”的

2. 假设空间的几何结构#

• 线性模型假设空间是超平面，对数据的分布有极强的线性可分要求
• 决策树假设空间是阶梯函数，擅长捕捉离散的阈值规则，但在平滑边界上需要大量树才能逼近
• SVM 通过核函数将假设空间扩展到再生核希尔伯特空间，但仍是一个具有明确几何形状的决策边界

神经网络则不预设固定的几何形状，它的假设空间由大量可微的线性与非线性变换构成，能够表达极度复杂的流形。某种意义上，它学习的是一个 将数据流形逐步“拉直”的变换序列，使得原本纠缠难分的数据在最终表示空间中变得线性可分。因此，神经网络学到的不仅是决策边界，更重要的是一个能够重塑空间的表示变换

3. 可解释性与黑箱#

传统模型大多可解释：线性回归的权重告诉你每个特征的贡献方向和大小；决策树的路径清晰地给出推理规则；GBDT 能输出特征重要性

神经网络却是一个参数巨型黑箱，很难直接将某个隐藏层神经元指向一个人类可理解的语义，因为信息是分散式存储的——概念由大量神经元共同激活的模式来表达。虽然我们现在有注意力可视化、特征归因等工具，但神经网络本质上仍然是一个不可读的程序，它学到的东西更像是一本用外星文字写就的、关于数据世界规律的巨著，而非人类可直接阅读的规则列表

4. 归纳偏置的注入方式#

传统 ML 通过模型选择注入归纳偏置（例如选择线性模型就是相信数据大致线性可分，选择决策树就是相信决策边界由阈值规则构成）

神经网络则将归纳偏置更多体现在架构设计中：

• CNN 的局部连接和权值共享施加了平移等变的偏置，所以学到了平移不变的特征检测器
• RNN 的循环结构带来了时间上的连续性和序列记忆的偏置
• Transformer 的自注意力和位置编码设置了“所有元素都可能相关”的偏置，使其善于捕捉长程依赖

这些结构上的约束，引导神经网络学到特定类型的表示，而不是随意拟合任何函数

5. 数据与规模的敏感性#

线性回归、SVM、树模型在中小规模数据上即可稳定工作，对噪声和过拟合有较好的控制

神经网络则是 “数据饥渴” 型的，当数据不足时，它学到的表示可能是糟糕的，因为它需要在巨大的假设空间中搜索有效的表示结构，而一旦数据量和模型容量达到某个临界点，它就会涌现出惊人的能力——例如大语言模型所展示的上下文学习、推理等。这背后正是网络逐渐学到 高度压缩的解耦表示，使得模型能泛化到训练时未曾见过的模式组合