Boosting 集成学习 · 总结笔记

机器学习 · 集成学习 Ⅱ

Boosting 模型

从弱模型到强模型 · 梯度提升的核心理念

导读

集成学习有两大主流：Bagging 与 Boosting。两者目标一致——把弱模型组合成强模型，但路径大不相同。本次聚焦 Boosting，它包含大名鼎鼎的 XGBoost、LightGBM 和 CatBoost。

Bagging

少数服从多数，并行训练 N 棵树。有放回采样不同数据、随机选取特征，让每棵树学到不同视角。回归取均值，分类投票。

典型：随机森林

Boosting

像接力赛，串行训练。第一棵树完成后，看与真实结果的差距，下一棵树专注修复上前树留下的误差，逐棵接力，预测时累加。

典型：XGBoost / LightGBM / CatBoost

能力的类比

理解 Boosting —— 打高尔夫

目标：350 米打进洞。第一杆（第一棵树）飞出 300 米，离洞 50 米。

第二棵树不训练 350 米，专注补 50 米的误差，结果推进 45 米，还剩 5 米。

第三棵树补 5 米，推近 4.5 米，还剩 0.5 米…最终几杆累加，逼近球洞。

每一个模型都在拟合前序模型的残差，
接力合作，逐轮逼近真实答案。

—— Boosting 的精髓

CONCEPT CLARITY

为什么叫"梯度提升"，而不是"残差下降"？

很多人以为 Boosting 就是让残差越来越小，把它叫做"残差下降决策树"。但标准的名字是 梯度提升决策树（Gradient Boosting Decision Tree）。原因有两个：

• 残差只是损失函数为 MSE 时的特殊情况
• 其他损失函数下，指导方向是负梯度，而非残差本身

"梯度"来自优化方式：每轮用负梯度方向引导新树的学习方向。
"提升"不是让梯度变大，而是让多棵弱树的叠加使模型整体能力不断增强。如果意译，"梯度增强决策树"可能更贴切。

MECHANISM

梯度提升决策树如何运作

GBDT 的模型是多棵树的累加结果。没有固定参数可以求导，它优化的是"函数"。核心逻辑与梯度下降一致：每一步沿着负梯度方向修正，乘上学习率控制步长，逐步下坡。

计算负梯度 — 当前模型对每个样本最该修正的方向。MSE 下恰为残差 (y - f(x))

训练决策树 — 用全部特征拟合这些负梯度值，学一棵新树（通常设限深度，如 2 层）

乘学习率加入 — 新树 × 学习率（例如 0.1），加到现有模型上。只走一小步，避免一步到位引发震荡

当损失为 MSE：L = ½ (y − f(x))²，对 f(x) 求导后取负，恰为 y − f(x)，即残差。
若非 MSE（如 MAE、对数损失），"负梯度 ≠ 残差"，所以严格意义叫梯度提升更准确。

在实现中，首轮往往用均值作为初始预测，而后逐轮迭代：
特征不变，目标是"当前残差"，训练新树 → 预测 → 乘学习率累加，如此循环。不断"查漏补缺"，模型一轮比一轮精确。

GBDT 的优点

预测精度非常高，在结构化/表格数据上表现突出
既能回归也能分类，灵活性好
基于决策树，可以输出特征重要性
对特征缩放不敏感，无须标准化
可自定义多种损失函数

GBDT 的短板

串行训练，速度相对偏慢
对异常噪声较敏感，容易过拟合
超参数敏感，调参门槛较高
高维稀疏数据效果不佳，做 one-hot 很占空间
类别特征常需手动编码

THREE HEROES

业界进化：XGBoost · LightGBM · CatBoost

2014

XGBoost

Kaggle 常胜将军

对 GBDT 做了大幅优化：加入正则化（叶子数量、权重 L2）抑制过拟合；使用二阶梯度（相当于引入"加速度"）选择分裂点时更精准；工程上大量加速优化，平衡精度与速度。

正则化防过拟合二阶梯度并行化优化

支持早停（early stopping），设一个大上限（如万棵树）配小学习率，算法会自行判断何时停止，无需纠结树的数量。

2017

LightGBM

微软出品 · 让快更快

用直方图算法离散特征值（如 1000 个数据分成 25 个桶），仅在桶边界寻找分裂点，显著提速；采用带深度限制的 Leaf-wise 生长策略，沿残差最大的方向生长，大数据场景精度高、速度快。

直方图分裂 Leaf-wise 生长大数据量下加速

训练速度可达 XGBoost 的 5–10 倍，非常适合数据量大的场景。

2017

CatBoost

Yandex 出品 · 天生处理类别

原生支持类别特征，不用手动 one-hot，特别适合分类列多或类别取值很多的场景，避免千维稀疏向量造成的浪费。同时解决传统 GBDT 的"预测偏移"问题，用有序提升避免训练中"偷看答案"，降低过拟合。

原生类别特征有序提升对称树 → 推理快

强制生成完全对称的树，训练未必快，但推理速度更快。

⚡ 如何做选型？

Kaggle 竞赛 — 数据量适中、追求精度：首选 XGBoost，或叠加以增强效果。

工业界大数据 — 训练数据量大，推理效率关键：LightGBM 最常用。

大量类别特征 — 字段中分类信息特别多：用 CatBoost，免去繁琐编码，同时能处理数值与类别预测。

通用策略 — 数据特别大时先用 LightGBM 跑通，再考虑 XGBoost 或两者叠加。

DEMO

加州房价：XGBoost vs 随机森林

演示了用随机森林 vs XGBoost 预测加州房价。随机森林约 200 棵树，深度 12，全核训练；XGBoost 同样是 200 棵树，深度 5（更浅）+ 学习率 0.1 + 样本/特征子采样，并记录训练耗时。

随机森林 MSE / R²

0.29 / 0.77

XGBoost MSE / R²

0.21 / 0.83

XGBoost 在精度（MSE/R²）和训练耗时有双重优势

早期停止实例：设置约 1 万棵树上限 + 小学习率，XGBoost 自动在约 1205 轮停止（最佳轮数约 1186）。误差在千轮内快速下降，之后走平，模型自己找到了恰当的停止点。

为什么用 XGBoost 的人比较多？

在表格数据上，XGBoost 既训练速度快、精度好，又有成熟的正则化与早停机制，综合表现优于普通 GBDT 和随机森林，因此在竞赛与工业实践中更受欢迎。

SUMMARY

决策树 · 随机森林 · Boosting

维度

对比要点

集成策略

单棵树：无集成；随机森林：Bagging（并行投票/均值）；XGBoost 等：Boosting（串行叠加）

树的深度

单棵树可深可浅；随机森林常用较深树；Boosting 系多用浅树（如 max_depth=2~5）

核心目标

单棵树做基准；随机森林并行降方差；Boosting 串行纠错降偏差

过拟合风险

随机森林天然抗过拟合更强；Boosting 需要正则化 / 调参防范

应用建议

用单棵树做 baseline；随机森林在稳健性要求高时适用；日常直接处理复杂问题多用 XGBoost、LightGBM、CatBoost

总结

Boosting 是集成学习的重要分支，区别于 Bagging 的"并行表决"，它选择了串行纠错的路径——每棵树都在努力弥补前序模型的不足。理解"梯度提升"而不是简单地当作"残差下降"，才能更好地领会其优化本质。

从 GBDT 到 XGBoost、LightGBM、CatBoost，每一次进化都为了解决一个痛点：过拟合、训练速度、类别特征处理、预测偏移。选型没有唯一答案，取决于数据规模、特征形态与场景需求。

Boosting 集成学习与梯度提升决策树（GBDT）详解