数据预处理与特征工程总结笔记

机器学习
前置必修课

数据预处理 & 特征工程

从「能跑」到「跑得好」
数据质量决定模型上限

💬 为什么你的模型效果不理想？

课程 Demo 里的数据非常干净，但真实世界的数据往往充满问题：存在异常值与缺失值、包含文本或类别等非数值类型、量纲差距巨大（如房价百万级 vs 房间数个位数）。

在算法界有一句至理名言：Garbage in, garbage out — 数据质量低，训练出的模型质量一定低。

1 四大核心工具

pandas — 二维表格处理 matplotlib — 基础可视化 seaborn — 高级可视化 scikit-learn — 标准预处理器

📌 四个工具皆来自 Python 生态

pandas 可处理 Excel 式二维表格数据，支持各种快捷操作；matplotlib 是最底层的基础可视化库；seaborn 语法更简洁、图表更好看；sklearn（scikit-learn）则是机器学习标准库，内含丰富预处理工具与常用算法。

2 数据集先行划分 —— 防「数据泄露」

拆成训练集/测试集：顺序不能反

很多初学者先对全部数据做预处理，再划分数据集，这会导致数据泄露。若用「你主观改过的数据」做验证，模型预测只会对你改过的数据准，而不是对真实世界准确。

训练集

学习数据规律；预处理时可做 fit 学习

测试集

模拟真实数据；只能用训练集学到的参数 transform

⚠️ 对训练集做 fit，再对训练集+测试集做 transform —— 这是铁律，几乎每一步都要遵守。

3 EDA - 先体检，后处理

拿到真实数据，先做 Explore Data Analysis（数据探索分析）—— 像全面体检一样发现数据大概问题：哪些列有缺失？多少缺失？哪些特征分布偏了？哪些特征与标签高度相关？EDA 能指导后续预处理方向，也帮助设定超参。常用工具：df.info() 查看类型与缺失、df.describe() 看统计指标、seaborn 热力图 看相关性。

📊 泰坦尼克号数据探索关键发现

女性存活率 >> 男性存活率
一等舱存活率 > 二等舱 > 三等舱
票价严重右偏（长尾在右侧）
年龄缺失约 20%，且分布偏态
客舱号缺失率达 77%，几乎不可用
相关性热力图：票价与存活正相关

EDA → 发现分布形态 → 决定策略

4 数据清洗 — 去重、补缺、截断

✦ 重复值

先单独剔除重复行，且必须同步删除标签 y 中对应的行（特征和标签靠 index 索引一一对应）。

✦ 缺失值处理矩阵

缺失率范围	处理策略
极低且随机缺失	直接删除整行
> 70%	整列删除（信息太少）
数值型特征	用中位数填充（比均值更稳）
类别型特征	用众数填充，或新增 unknown 类别

数值填充用 中位数优先，因为它对极值和偏态不敏感；
类别填充用众数，让出现最多的类别补齐空缺。

5 异常值 ─ 用截断保留信息

IQR 截断法（1.5 倍四分位距）：不要「删除」异常值，而是压缩到合理区间内，数据来之不易。

lower = Q1 − 1.5×IQR
upper = Q3 + 1.5×IQR
超过则设成边界值

⚠️ 为什么要截断而不是删除？

若一行有 250 个特征，只因 1 列异常就删掉整行，其他 249 个特征信息会被浪费。将其压缩到区间内即可消掉极端影响。

6 特征编码 — 文本/类别 → 数字

编码方法	使用场景	是否保序
序数编码	有序类别（学位/学历/满意度）	是
独热编码	无序类别（颜色/城市/登录港口）	否
标签编码	二分类特征如性别，分类标签列	不保证

注意区分

若将无序颜色编码成 1/2/3，模型会误以为「蓝色 = 红色 × 3」这种大小关系。独热编码把每个类别拆成独立 0/1 列，彻底消除顺序；缺点是会大幅增加列数。标签编码适合二分类特征和树模型，禁止在线性模型与多分类无序特征中使用。

7 特征构造与删除

让特征「更有语义」

合并特征：家亲数 + 父母孩子数 -> 家庭规模；若家庭规模为 1 时标记「独自一人」
提取头衔：从姓名中挖出 Mr/Mrs/Master/贵族等社会地位信息
删除弱特征：缺失 77% 的客舱号转为「是否有客舱」0/1 特征，或干脆丢掉

去粗取精，降低模型的学习负担。

8 特征缩放 ─ 消除量纲差异

标准化

均值为 0，方差为 1

(x − μ) / σ

不受固定区间限制，适合近似正态分布，需先处理异常值

归一化

压缩到 0~1 区间

(x−min)/(max−min)

受极值影响大，适合图像/神经网络（与 sigmoid 激活函数天然匹配）

如果不做缩放，模型会误认为「数值大」更重要，给特别大的权重，造成梯度下降震荡甚至不收敛。

9 用 Pipeline 串起来

预处理步骤多、流程长，容易「忙中出错」。可以用 sklearn 的 Pipeline + ColumnTransformer 把「缺失值→标准化→编码」各流水线自动化组合，对训练集执行 fit，对测试集直接 transform，大大降低出错率。

# 伪代码示例
p1 = Pipeline([age_median, scale])
p2 = Pipeline([港口众数, onehot])
col = ColumnTransformer([('num', p1, cols_num), ('cat', p2, cols_obj)])

# 训练集
col.fit(X_train)

# 训练集/测试集都变换
X_train_pro = col.transform(X_train)
X_test_pro = col.transform(X_test)

❤️ 数据处理核心原理

Garbage in, garbage out

数据质量决定模型上限，算法再好也无法从垃圾数据学到有价值规律。

先划分，再预处理

fit 只作用在训练集上，避免数据泄露；transform 同时应用训练/测试集。

EDA 先行

不知道哪个列有问题就用图表做可视化探索，找到偏态分布与缺漏倾向，指导后续决策。

处理量大就用 Pipeline

对复杂项目先按方案封装起来，尽可能减少人为遗漏和操作失误。

做完预处理，才能真正训练模型

如果模型拟合不上，或者过度拟合怎么办？
下一节课上线，届时继续学习对应策略。

CuteNote.app 颜值笔记

数据预处理：从原始数据到可用特征的完整指南