监督学习¶
从数据中学习输入→输出的映射
线性回归¶
- 最小二乘法：\(\hat{w} = (X^TX)^{-1}X^Ty\)
- 梯度下降：\(w := w - \alpha \nabla L(w)\)
- 正规方程 vs 梯度下降的取舍
逻辑回归¶
- Sigmoid 函数：\(\sigma(z) = \frac{1}{1+e^{-z}}\)
- 交叉熵损失
- 最大似然估计推导
决策树与集成¶
- 决策树：信息增益 / 基尼系数
- 随机森林：Bagging + 特征随机
- XGBoost / LightGBM / CatBoost：Boosting 框架对比
SVM¶
- 核函数：线性 / 多项式 / RBF
- 对偶问题与 KKT 条件
- 硬间隔 vs 软间隔
练习¶
- 用 Sklearn 完成 Kaggle 房价预测
- 用 C++ (Eigen) 手写 Logistic 回归
- 对比 XGBoost / LightGBM / CatBoost 在同一数据集上的表现
资源¶
| 资源 | 链接 |
|---|---|
| Sklearn 官方教程 | https://scikit-learn.org/stable/tutorial/ |
| XGBoost 文档 | https://xgboost.readthedocs.io/ |
| LightGBM 文档 | https://lightgbm.readthedocs.io/ |