经典 CNN¶
LeNet → AlexNet → VGG → GoogLeNet → ResNet → EfficientNet
架构演进¶
| 模型 | 年份 | 核心创新 | 论文 |
|---|---|---|---|
| LeNet-5 | 1998 | 卷积+池化开山之作 | — |
| AlexNet | 2012 | ReLU / Dropout / 数据增强 | NeurIPS 2012 |
| VGGNet | 2014 | 小卷积核堆叠 (3×3) | arXiv:1409.1556 |
| GoogLeNet | 2014 | Inception 模块 (多尺度) | arXiv:1409.4842 |
| ResNet | 2015 | 残差连接（最重要的创新） | arXiv:1512.03385 |
| DenseNet | 2017 | 密集连接 | arXiv:1608.06993 |
| EfficientNet | 2019 | 复合缩放 | arXiv:1905.11946 |
重点：ResNet 残差连接¶
- \(y = F(x) + x\) — 恒等映射捷径
- 解决深层网络退化问题
- 理解 Pre-Activation ResNet
练习¶
- 从零实现 ResNet-18，训练 CIFAR-10 到 >90%
- 实现不同深度的 ResNet，观察退化现象
- 阅读 ResNet 论文 + 李沐精读
资源¶
| 资源 | 链接 |
|---|---|
| ResNet 论文 | https://arxiv.org/abs/1512.03385 |
| 李沐 ResNet 精读 | https://www.bilibili.com/video/BV1xb4y1m7Gi |
| PyTorch Vision Models | https://pytorch.org/vision/stable/models.html |