CNN Framework

🔶 1. LeNet-5（1998）

背景：最早应用于手写数字识别（MNIST），是现代 CNN 的雏形。

创新点：
使用卷积层和池化层交替
使用 sigmoid/tanh 激活函数
全连接层连接高阶特征

背景：ImageNet 图像分类竞赛首次大幅领先传统方法，推动深度学习浪潮。

创新点
使用 ReLU 激活函数（更快收敛）
引入 Dropout 防止过拟合
使用 GPU 并行训练
使用局部响应归一化（LRN）

背景：验证深层小卷积核网络的有效性，结构简单但效果优越。

创新点：
使用多个 3×3 小卷积核堆叠代替大卷积
使用统一的结构块（Conv-Conv-Pool）
深度可扩展（VGG-11~19）

背景：解决深度增加后训练困难、梯度消失等问题，首次训练出超 100 层的 CNN。

创新点：

残差连接（skip connection）：学习残差 F(x)+xF(x) + xF(x)+x，防止梯度消失

支持构建超深网络（ResNet-50/101/152）

加速收敛，避免退化问题

背景：进一步提高特征利用率，解决参数冗余和梯度消失问题。

创新点：

密集连接（Dense Connection）：每一层接收所有前层输出作为输入

特征复用，大幅减少参数

改进梯度流动，提升性能

架构	年份	主要创新
LeNet-5	1998	首次提出卷积层+池化层+全连接层的结构，用于手写数字识别
AlexNet	2012	引入ReLU激活函数、Dropout正则化，使用GPU并行训练
VGG	2014	使用多个小卷积核（3×3）堆叠，模块化设计易于迁移到其他任务
ResNet	2015	引入残差连接（skip connections），允许训练非常深的网络，解决了深度网络中的梯度消失问题
DenseNet	2017	采用密集连接（每层与所有前面层连接），提高了特征复用，增强了效率和准确性