卷积神经网络模型的发展总结AlexNet至DRN

卷积神经网络模型的发展总结AlexNet至DRN

208 次阅读

2012-NIPS-AlexNet

论文:ImageNet Classification with Deep Convolutional Neural Networks

特点:

1) ReLU:解决梯度饱和问题

2) GPU:两块并行加快计算

3) LRN:平滑处理

4) Overlapping Pooling:s<z

图片:

2014-ICLR-NIN

论文:Network in Network

特点:

1) MLP Convolution Layers;1*1conv的利用;

2) Global Average Pooling(无FC)减小参数计算量;

图片:

2015-ICLR-VGGNet

论文:VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

特点:

卷积核:3*3代替5*5和7*7,层数加深

图片:

2015-CVPR-GoogLeNet

论文:Going Deeper With Convolutions

特点:

1) 使用多尺度卷积核,提取多尺度信息,加宽卷积;

2) 利用1*1 卷积核,更改channels数目,减小计算量和参数;

3) 2个auxiliary classifiers:解决梯度弥散,仅用于训练网络.

图片:

2015-ICML-BN

论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

特点:

1) 在每一个层输入做BN,减均值,除以方差,归一化.

2) 使每个输入层分布没太大差异,对学习率,参数初始化要求低一些

3) 再做恒等变换操作还原,恢复网络的表达能力,可惜不能完全恢复

图片:

2016-CVPR-InceptionV23

论文:Rethinking the Inception Architecture for Computer Vision

特点:

1) Inception V2: 2个3*3 代替5*5;加入BN

2) Inception V3:用1*n+n*1 代替n*n

3) Soft的压缩,pooling 往往对应着多一个分支

图片:

2016-CVPR-ResNet

论文:Deep Residual Learning for Image Recognition

特点:

1) 增加了residual network,解决梯度消失问题,便于加深网络深度

2) 既不增加参数又不增加复杂度,结果提高

3) 对比实验验证(普通VGG和ResNet),保证层数和参数一致

4)在Image Net和CIFAR10数据集上进行实验,效果都很不错

图片:

2016-ECCV-ResNet 1001

论文:Identity Mappings in Deep Residual Networks

特点:

(1)理论和实验上论述了ResNet的有效性, Identity mapping 的优势,梯度在网络中顺畅的传递而不会爆炸或消失。

(2)就ResNet1202出现的降质问题,提出新的残差单元,进一步提高了残差网络的性能。(cifar10: 4.62%)

图片:

2016-BMVC-WRNs

论文:Wide Residual Networks

特点:

1) 设计了B(3,dropout,3)并验证放dropout和3*3的效果最好。

2) 设计实验验证l=2, k与d 不同比例,dropout等对result影响.

3) 本质就是增加了输出通道数conv kernels(resnet 原有基础*k,减小depth)

图片:

2017-CVPR-ResNeXt

论文:Aggregated Residual Transformations for Deep Neural Networks

特点:

1) 重复的block(256,1*1,4)(4,3*3,4)(4,1*1,256),本质为分组=>设定好的block,超参数仅为C(分组数),通用性好,

pixel-wise:通道对应位置点相加。

2) 提出cardinalitythe size of the set of transformation分组数目or path数目。

3) Bottleneck 数目和C 的数目相对应(可控制总体参数,用于比较)实验证明增加C比增加bottleneck width d(每组分到的channels)更为有效。

4) 相同复杂度下,ResNeXt增加accuracy,训练更加迅速

5) ResNeXt-101(64*4d): 4.4% top-5 error rate

图片:

2017-ShuffleNet

论文:ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

特点:

1)分组卷积;使用不同分组channel通过shuffle操作,

2)代替全连接层进行交互信息(减小参数计算量)

图片:

2017-CVPR-Xception

论文:Deep Learning with Depthwise Separable Convolutions

特点:

分组卷积的极致情况,将1×1卷积的每个输出信道作为一个分组进行卷积,其后增加一个3*3卷积层。

图片:

2017-AAAI-Inception V4

论文:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

特点:

1) 设计更深的网络梯度消失,训练慢=>结合Inception V4 & Inception-Residual

2) 设计了三个架构:融合了Inception和Residual模块

Inception-v4: roughly the same performance Inception-ResNet-v2.

3) Inception-Residual与对应Inceptionv4比,准确性提高不多,训练速度加快

图片:

2017-CVPR-DenseNet

论文:Densely Connected Convolutional Networks

特点:

1) 每一层的输出作为后面每一层的一个输入,每一层输入是其前每一层的输出。

2) 特点:DenseNet can have very narrow layers, e.g., k = 12.

3) 优点:减轻梯度消失;加强传播特性;鼓励重用特性,模型紧凑;减少参数;

图片:

2017-CVPR –SENet

论文:Squeeze-and-Excitation Networks

特点:

1) 创新:对每一个conv的channels进行global average pooling 获取C,控制每个channels的重要程度,中间缩放r用来减小计算。

2)SEblock是一个子结构,嵌进分类或检测模型,均取得不错结果。

3) 对不同阶段的SE进行分析,仅在有效的部分加SE,减小计算量。

图片:

2016-ICLR-DILATED CONVOLUTIONS

论文:MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS

特点:

核心:卷积操作上的创新,卷积核在feature maps 上间隔取样进行卷积

1) 将原先架构中卷积操作改为l-dialted conv,通过0-padding实现。

2) 初始化进行改进,去掉pooling和stride layers.

3) 通过卷积操作扩大感受野,不使用pooling,不减小图片分辨率。

4) 并非对卷积核进行改造,而是对卷积操作进行改造。

图片:

2017-CVPR-DRN

论文:Dilated Residual Networks

特点:

1)将ResNet与其之前研究的Dilated Convolution相结合的结果。

2)在ResNet基础上进行改进,4,5层消除subsampling(striding)操作,增加dilated convolution。=>最终28*28(基本可分辨场景)

3) 改善gridding artifacts:消除max pooling(前三层内),增加7,8层,消除7,8层的残差连接。

4)Dilated Convolutions保持原有网络的感受野(Receptive Field),又不损失图像空间的分辨率。

图片:

Mulanshine