DenseNet详解
DenseNet是2017年被提出的，其主要创新在于从特征重用角度设计拓扑结构。
github地址为：https://github.com/liuzhuang13/DenseNet
网络结构
DenseNet实际上是通过层间互联实现特征重用的，其基本结构Dense模块如下图所示：
从中可以看出，模块中层与层之间互相连接，每层网络都可以将前几层的特征映射作为额外输入，然后传递给其后所有层。此种前馈传播方式可以保证，网络中所有层之间都能进行信息流动，从而最大限度地保留所需要的信息，避免了特征的冗余学习。另外，由于每层网络都与最后的分类器直接相连，因此在利用反向传播方法训练时，损失函数的梯度也可以被反馈到浅层，从而避免梯度消失，加速网络训练过程，甚至可以隐式地监督每层网络去学习更具区分性的特征。
DenseNet的整体结构如下图所示，共有三种Dense模块，每个模块间存在卷积层与池化层，用以改变特征映射尺寸。
网络参数
该模型的详细参数如下所示，其中1x1卷积核的使用可以减少输入 3x3卷积核的特征映射数目，从而减少网络参数量。
总结
原文通过实验证明DenseNet可以持续加深到数百层而不会遇到优化困难，并且随着参数的增长其性能也不断提高。与ResNet相比，达到相同性能时所需的参数更少。