残差连接

 

残差连接就是如图所示的结构

图中第一层的输入x经过一次线性变换，一次非线性变换，再经过第二层一次线性变换，再非线性变换之前 加上之前的输入x，再进行非线性变换，F(x)与x维度一样才能线性叠加，否则需要一个权重矩阵进行转换。