CuDNNGRU一个时间步 swish激活函数 RNN的初始隐藏状态(rnn initial hidden state)

RNN的初始隐藏状态一般是0向量或随机，有人也把他们看成参数去学习
具体到CuDNNGRU，初始隐藏状态是0向量，这个时候化简，就只剩下一个更新门Z，
Z = σ(WzX+bz)
H候选 = tanh(WhX+bh)
H = Z*H候选
这个整体可以看成一个激活函数，专门有文章对其介绍
Activation Functions Swish:x · σ(βx)
一个称作swish的激活函数