循环神经网络

本章从基础的简单结构循环神经网络开始,介绍了循环神经网络的计算过程、如何使用TensorFlow 去实现、常用的循环神经网络结构,以及循环神经网络所面临的问题——长期依赖问题及其解决办法。

本章还介绍了两种基于门控制的循环神经网络,这是目前在循环神经网络里使用较多的网络结构。这两种网络结构通过在前后两个网络状态之间增加线性的依赖关系,在一定程度上解决了梯度消失和梯度爆炸的问题。最后还详细地介绍了注意力模型。
本章内容:
1. 简单循环神经网络及基本结构
2. 循环神经网络的计算和参数更新
3. 常用的循环神经网络结构
4. TensorFlow实现循环神经网络
5. 循环神经网络长期依赖问题及优化
6. LSTM(长短期记忆网络)的结构与计算
7. GRU(门控循环单元)网络结构与计算
8. TensorFlow实现LSTM和GRU
9. 循环神经网络的应用
10. 浅谈注意力模型