递归神经网络中的目标传播PPT

目标传播（Target Propagation）是一种在递归神经网络（RNN）中用于提高长期依赖问题的解决能力的技术。在传统的循环神经网络（RNN）中，长...

目标传播（Target Propagation）是一种在递归神经网络（RNN）中用于提高长期依赖问题的解决能力的技术。在传统的循环神经网络（RNN）中，长距离依赖问题通常是由于梯度消失或梯度爆炸导致的。在处理长序列时，这个问题尤其严重，因为远距离的信息需要在多个时间步长之间传递，而这个过程中可能会发生信息的严重衰减或爆炸。目标传播通过引入一个额外的“记忆”参数来解决这个问题，这个记忆参数被用来保存之前的状态信息，并将其添加到当前状态的计算中。这样，网络就可以在处理当前输入的同时，参考之前的状态信息，解决了长距离依赖问题。目标传播的原理目标传播的基本思想是将RNN的当前状态和之前的状态信息结合起来，以产生更好的模型表现。这通常通过引入一个额外的“记忆”或“状态”参数来实现，这个参数被用来保存并在需要时重用之前的状态信息。在传统的RNN中，每个时间步的状态是基于当前输入和上一个时间步的状态计算的，形式上可以表示为：其中，h_t 是当前时间步的状态，h_{t-1} 是上一个时间步的状态，x_t 是当前时间步的输入。f() 是RNN的模型函数。而在使用目标传播的RNN中，我们引入了一个额外的记忆参数m_t，计算形式变为：其中，g() 是记忆函数的模型。这个记忆函数会根据上一个时间步的状态和当前时间步的输入生成一个新的状态，这个状态被用来帮助计算当前时间步的状态。目标传播的变体目标传播有很多变体和改进方法，这些方法主要围绕如何更有效地利用和更新记忆参数。门控循环单元（GRU）：GRU是目标传播的一个变体，它通过引入两个门（更新门和重置门）来控制记忆参数的更新。这两个门都是基于当前输入和上一个时间步的状态计算的，它们的结果被用来更新或重置RNN的记忆参数。具体来说，更新门的结果决定了有多少信息应该被添加到记忆中，而重置门的结果决定了记忆中哪些信息应该被丢弃。GRU的公式可以表示为：其中，r_t 和 z_t 是更新门和重置门的输出，h'_t 是GRU的候选状态，h_t 是GRU的最终状态。W, W_r, W_z, W_hr, W_hz 是GRU的权重参数，b, b_r, b_z, b_hr, b_hz 是GRU的偏置参数。长短期记忆网络（LSTM）：LSTM是另一种使用目标传播技术的RNN变体。与GRU不同，LSTM引入了两个额外的门（输入门和遗忘门）以及一个“记忆单元”来处理长期依赖问题。输入门决定了哪些新信息应该被添加到记忆中，而遗忘门决定了哪些旧信息应该被遗忘。记忆单元则被用来临时存储信息，以便在之后的处理中使用。LSTM的公式可以表示为：