![]() |
| |||
gradient clipping (Поэтому в жизни реализации LSTM, как и RNN, обычно используют отсечение градиентов (gradient clipping), искусственно запрещая им расти далее определенных значений. Чтобы градиенты в рекуррентной сети не взрывались, их обязательно нужно купировать, обрезать до некоторого максимально допустимого размера.
|