 |
| Russian | English |
| затухающий градиент | vanishing gradient (clck.ru dimock) |
| локальный градиент | local gradient (нейрона  clck.ru dimock) |
| нелинейный алгоритм сопряжённых градиентов | nonlinear conjugate gradient algorithm (clck.ru dimock) |
| отсечение градиентов | gradient clipping (Поэтому в жизни реализации LSTM, как и RNN, обычно используют отсечение градиентов (gradient clipping), искусственно запрещая им расти далее определенных значений. Чтобы градиенты в рекуррентной сети не взрывались, их обязательно нужно купировать, обрезать до некоторого максимально допустимого размера.
clck.ru dimock) |
| подход на основе стохастического градиента | stochastic gradient approach (стратегия обучения для модели HME (иерархическое смешение мнений экспертов)
clck.ru dimock) |