Зачем нужна функция активации
[TODO: Линейность vs нелинейность, зачем нелинейность обязательна для глубоких сетей]
Sigmoid и Tanh
[TODO: Формулы, свойства, проблема затухающих градиентов]
ReLU и его варианты
[TODO: ReLU, Leaky ReLU, PReLU, ELU, GELU — сравнение и применение]
Softmax для классификации
[TODO: Преобразование логитов в вероятности, кросс-энтропийная потеря]
Проверьте себя
[TODO: 2-3 вопроса для самопроверки]
Дополнительные ресурсы
[TODO: Ссылки на материалы для углублённого изучения]