Процесс обучения: батчи, эпохи, learning rate

Ключевые гиперпараметры обучения — batch size, epochs, learning rate и их влияние на результат.

Эпохи и итерации

[TODO: Что такое эпоха, когда останавливать обучение, early stopping]

Batch Size

[TODO: Маленькие vs большие батчи, влияние на generalization и скорость]

Learning Rate

[TODO: Слишком большой vs слишком маленький, тепловая карта lr]

Learning Rate Schedulers

[TODO: Step decay, cosine annealing, warmup, циклические scheduler]

Проверьте себя

[TODO: 2-3 вопроса для самопроверки]

Дополнительные ресурсы

[TODO: Ссылки на материалы для углублённого изучения]