Transfer Learning и Fine-tuning

Знание переносимо: стратегии переноса предобученной модели на новую задачу — от заморозки слоёв до полной тонкой настройки.

Transfer Learning: зачем переиспользовать знания

[TODO: Предобученные модели, почему обучение с нуля дороже, аналогия с опытом человека]

Стратегии переноса: заморозка слоёв и новая голова

[TODO: Feature extraction — замораживаем основу, обучаем только последний слой; когда этого достаточно]

Full Fine-tuning и PEFT

[TODO: Дообучение всех весов против параметр-эффективных методов: LoRA, адаптеры; связь с уроком 44]

Когда какую стратегию выбирать

[TODO: Размер датасета, похожесть задач, доступное железо — таблица решений]

Проверьте себя

[TODO: 2-3 вопроса для самопроверки]

Дополнительные ресурсы

[TODO: Ссылки на материалы для углублённого изучения]