Дообучение Llama на своих данных

Fine-tuning моделей Llama с помощью LoRA, Unsloth и других инструментов.

Подготовка данных для fine-tuning

[TODO: Формат данных (JSONL, ShareGPT), качество vs количество]

Fine-tuning с LoRA/QLoRA

[TODO: Настройка ранга LoRA, learning rate, количество эпох]

Unsloth: ускорение fine-tuning

[TODO: Установка Unsloth, пример fine-tuning Llama 3, экономия памяти]

Оценка и использование дообученной модели

[TODO: Тестирование, экспорт в GGUF, интеграция с Ollama]

Проверьте себя

[TODO: 2-3 вопроса для самопроверки]

Дополнительные ресурсы

[TODO: Ссылки на материалы для углублённого изучения]