Трансформеры и эпоха LLM

Архитектура Transformer, Attention Is All You Need, GPT, BERT и появление больших языковых моделей.

Статья «Attention Is All You Need» (2017)

[TODO: Что предложила команда Google, почему трансформеры выигрывают у RNN]

GPT: от GPT-1 до GPT-4

[TODO: Эволюция семейства GPT, масштабирование параметров,涌现 (emergence)]

BERT и双向 модели

[TODO: BERT,双向训练, Fine-tuning для NLP-задач]

Современные LLM: Llama, Claude, Gemini

[TODO: Open-source vs закрытые модели, размеры, возможности]

Проверьте себя

[TODO: 2-3 вопроса для самопроверки]

Дополнительные ресурсы

[TODO: Ссылки на материалы для углублённого изучения]