Positional Encoding

Позиционное кодирование — как Transformer узнаёт о порядке токенов в последовательности.

Зачем нужно позиционное кодирование

[TODO: Почему Transformer не имеет внутренней информации о порядке токенов]

Синусоидальное позиционное кодирование

[TODO: Формула, интуиция — разные частоты для разных позиций]

Обучаемое позиционное кодирование

[TODO: Learned positional embeddings, сравнение с синусоидальным]

RoPE и современные подходы

[TODO: Rotary Position Embedding, ALiBi, абсолютные vs относительные позиции]

Проверьте себя

[TODO: 2-3 вопроса для самопроверки]

Дополнительные ресурсы

[TODO: Ссылки на материалы для углублённого изучения]