Энтропия Шеннона
[TODO: Определение энтропии, интуиция — мера неопределённости, формула]
Кросс-энтропия
[TODO: Кросс-энтропия как функция потерь, связь с log-правдоподобием]
KL-расхождение (Kullback-Leibler Divergence)
[TODO: Разница между двумя распределениями, асимметричность]
Информационная теория и ИИ
[TODO: Кодирование, сжатие данных, mutual information в нейросетях]
Проверьте себя
[TODO: 2-3 вопроса для самопроверки]
Дополнительные ресурсы
[TODO: Ссылки на материалы для углублённого изучения]