Описание:Даны основные определения теории информации: количество информации и энтропии распределения по Хартли и Шеннону. Рассмотрены предельные свойства информации и энропии бесконечных последовательностей. Приведены методы кодирования сообщений с ошибками и без ошибок. Введено понятие избыточности и рассмотрена задача о сжатии сообщений.Описаны статистические методы оценки энтропии и избыточности. Указанная теория применена к оценкам количества информации речевых процессов.