4 задачи по основам количественной теории информации

Задача 1

Источник сообщений выдает символы из алфавита A = {ai}, i = 1,…,4 с вероятностями p1 = 0.3, p2 = 0.4, p3 = 0.2, p4 = 0.1. Найти энтропию и избыточность источника сообщений.

Задача 2

Рассмотрим следующий процесс: мы замеряем некоторую величину ξ, которая является количеством фотонов, которые регистрируются фоточувствительной пластиной. Пусть источник света в единицу времени генерирует 128 фотона. Каждый фотон с вероятностью 0.3 может рассеяться на частицах среды, находящейся между источником и пластиной и не достичь фоточувствительной пластины. С вероятностью 0.4 фотон, достигший фоточувствительной пластины, может быть зарегистрирован пластиной. Какое количество информации содержится в сообщении, что зарегистрировано 12 фотонов?

Задача 3

Первичный алфавит состоит из трех знаков с вероятностями p1=0.3, p2=0.4, p. При 0.3+0.4+p=1, значит p = 0.3. Для передачи по каналу без помех используется равномерный двоичный код. Средняя длительность передачи одного элемента сообщения в канале τ=10-6 с. Определить пропускную способность канала и скорость передачи информации. Можно ли приблизить скорость передачи к пропускной способности данной системы?

Задача 4

Сколько информационных и проверочных символов содержится в двоичном коде, исправляющем ровно 2 ошибки при общем числе разрешенных кодовых комбинаций, равном 128.