ТЕОРИЯ ИНФОРМАЦИИ: ВОПРОСЫ К ЗАЧЕТУ

1) Предмет кибернетики и ее основные разделы. Кибернетические системы.
   Основоположники кибернетики и ТИ. Основная категория кибернетики.
   Место ТИ среди современных наук. Предмет ТИ.
2) Виды информации. Приближение непрерывной информации дискретной. Теорема о
   выборках. ЦАП и АЦП.
3) Хранение и обработка информации. Виды памяти, АВМ и ЦВМ. Единицы измерения
   информации. Последовательный и параллельный способы передачи информации.
4) Базовые понятия ТИ: информация, канал связи и его емкость, шум,
   кодирование. Виды кодирования. Схема передачи сообщения в ТИ.
5) Общая схема передачи информации. Единицы измерения скорости передачи
   информации. Типичные современные и перспективные каналы связи.
   Оценка емкости канала связи. Теоретические пределы скорости передачи
   информации для различных диапазонов электромагнитных волн.
6) Формализация знаний. Таблицы кодировки. ASCII и расширенный ASCII.
7) Состав математической теории ТИ. Примеры интуитивных мер информации.
   История возникновения точной меры информации. Измерение информации по
   Шеннону для дискретных и непрерывных случайных величин.
8) Информационная мера Шеннона и ее свойства. Энтропия дискретных случайных 
   величин, ее свойства. Смысл энтропии Шеннона.
9) Примеры измерения информации. Соответствие меры информации
   Шеннона экспериментальным данным.
10) Семантическая информация.
11) Сжатие информации: цели, теоретические пределы и примеры. Метод
    блокирования.
12) Примеры простейших статистических алгоритмов сжатия информации, 
    Шеннона-Фэно и Хаффмена.
13) Арифметическое кодирование. 
14) Адаптивное кодирование Хаффмена. 
15) Адаптивное арифметическое кодирование.
16) LZ77, LZSS.
17) LZ78, LZW.
18) Способы повышения степени сжатия информации. Невозможность идеального
    архиватора.
19) Виды файлов, содержащих сжатые данные. Сжатие информации с потерями.
20) Информационные каналы связи, их виды. Линии связи. Устройства канала.
    Задержка сигнала во времени. Математическая модель канала связи.
21) Емкость канала связи. 
22) Кодирование FM, MFM и RLL.
23) Теорема Шеннона и обратная ей теорема.
24) Помехозащитное кодирование. Простейшие помехозащитные коды. Двоичный
    симметричный канал. Теорема о вероятности передачи n бит с k ошибками.
25) Систематические, блочные, последовательные и двоичные (m,n)-коды. Функция 
    ошибок. Классы помехозащитных кодов.
26) Код с проверкой четности. Код с тройным повторением.
27) Блочный код для исправления и обнаружения ошибок.
28) Расстояние между двоичными словами и вес слова. Теоремы о кодах,
    обнаруживающих или исправляющих все ошибки кратности, не большей 
    заданной.
29) Нижняя граница Хэмминга и верхняя граница Варшамова-Гильберта.
30) Строки ошибок. Матричное кодирование, его преимущества. Граница Плоткина. 
31) Групповые коды. Теорема о минимальном расстоянии между кодовыми словами
    в групповых кодах.
32) Декодирование групповых кодов. Лидеры.
33) Совершенные коды. Код Хэмминга.
34) Квазисовершенные коды. Построение квазисовершенного кода, исправляющего
    одну ошибку.
35) Полиномиальные коды. Код Голея.
36) Коды Боуза-Чоудхури-Хоккенгема.
37) Контрольные суммы и коды циклического избыточного контроля.
38) Простейшие шифры, подстановки и перестановки. Криптографические системы 
    с ключевым словом и их недостатки.
39) ``Открытые'' криптосистемы, их теоретические основания и недостатки.
    Криптосистема без передачи ключей.
40) Криптосистема с открытым ключом. 
41) Электронная подпись. 
42) Стандарт DES/AES.
43) Текстовые данные Internet. Типичные форматы сжатия. UUENCODE.
44) HTML.
45) SGML. XML. Postscript. PDF.
46) TeX и DVI.