Название: Измерение информации
Вид работы: реферат
Рубрика: Информатика
Размер файла: 90.27 Kb
Скачать файл: referat.me-132934.docx
Краткое описание работы: Реферат на тему: Измерение информации. Объемный и вероятностный подход. Выполнил: ученик 10 класса Школы №52 Ибрагимов Орхан. Содержание. Введение………………………………………….3
Измерение информации
Реферат на тему: Измерение информации.
Объемный и вероятностный подход.
Выполнил: ученик 10а класса
Школы №52
Ибрагимов Орхан.
Содержание.
Введение………………………………………….3
Вероятностный подход………………………….4
Таблица. Частотность букв русского языка…... 5
Объемный подход……………………………….6
Список используемой литературы……………..7
Введение.
Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу.
Вероятностный подход
Рассмотрим в качестве примера опыт, связанный с бросанием правильной игральной .кости, имеющей N граней (наиболее распространенным является случай шестигранной кости: N = 6). Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1,2,... N.
Введем в рассмотрение численную величину, измеряющую неопределенность -энтропию (обозначим ее Н). Величины N и Н связаны между собой некоторой функциональной зависимостью:
H = f ( N ) , (1.1)
а сама функция f является возрастающей, неотрицательной и определенной (в рассматриваемом нами примере) для N = 1, 2,... 6.
Рассмотрим процедуру бросания кости более подробно:
1) готовимся бросить кость; исход опыта неизвестен, т.е. имеется некоторая неопределенность; обозначим ее H1;
2) кость брошена; информация об исходе данного опыта получена; обозначим количество этой информации через I;
3) обозначим неопределенность данного опыта после его осуществления через H2. За количество информации, которое получено в ходе осуществления опыта, примем разность неопределенностей «до» и «после» опыта:
I = H1 - H2 (1.2)
Очевидно, что в случае, когда получен конкретный результат, имевшаяся неопределенность снята (Н2 = 0), и, таким образом, количество полученной информации совпадает с первоначальной энтропией. Иначе говоря, неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта. Заметим, что значение Н2 могло быть и не равным нулю, например, в случае, когда в ходе опыта следующей выпала грань со значением, большим «З».
Следующим важным моментом является определение вида функции f в формуле (1.1). Если варьировать число граней N и число бросаний кости (обозначим эту величину через М), общее число исходов (векторов длины М, состоящих из знаков 1,2,.... N ) будет равно N в степени М:
X=NM . (1.3)
Так, в случае двух бросаний кости с шестью гранями имеем: Х = 62 = 36. Фактически каждый исход Х есть некоторая пара (X1, X2), где X1 и X2 - соответственно исходы первого и второго бросаний (общее число таких пар - X).
Таблица 1.3. Частотность букв русского языка
i |
Символ |
Р(i ) |
i |
Символ |
P(i ) |
i |
Символ |
Р(i ) |
1 |
Пробел |
0,175 |
13 |
0,028 |
24 |
Г |
0.012 |
|
2 |
0 |
0,090 |
14 |
М |
0,026 |
25 |
Ч |
0,012 |
3 |
Е |
0,072 |
15 |
Д |
0,025 |
26 |
И |
0,010 |
4 |
Ё |
0,072 |
16 |
П |
0,023 |
27 |
X |
0,009 |
5 |
А |
0,062 |
17 |
У |
0,021 |
28 |
Ж |
0,007 |
6 |
И |
0,062 |
18 |
Я |
0,018 |
29 |
Ю |
0,006 |
7 |
Т |
0,053 |
19 |
Ы |
0,016 |
30 |
Ш |
0.006 |
8 |
Н |
0,053 |
20 |
З |
0.016 |
31 |
Ц |
0,004 |
9 |
С |
0,045 |
21 |
Ь |
0,014 |
32 |
Щ |
0,003 |
10 |
Р |
0,040 |
22 |
Ъ |
0,014 |
33 |
Э |
0,003 |
11 |
В |
0,038 |
23 |
Б |
0,014 |
34 |
Ф |
0,002 |
12 |
Л |
0,035 |
Объемный подход
В двоичной системе счисления знаки 0 и 1 будем называть битами (от английского выражения Binary digiTs - двоичные цифры). Отметим, что создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).
Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один, байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта - мегабайт (Мбайт), а 1024 мегабайта - гигабайт (Гбайт).
Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обязательно совпадают, при этом кибернетическое количество информации не может быть больше объемного.
В дальнейшем тексте данного учебника практически всегда количество информации понимается в объемном смысле.
Список используемой литературы.
Учебник Информатики и ИКТ 10-11 класс ( И.Г.Семакин, Е.К.Хеннер)
Сайт http://www.sitereferatov.ru
Похожие работы
-
АСУ ТП приготовления водо-спиртовой смеси
Введение Особенности и преимущества разрабатываемой автоматизированной системы управления технологическим процессом приготовления водо-спиртовой смеси:
-
Мониторы, применение
Российский Новый Университет РЕФЕРАТ на тему: «Монитор» Проверил: Выполнил (а): _________________ __________________ _________________ __________________
-
Оптимальный домашний компьютер
Кировский экономико-правовой лицей Кафедра математики и информатики Оптимальный домашний компьютер Выполнил ученик 9В класса Чумаченко Тарас Научный руководитель:
-
Разработка универсального шестиканального термометра
Разработка прибора для измерения температуры, передающего параметры через последовательный интерфейс RS-232. Создание принципиальной и электрической схем прибора, программы для микроконтроллера и реальной модели универсального шестиканального термометра.
-
Устройство для измерения температуры в индустриальных системах и разработка программы для вывода
Министерство общего и профессионального образования Российской Федерации. Государственный университет систем управления и радиоэлектроники. Кафедра промышленной электроники (ПрЭ)
-
Изучение характеристик учебного стенда Стенд по защите от утечки информации по телефонной линии
Федеральное агентство по образованию РФ Пензенский государственный университет Кафедра «Информационная безопасность систем и технологий» ОТЧЕТ
-
Программирование линейных алгоритмов
Реферат по теме: «» Ученика 9-г класса средней школы №150 МОУ СОШ г. Челябинска Бологова Дениса 2011г. Содержание. Понятие алгоритмических структур.
-
Работа со структурами в языке программирования Си
Лабораторная работа №6 “Работа со структурами в языке программирования Си++” Цель работы: познакомиться с понятием структуры и структурной переменной. Научиться создавать массивы структур и работать со вложенными структурами.
-
Создание проекта с использованием программы GeniDAQ и контроллеров серии АДАМ-4000
Министерство образования РТ Альметьевский нефтяной институт Кафедра АИТ Лабораторная работа «СОЗДАНИЕ ПРОЕКТА С ИСПОЛЬЗОВАНИЕМ ПРОГРАММЫ GeniDAQ И КОНТРОЛЛЕРОВ СЕРИИ АДАМ-4000»
-
Подходы к измерению количества информации. Мера Хартли
1. Подходы к измерению количества информации. Мера Хартли. Современная наука о свойствах информации и закономерностях информационных процессов называется теорией информации. Содержание понятия "информация" можно раскрыть на примере двух исторически первых подходов к измерению количества информации: подходов Хартли и Шеннона: первый из них основан на теории множеств и комбинаторике, а второй - на теории вероятностей.