Различные подходы к измерению информации

Количество инфы – это мера снятия неопределённости одной случайной величины в итоге наблюдения за другой.

Количественно выраженная неопределённость состояния получила заглавие энтропии. При получении инфы миниатюризируется неопределённость, т.е. энтропия системы.

В информатике, обычно, измерению подвергается информация, представленная дискретным сигналом.

Различают последующие подходы к измерению инфы: [1]

1. Структурный подход.

Определяет количество инфы обычным Различные подходы к измерению информации подсчетом информационных частей, составляющих сообщение. Применяется для оценки способностей запоминающих устройств, объемов передаваемых сообщений, инструментов кодировки без учета статистических черт их эксплуатации.

В рамках структурного подхода выделяют три меры инфы:

1) геометрическая – определяет очень вероятное количество инфы в данных объемах.

Единица измерения является информационный элемент.

Мера может быть Различные подходы к измерению информации применена для определения информационной емкости памяти компьютера. В данном случае в качестве информационного элемента выступает малая единица хранения – бит.

2) комбинаторная – оценивает возможность представления инфы с помощью разных композиций информационных частей в данном объеме.

Употребляет типы композиций частей и надлежащие математические соотношения, которые приводятся в одном из разделов дискретной арифметики Различные подходы к измерению информации – комбинаторике.

Комбинаторная мера может употребляться для оценки информационных способностей некого автомата, который способен генерировать дискретные сигналы (сообщения) в согласовании с определенным правилом комбинаторики. Пусть, к примеру, есть автомат, формирующий двузначные десятичные целые положительные числа (начальное огромное количество информационных частей {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}). В согласовании с положениями комбинаторики, данный автомат генерирует размещения (различаются числа, к Различные подходы к измерению информации примеру, 34 и 43) из 10 частей (употребляются 10 цифр) по 2 (по условию задачки, формируются двузначные числа) с повторениями (разумеется, вероятны числа, состоящие из схожих цифр, к примеру, 33). Тогда можно оценить, сколько разных сообщений (двузначных чисел) может сформировать автомат, по другому говоря, можно оценить информационную емкость данного устройства: Р(102) = 102 = 100.

3) аддитивная, либо мера Хартли

Эта мера Различные подходы к измерению информации предложена в 1928 году южноамериканским ученым Хартли, потому имеет 2-ое заглавие – мера Хартли.

Хартли в первый раз ввел особое обозначение для количества инфы – I и предложил последующую логарифмическую зависимость меж количеством инфы и мощностью начального алфавита:

,

где I – количество инфы, содержащейся в сообщении;

l – длина сообщения;

h – мощность начального Различные подходы к измерению информации алфавита.

При начальном алфавите {0,1}; l = 1; h = 2 и основании логарифма, равном 2, имеем

I = 1 · log2 2 = 1.

Данная формула даёт аналитическое определение бита (BIT – BInary digiT) по Хартли: это количество инфы, которое содержится в двоичной цифре.

Единицей измерения инфы в аддитивной мере является бит.

Приведём пример.

Нужно высчитать количество инфы, которое содержится в Различные подходы к измерению информации шестнадцатеричном и двоичном представлении ASCII–кода для числа 1.

В согласовании с таблицей ASCII–кодов имеем: шестнадцатеричное представление числа 1 – 31, двоичное представление числа 1 – 00110001.

Тогда по формуле Хартли получаем:

для шестнадцатеричного представления I = 2 · log2 16 = 8 бит

для двоичного представления I = 8 · log2 2 = 8 бит

Таким макаром, различные представления ASCII–кода для 1-го знака содержат однообразное количество инфы Различные подходы к измерению информации, измеренной аддитивной мерой.

2. Статистический подход.

Учитывает возможность возникновения сообщений: более информативным считается то сообщение, которое наименее возможно, т.е. наименее всего ожидалось. Используется при оценке значимости получаемой инфы.

В 30–х годах ХХ века южноамериканский ученый Клод Шеннон предложил связать количество инфы, которое несет внутри себя некое сообщение, с вероятностью Различные подходы к измерению информации получения этого сообщения.

Возможность p – количественная априорная (т.е. популярная до проведения опыта) черта 1-го из исходов (событий) некого опыта. Измеряется в границах от 0 до 1. Если заблаговременно известны все финалы опыта, сумма их вероятностей равна 1, а сами финалы составляют полную группу событий. Если все финалы могут свершиться с схожей толикой Различные подходы к измерению информации вероятности, они именуются равновероятными.

3. Семантический подход.

Учитывает необходимость и полезность инфы. Используется при оценке эффективности получаемой инфы и ее соответствия действительности.

4. Вероятностный подход.

Р. Хартли в 1928 г. процесс получения инфы рассматривал как выбор 1-го сообщения из конечного наперёд данного огромного количества из N равновероятных сообщений, а количество инфы I Различные подходы к измерению информации, находящееся в избранном сообщении, определял как двоичный логарифм N.

Согласно формуле Р. Хартли:

количество инфы, которое вмещает один знак N–элементного алфавита, равно log2 N.

Разглядим пример.

Допустим, необходимо угадать одно число из набора чисел от единицы до 100. По формуле Хартли можно вычислить, какое количество инфы для этого требуется Различные подходы к измерению информации: I = log2 100 = 6,644.

Таким макаром, сообщение о правильно угаданном числе содержит количество инфы, примерно равное 6,644 единицы инфы.

Клод Шеннон предложил в 1948 г. формулу определения количества инфы, учитывающую вероятную неодинаковую возможность сообщений в наборе.

Каждому сигналу присваивалась определённая возможность его возникновения.

Чем меньше возможность возникновения того либо другого сигнала, тем Различные подходы к измерению информации больше он несёт инфы.

Формула К. Шеннона:

где pi – возможность возникновения i–го сигнала N – количество вероятных сигналов

Количество инфы тут представляется как итог выбора из набора вероятных вариантов.

В качестве единицы инфы Клод Шеннон предложил принять один бит.

5. Алфавитный подход.

Согласно Колмогорову, количество инфы, содержащейся в последовательности знаков, определяется Различные подходы к измерению информации мало вероятным количеством двоичных символов, нужных для кодировки этой последовательности безотносительно к содержанию представленного ею сообщения.

При всем этом для кодировки более нередко употребляется двоичный алфавит, состоящий из нуля и единицы, это так называемое двоичное кодирование инфы.


razmer-poryadok-i-sroki-oplati-voznagrazhdeniya-ispolnitelyu.html
razmer-posobiya-po-vremennoj-netrudosposobnosti.html
razmer-predelnoj-stoimosti-informacionnij-byulleten-administracii-sankt-peterburga-5-656-15-fevralya-2010-g.html