Единицы измерения информации. Формула Хартли. Формула Шеннона.


В качестве единицы информации условились принять один бит (англ. bit - binary, digit - двоичная цифра). Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений.
В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.
Одним битом могут быть выражены два понятия: 0 или 1 (да или нет, черное или белое, истина или ложь и т.п.).
Если количество битов увеличить до двух, то уже можно выразить четыре различных понятия:
00 01 10 11
Тремя битами можно закодировать восемь различных значений:
000 001 010 011 100 101 110 111
Увеличивая на единицу количество разрядов в системе двоичного кодирования, мы увеличиваем в два раза количество значений, которое может быть выражено в данной системе, то есть общая формула имеет вид:

N=2m

где N - количество независимых кодируемых значений; m - разрядность двоичного кодирования, принятая в данной системе. Бит - слишком мелкая единица измерения. На практике чаще применяется более крупная единица - байт, равная восьми битам.
Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера: 256=2^8

Широко используются также ещё более крупные производные единицы информации:

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

Количество информации, которое вмещает один символ N-элементного алфавита, определяется по формуле Хартли:
N=2i
Формула Шеннона:

где I - количество информации;
N - количество возможных событий;
рi - вероятность i-го события.


<-Предыдущая |Следующая->
Вопросы


Работа Магомеда М.А.

Hosted by uCoz