Измерение информации: алфавитный подход и формула Хартли

В информатике и вычислительной технике важнейшей задачей является точное измерение объема хранимых и передаваемых данных. Существуют два подхода к измерению информации: содержательный (основанный на уменьшении неопределенности знаний человека) и алфавитный (технический).

Алфавитный подход не учитывает смысловое содержание текста (является ли текст научной статьей или случайным набором букв). Он рассматривает сообщение как простую цепочку символов некоторого фиксированного алфавита.

Алфавит — это конечное упорядоченное множество всех символов (букв, цифр, знаков препинания, скобок и пробела), используемых для составления сообщений на данном языке.

Мощность алфавита (N) — это полное количество всех различных символов, входящих в данный алфавит. Например, в русском алфавите без буквы «ё» 32 буквы, а с учетом заглавных букв, знаков препинания, цифр и пробела мощность алфавита печатной машинки составляет $N = 64$ или $N = 128$ символов.

В 1928 году американский инженер и ученый Ральф Хартли (Ralph Hartley) сформулировал фундаментальный закон: если все N символов алфавита встречаются в тексте равновероятно, то информационный вес одного символа (i) определяется соотношением:

$N = 2^i$

Отсюда информационный вес одного символа равен двоичному логарифму мощности алфавита:

$i = \log_2 N$ (бит).

Практические соответствия:

• При $N = 2$ символа (двоичный алфавит {0, 1}): $2 = 2^1 \implies i = 1$ бит;

• При $N = 4$ символа (нуклеотиды ДНК {А, Т, Г, Ц}): $4 = 2^2 \implies i = 2$ бита;

• При $N = 8$ символов: $8 = 2^3 \implies i = 3$ бита;

• При $N = 16$ символов (шестнадцатеричные цифры): $16 = 2^4 \implies i = 4$ бита;

• При $N = 32$ символа: $32 = 2^5 \implies i = 5$ бит;

• При $N = 64$ символа: $64 = 2^6 \implies i = 6$ бит;

• При $N = 256$ символов (таблица ASCII): $256 = 2^8 \implies i = 8$ бит = 1 байт.

Информационный объем текста (I) вычисляется как произведение общего количества символов в сообщении (K) на информационный вес одного символа (i):

$I = K \cdot i$

Если в тексте K символов и алфавит имеет мощность N, то полный объем равен:

$I = K \cdot \log_2 N$

Пример: Слово «ИНФОРМАТИКА» содержит $K = 11$ букв. Если оно составлено из алфавита мощностью $N = 32$ символа ($i = 5$ бит), то его информационный объем равен:

$I = 11 \cdot 5 = 55$ бит.

Поскольку бит — очень малая величина, в компьютерных технологиях используют кратные единицы, основанные на степенях двойки ($2^{10} = 1024$):

• 1 байт = 8 бит = $2^3$ бит;

• 1 Килобайт (Кбайт / KB) = 1024 байта = $2^{10}$ байт = 8192 бита;

• 1 Мегабайт (Мбайт / MB) = 1024 Кбайт = $2^{20}$ байт ≈ 1 миллион байт;

• 1 Гигабайт (Гбайт / GB) = 1024 Мбайт = $2^{30}$ байт ≈ 1 миллиард байт;

• 1 Терабайт (Тбайт / TB) = 1024 Гбайт = $2^{40}$ байт ≈ 1 триллион байт.

Правило перехода между единицами:

• Чтобы перевести из мелких единиц в крупные (биты → байты → Кбайты) — делим;

• Чтобы перевести из крупных единиц в мелкие (Кбайты → байты → биты) — умножаем.