Семантические, аксиоматические и численные основы информационных технологий. Часть 2
Информационные характеристики источников знаковых сообщений
Рассмотрим простейший статический источник знаковых («дискретных») сообщений — ДИС. Математически он представляется информационной моделью {U, P, I, S}, в которой U = {uj}1N — множество не равновероятных независимых элементарных сообщений. Согласно свойству аддитивности информации, количество информации, которое содержится в любой i‑й последовательности знаков (в предложении или в тексте) Si(n) = (ui1, ui2, …, uik, …, uin), выдаваемой источником ДИС, есть:
При большом значении n (n → ∞) каждый из знаков uj множества U = {uj}1N будет встречаться в сообщении Si(n) по многу раз. Если nij — количество знаков uj, встретившихся в i‑м сообщении (тексте) Si(n), то:
Если правую часть последнего равенства умножить и разделить на n, то приближенно (а при n → ∞ — точно) получим:
nij/n ≈ Pj
и
где I–(U) есть среднее значение количества информации, содержащейся в произвольном знаке u∈U данного источника ДИС, или удельная информативность ДИС, бит/знак:
Величину I–(U) К. Шеннон обозначил как H(U) и не очень удачно назвал энтропией («неопределенностью») источника ДИС [16], хотя смысл величины I–(U) = H(U) — вполне определенный: это среднее количество информации, содержащейся в знаках данного источника ДИС. К. Шеннон заимствовал термин «энтропия» из статистической механики американского физика-теоретика Дж. Гиббса (1839–1903). Забвение происхождения и смысла формулы для вычисления величины H(U), а также лингвистическая дву-смысленность термина «энтропия» привели к большой путанице в понятиях математической теории информации, несмотря на то, что еще в 1962 г. сотрудник по Белловским лабораториям и последователь Шеннона Дж. Пирс [3] отметил: «Чтобы понять, что такое энтропия в теории информации, лучше выкинуть из головы все, что хоть как-то связано с понятием энтропия, применяемым в физике».
Итак, удельная информативность I–(U), или энтропия H(U) источника знаковых («дискретных») сообщений, количественно характеризует математическую модель источника ДИС {U, P, I, S} на синтактическом уровне семиотики. По величине I–(U) ≡ H(U) можно объективно сравнивать «информационные мощности» различных источников ДИС и очень просто оценивать количество информации I(Si(n)), содержащейся в любом длинном сообщении Si(n):
I(Si(n)) ≈ nI–(U) = nH(U). (5)
Максимальной удельной информативностью I–max (бит/знак) обладает источник ДИС, у которого все элементарные сообщения (знаки) равновероятны:
P1 = P2 = … = PN = P0, (6)
где P0 = 1/N.
В этом случае:
Удельная информативность всех источников ДИС с алфавитом из N знаков лежит в пределах: 0 ≤ I–(U) ≤ logN.
Величина
DI = [logN–I–(U)] (8)
называется информационной избыточностью ДИС, а безразмерная величина
называется коэффициентом избыточности данного источника ДИС; его величина лежит в пределах [0 ≤ η(U) ≤ 1]. Величина η(U) показывает, в какой мере при том же количестве знаков N множества U = {uj}1N (алфавита U) источник ДИС мог бы производить больше среднего количества информации на один знак, чем это делает данный источник ДИС. Или: то же количество информации можно было бы производить с помощью меньшего количества знаков.
Если же «физическая реализация» любого знака uj из совокупности U занимает на носителе запоминающего устройства (на бумаге или в ПЗУ) один и тот же объем памяти (ПЗУ) или же площадь на листе печатного текста, то величина η(U) показывает, во сколько раз меньший объем памяти (или площадь листа текста) нужно было бы иметь для хранения данного количества информации, если бы знаки uj, j = 1, 2, …, N, в различных сообщениях встречались равновероятно (и независимо).
Это — первый практический результат формально-теоретических построений. Из него следует, что перед записью сообщения Si(n) в ОЗУ или ПЗУ его следует «тождественно» (то есть без потери синтактической информации) преобразовать (закодировать) так, чтобы сообщение Si(n) занимало на носителе ОЗУ или ПЗУ минимальный объем памяти.
Дальнейшие усилия исследователей были направлены на усложнение моделей источников «дискретных» (знаковых) сообщений и на поиски кодов, которые бы минимизировали избыточность естественных источников сообщений, то есть они решали проблему сжатия информации [15].
Потери информации в каналах связи.
Пятый постулат Шеннона
Следующей фундаментальной проблемой математической теории информации является минимизация потерь информации в информационных эрготехнических («человеко-машинных») системах (ЭТИС) при наличии в системе различных помех (в основном — в каналах электросвязи).
В простейшем варианте системы ЭТИС стохастичность канала связи можно характеризовать квадратной переходной матрицей порядка N:
П = ||Pjk; j, k = 1, 2, …, N||,
элементы которой Pjk = P(wk|uj) есть условные вероятности того, что входному (первичному) знаку uj∈U будет соответствовать (при сканировании произвольного текста) выходной символ wk∈W. При любом значении j = 1, 2, …, N соблюдается равенство:
то есть элементарное сообщение uj в любом случае как-то идентифицируется. (Решение на выходе системы связи: «Не знаю, что за знак был передан по каналу!» — не принимается.)
По формуле полной вероятности:
В общем случае матрица П — произвольная, с двумя ограничениями:
Спрашивается, сколько же информации о знаке uj∈U, поступившем на вход канала связи, содержится в выходном символе wk∈W?
Отсутствие в выходном символе wk информации о входном знаке uj соответствует случаю, когда вероятность Pjk появления на выходе канала связи символа wk не связана статистически с появлением знака uj на его входе, то есть когда P(uj|wk) = P(uj). В общем же случае К. Шеннон (неявно: [16]) предложил считать, что количество информации Ikj, содержащейся в выходном символе wk∈W о входном знаке uj∈U есть:
Ikj = log(Pjk/P′k). (11)
Поскольку это соотношение ниоткуда не следует, то его следует считать пятым постулатом теории информации и главным достижением Шеннона в этой области науки. Все дальнейшее в теории статических знаковых систем будет являться следствием формулировки этого постулата.
Среднее (на один входной знак) количество информации на выходе канала связи I–(U,П) (бит/знак) будем называть удельной информативностью статической системы ЭТИС и вычислять по формуле:
Надежность передачи информации по этому каналу связи от данного источника ДИС определяется коэффициентом информационной надежности такой системы передачи знаковой информации:
Максимальная надежность по всевозможным источникам ДИС определяется только переходной матрицей П = ||Pjk|| = ||P(wk|uj); j, k, = 1, 2, …, N|| и является собственной характеристикой информационной надежности канала связи χ(П).
Формулу для I–(U,П) можно записать в эквивалентной форме:
или
H(U,W) = H(U)–H(U|W),
где
Величину H(U|W) К. Шеннон, по аналогии с остаточной дисперсией в регрессионном анализе математической статистики, назвал «остаточной неопределенностью» (equivocation), то есть энтропией на выходе канала связи. (В сборнике [16] термин equivocation не совсем точно переведен как «ненадежность».)
Выражение для H(U,W) многие авторы, вслед за К. Шенноном, интерпретируют следующим образом. Если в канале связи отсутствуют помехи и матрица соответствия П — диагонализируемая (коэффициент надежности χ(П) = 1), то потери информации в канале связи не происходит, и до приема субъектом-ПИ некоторого элементарного сообщения (знака) uj неопределенность получения им одного из знаков uj∈U в среднем равна H(U). После приема некоторого знака uj∈U субъект-ПИ получил количество синтактической информации — Ij = –logPj, а неопределенность ситуации оказалась «снятой».
Если же в канале связи имеются помехи (0 ≤ χ(П) < 1), то при получении символа wk остается неопределенность (equivocation, буквально — «уклончивость от прямого ответа») относительно того, какой из знаков uj∈U был передан источником ДИС на самом деле. Поэтому среднее количество информации, получаемое на выходе канала связи на один знак источника ДИС, — I–(U,П) = = H(U)–H(U|W), а величину H(U|W), по аналогии с условной вероятностью P(uj|wk), называют условной энтропией входа канала связи. Это — энтропия (остаточная неопределенность) источника ДИС U при условии получения на выходе канала связи всевозможных символов wk∈W. При этом остаточную неопределенность H(U|W) еще нужно реализовать — разработкой соответствующего алгоритма присвоения символам {wk}1N значений знаков {uj}1N согласно принципу максимума апостериорной вероятности P(uj|wk). Тем не менее говорят, что (вообще): информация, получаемая субъектом-ПИ с помощью канала связи (при наличии в нем помех), есть снятая неопределенность, или негэнтропия.
Такая интерпретация аналогична законам сохранения в теоретической физике и не требует тщательного анализа структуры конкретной информационной эрготехнической системы и ее функционирования — и разработки соответствующих оптимальных алгоритмов ее работы.
Максимальное I–max(П), по всевозможным источникам ДИС, значение I–(U,П) не зависит от информационных характеристик подключаемого к каналу связи источника ДИС I–max(П) и может служить его собственной информационной характеристикой — вне зависимости от информационных характеристик подключаемого к нему и согласованного с ним источника ДИС. Поэтому величину I–max(П) будем называть удельной информационной емкостью статического канала связи, или просто емкостью канала связи, и обозначать как ε(П) ≡ I–max(П).
Если удельная информативность I–(U), или энтропия H(U) данного источника ДИС не более удельной информационной емкости ε(П) статического канала передачи дискретных сообщений, имеющего переходную матрицу П, то можно так закодировать знаки {uj}1N источника ДИС U, что передача длинных сообщений Si(n)(n >> 1) источника ДИС посредством статического канала связи будет почти безошибочной.
Если ε(П) < H(U), то не существует способа кодирования знаков {uj}1N, который бы позволил передавать информацию с коэффициентом информационной надежности бóльшим, чем χ(U,П) = ε(П)/H(U) (теорема 11 в [16]). Иначе, при H(U) ≥ ε(П) средняя потеря информации на один знак источника ДИС будет не меньше, чем разность Δ(U,П) = = H(U)–ε(П).
При произвольном источнике ДИС, имею-щем удельную информативность (энтропию) (4) — I–(U) ≡ H(U), любое длинное (n >> 1) сообщение (последовательность, текст) Si(n) = (ui1, ui2, …, uil, …, uin), несущее в себе количество информации I(Si(n)) ≈ nI–(U), будет передаваться по каналу связи, в котором имеются помехи и который обладает переходной матрицей П, в искаженном виде.
В результате действия в канале связи помех при передаче сообщения Si(n) длины n >> 1 на выходе канала мы получим максимально возможное, при данных источнике ДИС и канале связи, количество информации:
Iвых(Si(n)) ≈ nχ(П)H(U)
или
Iвых(Si(n)) ≤ nH(U).
То есть если бы в канале связи помехи отсутствовали, то данное количество информации Iвых(Si(n)) мы могли бы передать с помощью m = nχ(П) знаков; при этом m ≤ n.
Потеря информации в канале связи происходит из-за того, что выбранное нами оптимальное правило присвоения выходным символам {wk}1N значений входных знаков {uj}1N приводит к некоторому минимальному количеству ошибок, которые мы не обнаруживаем. Если бы мы обнаруживали эти ошибки (и не воспринимали бы ошибочные символы), а еще лучше — исправляли их, то с помощью последовательности Si(n) = (ui1, ui2, …, uil, …, uin) из nвходных знаков, где первые m = nχ(П) знаков информационные, а k = n–m = n[1–χ(П)] — проверочные, мы могли бы передавать по каналу связи с помехами почти безошибочно количество полезной информации (бит) — I(Si(n)) ≈ mI–(U).
При этом чем надежнее канал связи, тем меньший процент проверочных символов нужно включать в передаваемую последовательность Si(n) и тем меньше будет вероятность ошибочной идентификации знаков uj. Поскольку проверочные символы также подвержены в канале связи искажениям, то при χ(П) = 0 никакими «ухищрениями» мы не сможем исправить ту ситуацию, при которой апостериорная вероятность P(wk|uj) не связана с априорной P(uj), ибо соответствующие проверочные символы, подаваемые на вход канала связи, никак не повлияют на его выход. В симметричном бинарном канале связи в этом случае и информационные знаки, и проверочные символы будут идентифицироваться на выходе канала связи с вероятностью 1/2, то есть канал, согласно К. Шеннону, можно «смело заменить бросанием монеты».
Для того чтобы реализовать представленные формально-математические результаты, следует искусственно ввести избыточность при передаче сообщений {uj}1N с помощью проверочных символов, которые по определенному алгоритму, известному получателю ПИ (или зашитому в память декодера), «привязываются» к передаваемым (информационным) знакам {uj}1N или, лучше, к информационным блокам. Это называется помехоустойчивым, или канальным, или избыточным кодированием и аналогично передаче телефонных сообщений «по буквам»: «а» — Антон, «б» — Борис и т. п.
Сущность помехоустойчивого кодирования заключается во введении в закодированное сообщение Si(n) = wi1, wi2, …, win, почти не имеющее избыточности после прохождения сообщением кодера источника, некоторой «управляемой» избыточности. Задача помехоустойчивого кодирования заключается в добавлении к информационным символам первичных кодовых слов дополнительных символов таким образом, чтобы декодер сообщений мог бы найти и даже исправить ошибки, возникающие из-за воздействия помех при передаче закодированных сообщений по линиям электросвязи.
Итак: для того чтобы обеспечить надежную передачу дискретной (знаковой) информации с помощью заданной статической системы передачи информации при наличии в ее канале связи помех, необходимо, чтобы применяемый для этого помехоустойчивый код имел избыточность, не меньшую, чем информационная ненадежность канала связи.
В течение многих лет (1915–1998) математики (начиная с Р. У. Хэмминга [15]) проводили теоретические исследования в области помехоустойчивого (канального) кодирования и предложили множество всевозможных избыточных кодов с различными коэффициентами избыточности, а инженеры-разработчики успешно применяли их в различных системах передачи информации.
Количественная мера метрологической информации
Как охарактеризовать количество измерительной информации, вырабатываемой в процессе измерения некоторой величины, например напряжения u0(В), которая может принимать произвольное значение x = x0 на множестве действительных чисел (–∞ < x < ∞)?
К. Шеннон не проводил отдельного анализа этой ситуации, а постулировал [4]: «Энтропия дискретного множества вероятностей p1, …, pn была определена как H = –Σpilogpi. Аналогичным образом определим энтропию непрерывного распределения с функцией плотности распределения p(x) как:
Аналогичным образом поступил Н. Винер (1894–1964) [1].
Однако формально-математическое обобщение этого выражения для H на непрерывное распределение pα(x) случайной величины α приводит к следующему противоречию:
или
Бесконечность в последнем выражении обычно (из практических соображений) отбрасывают, а интеграл называют дифференциальной (относительной, сведенной) энтропией h(x).
Например, при гауссовском распределении pα(x) погрешностей измерений:
или
При этом функция h(x) становится отрицательной на промежутке 0 < σп < 0,242.
Чтобы устранить эти противоречия информационной меры метрологической информации, обратимся к аксиоматике теории информации. По аналогии со знаковой (семиотической) информацией мы должны потребовать следующее:
Полученная в результате однократного измерения информация I(x1) должна быть неотрицательной: I(x1) ≥ 0.
Чем меньше среднеквадратическая погрешность (СКП) σ1 измерительного прибора (прибор считаем откалиброванным, то есть полагаем x– = x0), тем точнее интервальная оценка (меньше «остаточная неопределенность») и тем больше информации мы получаем в результате однократного измерения x1 величины x0.
Если мы получили второе измерение x2 другим прибором, характеризующимся большей величиной СКП σ2 (σ2 > σ1), то I(x2) < I(x1).
Для обеспечения свойства аддитивности измерительной (метрологической) информации рассмотрим максимальное количество информации, которое можно извлечь из результатов двух независимых неравноточных измерений x1 и x2.
Будем искать оценку xˆ величины x0 в линейном виде: xˆ = a1x1+a2x2+b.
Чтобы оценка xˆ была несмещенной, то есть чтобы выполнялось равенство xˆ– = x0, нужно, чтобы математическое ожидание xˆ– оценки xˆ было равным измеряемой величине x0:
Отсюда
a1x–1+a2x–2+b = x0 (20)
или (a1+a2)x0+b = x0. (21)
Значит, для несмещенности оценки xˆ следует положить, что b = 0 и a1+a2 = 1.
Для того чтобы оценка была эффективной, необходимо и достаточно, чтобы коэффициенты a1 и a2 определялись равенствами [9]:
a1 = D1–1/(D1–1+D2–1),
a2 = D2–1/(D1–1+D2–1). (22)
Методом математической индукции можно доказать, что при произвольном значении
n > 2 оценка будет иметь следующие величины оптимальных весовых коэффициентов {ai}1n и минимальной дисперсии DΣ:
ai = DΣ/Di,
Следовательно, в общем случае n независимых неравноточных измерений (x1, x2, …, xi, …, xn) неизвестной величины x0 ее оптимальная оценка xˆвычисляется по формуле:
и имеет минимально возможную дисперсию:
На основании формулы (23) делаем вывод, что количественной мерой Ii измерительной (метрологической) информации в одномерном случае является обратная дисперсия погрешностей измерительного прибора Ii = 1/Di = σi–2, которая удовлетворяет всем четырем сформулированным выше постулатам теории информации. Это есть информационная мера Р. Фишера (1890–1962), которую он ввел еще в 1921 году.
Передача дискретных сообщений с помощью многоуровневых сигналов
Много десятилетий инженеры XIX века стремились повысить скорость передачи телеграфных сообщений разными методами, в том числе и за счет использования много-
уровневой телеграфии. Т. Эдисон (1847–1931) и Дж. Прескотт в 1873 г. изобрели четырехуровневый телеграф, а Г. Найквист (1889–1976) уже в XX веке (1924 г.) рассматривал многоуровневую телеграфию теоретически. Однако технически многоуровневую телеграфию удалось реализовать только в 1990‑х годах: в радиосистемах с многопозиционной амплитудной манипуляцией M‑ASK.
Рассмотрим задачу оценивания количества знаковой информации, которую может передать статическая система многоуровневой телеграфии, использующая канал проводной связи с известным уровнем аддитивных помех в канале.
Если некоторая непрерывная физическая величина (например, напряжение u постоянного тока) используется для передачи с помощью статического канала связи дискретной информации, то возникает вопрос о количестве необходимых уровней и интервалах между ними (количество «четко различимых уровней» Г. Найквиста и К. Шеннона [13]): проблема квантования с минимальной потерей информации.
Представим себе, что статический канал связи не имеет кодера источника, то есть что избыточность источника ДИС не снята. (На-пример, при наборе текста на клавиатуре ПК.) Как лучше всего в таком случае закодировать дискретные (знаковые) элементарные сообщения {uj}1N источника ДИС U соответствующими уровнями цифро-аналогового преобразователя?
Наиболее рационально расставить сообщения uj (j = 1, 2, …, N) по убывающим вероятностям Pj, а затем (например, при нечетном значении N): первому сообщению u1 присвоить значение нулевого уровня U0 = 0, второму u2 — первого уровня U1 = Δu, третьему u3 — значение уровня U–1 = –Δu, четвертому — U2 = 2Δu и т. д.
Тогда распределение получившихся уровней можно будет аппроксимировать подходящим законом распределения с плотностью вероятности ps(u). При этом Pk ≈ ps(Uk)Δu.
Вернемся к формуле (12) для количества информации на выходе канала связи. В ней будут фигурировать величины Pkm = P(Vm|Uk) переходной матрицы П канала связи, то есть вероятность того, что при подаче на вход канала связи k‑го уровня сигнала Uk на его выходе, после квантования уровней выходных сигналов, появится уровень Vm, соответствующий m‑му уровню выходного сигнала. Такие ошибки вызываются воздействием, например, аддитивных, независимых от сигнала помех, которые имеют плотность вероятности pn(x). Поэтому
Pkm = P(Vm|Uk) ≈ pn(Vm–Uk)Δv. (26)
При такой постановке задачи оценивания элементов Pkm переходной матрицы П мы можем теперь рассматривать воздействие на канал связи помех общего вида (не обязательно гауссовских).
Найдем среднее количество информации на выходе такого канала связи:
Заметим, что по формуле (10) полной вероятности:
где w — вспомогательная переменная интегрирования, как индекс l.
Кроме того,
Значит,
При Δu → 0 и Δv → 0 получаем
Поскольку интегрирование ведется в бесконечных пределах, то
где h(n) — дифференциальная энтропия помехи.
Значит, второе слагаемое в выражении для I–(U,П) есть:
В первом слагаемом J1 выражения (31) для I–(U,П) поменяем порядок интегрирования по переменным v и u.
Получим:
Если функцию переменной v обозначить через p(v), то интеграл (34) примет вид:
и формально будет являться некоторой дифференциальной энтропией, содержащей плотность вероятности ps(u) и pn(x), где x = v–u, если функция p(v) является плотностью вероятности некоторой случайной величины v.
Тогда для среднего (на входной знак) количества информации I–(U,П) при Δu → 0 и N → ∞ получаем асимптотическое выражение:
I–(U,П) ≈ h(s+n)–h(n), (35)
Можно показать, что функция p(v) является плотностью вероятности суммы случайных величин уровней сигнала u на входе канала связи и шума nв этом же канале.
Отсюда следует, что среднее количество информации (бит/знак), которое получается на выходе канала связи, имеющего аддитивные помехи (независимые от уровней сигналов), и которое приходится на один знак источника неравновероятных дискретных сообщений {uj}1N (при N >> 1 и Δu << σs), асимптотически равно разности дифференциальных энтропий суммы уровней сигналов и помехи на выходе канала связи и аддитивной помехи в канале связи (теорема 16 в [16]).
Пусть аппроксимация ps(u) имеет также гауссовскую форму, то есть:
Поскольку v = u+x, то при независимости уровней сигналов и помех величина D(v) = = Ds+Dn. Отсюда дифференциальная энтропия уровней на выходе канала связи:
где μ0 = 2πe.
Значит,
I–(Du, ss, sn) ≈ h(s+n)–h(n) (38)
или
где P ≡ Ds — мощность сигнала; N ≡ Dn — мощность аддитивной помехи; Q = Ds/Dn = = P/N — отношение сигнал/помеха.
Как видим, величина I–(Du, ss, sn) = I–(Q) в этом случае не зависит от величины кванта Δu, поскольку в полученных асимптотических формулах Δu → 0, du → 0. То есть она является собственной характеристикой канала связи, равной максимальному среднему количеству информации на один уровень напряжения (или тока) в канале связи, которое возможно при заданном отношении средней мощности сигнала к средней мощности помех Q = Ds/Dn, то есть равной информационной емкости непрерывного гауссовского канала связи:
Впервые эту формулу обосновал в 1948 г. К. Шеннон [16]. Эту формулу назовем центральной формулой Шеннона информационной статики.
Для того чтобы использовать формулу Шеннона на практике, нужно определить эквивалентное количество уровней NШэ(Q). Если ограничиться 95%-ной шириной плотности вероятности сигналов ps(u) и задать величину промежутков между соседними уровнями многоуровнего телеграфа, равной Δu = 2σn, то эквивалентное количество уровней в канале связи определяется приближенной формулой:
Передача дискретных сообщений с помощью динамических каналов связи
Что касается динамических систем ЭТИС, то для них нужно ввести еще одно множество — множество T длительностей передачи каждого знака (с учетом паузы между отдельными знаками): T = {τj}1N. Тогда среднюю скорость выдачи информации (бит/с) данным источником ДИС (производительность источника ДИС) B(U) можно вычислить по формуле:
B(U) = I–(U)/t–(U). (41)
Первым, кто в 1928 г. успешно решил эту задачу, был американский электроинженер шведского происхождения Гарри Найквист (1889–1976). Он доказал, что интервал между соседними элементарными телеграфными посылками Tэ должен быть не менее, чем величина 1/(2FН): Tэ ≥ 1/(2FН). Подчеркнем, что при аналого-цифровом преобразовании сигналов s(t) со спектром, ограниченным величиной Fm (в соответствии с теоремой Котельникова–Шеннона [6]), величина интервала дискретизации Δtд, напротив, должна быть не более, чем величина 1/(2Fm): Δtд ≤ 1/(2Fm).
По предложению Шеннона предельное значение интервала (шага, периода) дискретизации Δtmax = 1/(2Fm), где Fm — максимальное значение частоты финитного спектра S·(w) детерминированного сигнала s(t) с ограниченной энергией или энергетического спектра Wξ(ω) эргодического случайного сигнала ξ(t), называется интервалом Найквиста, хотя сам Найквист проблемой дискретизации не занимался [6].
Условие применимости теоремы Котель-никова–Шеннона для сигналов с неограниченной энергией определяется следующей обобщенной теоремой отсчетов [7].
Теорема. Если стационарный регулярный гауссовский случайный сигнал ξ(t) с ограниченной мощностью (Px = x2(t) < ∞) является эргодическим и имеет финитную спектральную плотность средней мощности (энергетический спектр) — Wξ(ω) = 0 при |ω| > 2πFm, то его реализации могут быть однозначно представлены в виде:
а корреляционная функция
такого сигнала:
где sincx = (sinx)/x — функция отсчетов; a — произвольное число, и величина Δt ≤ 1/(2Fm). Обратим внимание на то, что в разложении (43) для Rξ(τ) величина a = 0.
Поскольку в динамическом многоуровневом канале передачи дискретных сообщений, имеющем линию электросвязи с шириной полосы пропускания ΔF = 2FН (по уровню половины модуля коэффициента передачи линии), аддитивные помехи в моменты времени tn = nΔF, n = …, –1, 0, 1, 2, …, не коррелированы, а значит, и независимы, то количества передаваемой по каналу связи информации, которые соответствуют дискретным отсчетам, отстоящим друг от друга на интервалы n τэ = n/(2FН), суммируются.
Значит, если в динамическом канале электросвязи в единицу времени мы можем передавать 1/Tэ = 2FН отсчетов, то при стационарном режиме работы динамического канала передачи «дискретной» информации мы можем передавать знаковые сообщения с информационной скоростью:
CШ(Q) = 2FНεШ(Q) (44)
или, согласно формуле Шеннона для расчета информационной пропускной способности аналогового канала передачи дискретных сообщений (бит/с):
CШ(Q) = FНlog(1+Q), (45)
где FН — частота среза (Найквиста) линии электросвязи, рассматриваемой как фильтр нижних частот (Гц); Q — отношение сигнал/шум (по мощности).
Тем самым мы доказали центральную теорему математической теории информации (теорема 17 в [16]): информационная скорость передачи дискретных сообщений (по обычным каналам электросвязи) при наличии в них аддитивных белых гауссовских шумов ограничена сверху пределом CШ(Q), рассчитанным по формуле Шеннона (45) информационной динамики.
Поскольку информационная мера Шеннона — логарифмическая, то аналитически удается получить выражение для пропускной способности только для «гауссовского сигнала» на фоне аддитивных гауссовских помех, причем — в асимптотическом приближении: при Q >> 1. Многочисленные попытки преодолеть эту трудность к успеху не привели [13].
Численные методы оценивания пропускной способности каналов электросвязи
Разработке численных методов оценивания пропускной способности каналов электросвязи посвящено не так много работ [13], в которых так и не удалось получить эффективных общих методов.
Автор статьи разработал простую методику вычисления пропускной способности, а также оптимального количества уровней — практически для любых систем передачи информации с широким классом помех в канале связи. Существо этой методики состоит в следующем.
Для данного вида модуляции и помех в канале связи методами статистической радиотехники при значениях отношения сигнал/шум в канале связи Q = 1, 3, 10, 30, 100, …, 1000 и количестве сигнальных позиций N = 2, 4, 8, 16, …, Nmax вычисляются все элементы Pjk переходной матрицы П = {Pjk; j, k = 1, 2, …, N} канала связи. Затем по известной формуле Шеннона, вытекающей из пятого постулата теории МТИ (12):
строится зависимость величины I(U,П) от отношения сигнал/помеха Q при данном значении N.
По построенным (непрерывным) зависимостям I(Q) строится (например, путем интерполяции сплайнами) огибающая этих зависимостей. Эта огибающая и будет информационной емкостью канала передачи информации.
Выбрав некоторый критерий оптимальности, можно затем построить зависимость числа оптимальных сигнальных уровней Nопт и практической скорости передачи информации Vинф по данному каналу связи от отношения сигнал/помеха Q.
Для отработки предложенной методики была решена задача о пропускной способности аналоговых каналов связи с ограниченной пиковой мощностью сигналов и аддитивным гауссовским шумом [11], для которой Шеннон получил лишь асимптотические оценки сверху и снизу [16]. Оказалось, что в этом случае пропускную способность канала связи можно аппроксимировать зависимостью C(Q) ≈ Wlog(1+3Q/4), бит/с.
При выборе соответствующего критерия оптимальности зависимость числа сигнальных позиций Nопт(Q) от величины Q можно записать в виде: Nопт(Q) = (1+8Q/5)1/2; при этом скорость передачи информации есть Vинф(Q) ≈ Wlog(1+5Q/9), бит/с.
Далее было выяснено, что поскольку в системах телефонной и телеграфной электросвязи частота среза амплитудно-частотной характеристики канала (Найквиста) FН и частота дискретизации сигналов (Котельни-кова–Шеннона) Δtд согласованы между собой (Δtд = 2FН), то для получения асимптотической оценки пропускной способности каналов электросвязи можно воспользоваться негэнтропийным подходом Шеннона и получить известную формулу:
CШ(Q) = Wlog(1+Q), (47)
где W — ширина спектра информационного сигнала.
В радиосистемах, даже при простой амплитудной модуляции, ширина полосы пропускания радиоканала должна быть в два раза больше ширины спектра информационного сигнала. Поэтому пропускная способность таких систем передачи информации, при прочих равных условиях, в два раза меньше, чем проводных систем электросвязи. Для устранения этого эффекта в аналоговых радиосистемах используется однополосная амплитудная модуляция, поскольку вторая боковая полоса частот радиосигнала дополнительной информации не несет.
Однако для радиоканалов сверхвысоких частот реализация однополосной модуляции вызвала серьезные затруднения, и радиоинженерам пришлось смириться с более низкой пропускной способностью радиосистем по сравнению с каналами проводной электросвязи. В то же время, если воспользоваться четвертой теоремой Котельникова [2] о дискретизации сигналов, спектр которых занимает полосу частот от f1 до f2, Гц, то негэнтропийным методом Шеннона можно доказать, что пропускная способность каналов радиосвязи определяется формулой Cкрс(Q) = 2Wlog(1+Q) [12].
Современные каналы радиосвязи используют различные методы цифровой модуляции: многоуровневую амплитудную модуляцию, многопозиционную фазовую манипуляцию, квадратурную и гексагональную амплитудные модуляции и т. п.
Для идеализированного случая равномерно распределенных помех в радиоканале с ограниченной пиковой мощностью в статье [10] удалось получить сравнительные оценки пропускной способности радиоканалов с перечисленными видами цифровой модуляции. Основные выводы статьи [10] следующие. При значениях отношения сигнал/помеха, меньших Q = 10, следует применять фазовую манипуляцию: от двух- до восьмипозиционной. При Q ≥ 20 целесообразно перейти к 16‑позиционной квадратурной амплитудной модуляции с квадратным созвездием. На гексагональное созвездие, которое сложно реализовать, лучше переходить при Q ≥ 50.
Для радиоканалов с постоянной излучаемой мощностью (каналы с многопозиционной фазовой манипуляцией — PSK) при Q > 3 получено значение величины C, приблизительно на 1,6 бит/с большее, чем предельное значение величины CШ(Q) для аналоговых каналов проводной электросвязи [8], то есть в этом случае пропускная способность канала вычисляется по формуле:
C(Q) ≈ Wlog[3(1+Q)]. (48)
Для цифровых каналов электросвязи с многопозиционной тональной модуляцией (например, для систем передачи данных международного стандарта Select V) получена оценка:
где τэ — длительность элементарной посылки.
Заключение
В статье в сжатом, но достаточно полном виде представлены основные положения семантической и математической теории информации, а также приведена методика и результаты численных расчетов информационных характеристик различных каналов передачи информации при воздействии на эти каналы помех произвольных видов. Автор надеется, что предложенные основы позволят исследователям уверенно применять информационные технологии в своих теоретических и практических областях деятельности. Однако при этом нужно не забывать замечание К. Шеннона, высказанное им еще в 1956 году в заметке «Бандвагон» [16]: «… поиск путей применения теории информации в других областях не сводится к тривиальному переносу терминов из одной области науки в другую. Этот поиск осуществляется в длительном процессе выдвижения новых гипотез и их экспериментальной проверки».
***
Автор благодарен профессору В. Д. Лиференко за полезное обсуждение материалов статьи и ее идеологическую поддержку.
- Винер Н. Кибернетика, или Управление и связь в животном и машине. М.: Наука, 1983.
- Котельников В. А. О пропускной способности «эфира» и проволоки в электросвязи: Мат-лы к I Всесоюзному съезду по вопросам технической реконструкции дела связи и развития слаботочной промышленности. М.: Изд-во Управления связи РККА, 1933. Факсим. переизд.: Радиотехника. 1995. № 4–5. Отред. переизд.: УФН. Т. 176. 2006. № 7.
- Пирс Дж. Символы, сигналы, шумы. Законо-мерности и процессы передачи информации. М.: Мир, 1967. (Оригинал: 1962 г.)
- Скляр Б. Цифровая связь. Теоретические основы и практические применения. М.: ИД «Вильямс», 2007.
- Фишер Р. А. Статистические методы для исследователей. М.: Госстатиздат, 1958.
- Худяков Г. И. Теорема отсчетов теории сигналов и ее создатели // Радиотехника и электроника. 2008. № 9.
- Худяков Г. И. Теорема отсчетов для цифровой обработки случайных сигналов // Компоненты и технологии. 2009. № 5.
- Худяков Г. И. Оценка пропускной способности каналов авиационной цифровой электросвязи // Электросвязь. 2009. № 5.
- Худяков Г. И. Статистическая теория радиотехнических систем: Учеб. пособие. М.: Изд. центр «Академия», 2009.
- Худяков Г. И., Осипов А. Д. Сравнительная оценка пропускной способности современных цифровых каналов радиосвязи // Радио-электроника интеллектуальных транспортных систем: научно-техн. сб. Вып. 2. СПб.: Изд-во СЗТУ, 2009.
- Худяков Г. И. Пропускная способность цифровых каналов электросвязи с квадратурной амплитудной модуляцией // Электросвязь. 2010. № 6.
- Худяков Г. И. О пропускной способности современных цифровых каналов электросвязи // Компоненты и технологии. 2011. № 3.
- Худяков Г. И., Осипов А. Д. Развитие теории оценивания пропускной способности систем электро- и радиосвязи // Компоненты и технологии. 2011. № 7.
- Худяков Г. И. Семантические, аксиоматические и численные основы информационных технологий. Ч. 1 // Компоненты и технологии. 2013. № 9.
- Хэмминг Р. В. Теория кодирования и теория информации. М.: Радио и связь, 1983.
- Шеннон К. Работы по теории информации и кибернетике. Пер. с англ. под ред Р. Л. Добру-шина и О. Б. Лупанова. М.: Изд-во ИЛ, 1963.
- Шишкин И. Ф. Теоретическая метрология. Ч. I. Общая теория измерений. СПб.: Изд-во СЗТУ, 2008.
- www.ru.wikipedia.org; www.en.wikipedia.org