Теорема отсчетов для цифровой обработки случайных сигналов ЦОС

№ 5’2009
PDF версия
В настоящее время все радиоэлектронные системы, включая системы телефонии, радиовещания и телевидения, переходят на цифровой режим работы. Поэтому преобразование различных аналоговых сигналов для их обработки в цифровой форме ЦОС (проблема дискретизации) требует фундаментального математического обоснования для всевозможных классов детерминированных и случайных сигналов с тем, чтобы разработчики таких систем могли уверенно пользоваться цифровыми сигналами и их преобразованиями в различных радиоэлектронных устройствах и компонентах.

Дискретизация детерминированных сигналов с ограниченной энергией в соответствии с теоремой Котельникова-Шеннона получила в 1960-х годах твердую
теоретическую базу, а также многочисленные
обобщения на основе математической теории гильбертовых пространств с воспроизводящими ядрами [1]. Однако дискретизация случайных сигналов, например, речевых
и телевизионных, до сих пор не нашла удовлетворительного для прикладных целей математического обоснования, что приводит на
практике к неправомерному применению теоремы отсчетов и некорректным ее интерпретациям при цифровой обработке сигналов.

Теорема отсчетов
Котельникова-Шеннона
и ее обобщения

Прикладная проблема дискретизации сигналов [2] развивалась значительно позднее,
чем математическая проблема интерполяции
функций. В результате решения последней
получены интерполяционные формулы Ньютона, Стирлинга, Лагранжа, Гаусса, Бесселя,
Эверетта, Стеффенсена и др.

О. Коши в 1841 г. [3] и Э. Борель в 1897 г. [4]
рассматривали интерполяционные ряды вида:

Однако первым, кто осознал важность
представления (1) для прикладной математики и провел достаточно подробные исследования свойств ряда (1), был шотландский
математик Эдмунд Уиттекер [5]. Он показал
[5, 6], что если некоторая неизвестная функция f (t) задана своими эквидистантными отсчетами fn = f (a+nΔt) в бесконечной совокупности точек (…, a–Δt, a, at, …), то среди
бесконечного множества функций, которые
можно провести через совокупность отсчетов (…, f–1, f0, f1, …), существует функция,
не имеющая разрывов второго рода (сингулярностей) и быстрых осцилляций между отсчетными точками. Такую функцию C(t) Уиттекер назвал основной, или кардинальной
функцией (cardinal function):

где sinc x = (sin x)/x.

Рисунок. Совокупности эквидистантных отсчетов
{fn = f (a+nΔt)}∞–
∞ сигнала f (t) = cos (2πFt)
и кардинальные функции C (t) для этих совокупностей

Например, если a = 0 и fn = (–1)n, то (см. рисунок):

При этом формулу (3) нельзя рассматривать как применение теоремы отсчетов
Котельникова-Шеннона к функции cos(2πFt)
при F = 1/(2Δt), поскольку при a = Δt/2:
fn = cos[π (a+nΔt)/Δt] = cos[π(n+1/2)] = 0 для
любого значения n, и ряд (2) тождественно
равен нулю.

Дальнейшие свойства кардинальных
функций исследовал в 1925–1927 гг. ученик
Уиттекера — У. Феррер [6]. Он обнаружил
у кардинальных функций замечательное
свойство «самосогласованности» (соответствующий термин “consistency” в [7] взят в кавычки и требует неформального перевода на
русский язык).

Теорема 1 (Феррер: 1927 г. [6, 7])

Если , то

где Δt′≤Δt, a′ — произвольное число. То есть
для самосогласованности (иначе говоря —
однозначной определенности) кардинальной
функции C(t) достаточно, чтобы отсчеты {fn}
–∞
соответствующим образом убывали на бесконечности.

Однако из расходимости ряда

не следует отсутствие самосогласованности
кардинальной функции C(t), соответствующей ряду (…, f–1, f0, f1, …). Тем не менее, разложение (3) для функции cos(πtt) свойством однозначной определенности (самосогласованности) не обладает, то есть

Как видим, кардинальные функции C(t)
имеют к проблеме дискретизации самое непосредственное отношение.

Развитие телеграфной техники в 1900-х годах привело к необходимости оценить теоретически предельно достижимую скорость передачи элементарных посылок через канал связи, рассматриваемый как линейный фильтр
нижних частот с частотой среза Fн. Первым,
кто успешно решил эту задачу (в 1928 г.), был
американский электроинженер шведского
происхождения Гарри Найквист [6]. Он доказал, что интервал между соседними элементарными телеграфными посылками Δtт
не может быть меньше, чем величина 1/(2Fн):
Δtт ≥1/(2Fн). По предложению Шеннона [8]
предельное значение интервала дискретизации Δtн = 1/(2Fm), где Fm — максимальное
значение частоты финитного спектра

(ω)
детерминированного сигнала s(t) с ограниченной энергией, названо интервалом Найквиста, хотя сам Найквист проблемой дискретизации не занимался [6].

В 1932 г. советский радиоинженер (будущий академик) В. А. Котельников впервые
достаточно четко сформулировал и доказал
теорему отсчетов для детерминированных
сигналов, а в 1940 г. ее «переоткрыл» американский радиоинженер и математик Клод
Шеннон [6]. Современная формулировка теоремы Котельникова-Шеннона заключается
в следующем [6].

Теорема 2
(Котельникова-Шеннона)

Пусть сигнал s(t) с конечной энергией
Es = ∫
–∞s 2(t)dt обладает ограниченным по частоте (финитным) спектром:

Тогда сигнал s(t) может быть однозначно
представлен в виде ряда Э. Уиттекера:

где sn = s(a+nΔt)— отсчет функции s(t) в точке tn = a+nΔt; a — произвольное действительное число; Δt = 1/Fд — интервал дискретизации (Fд ≥ 2Fm).

Функция sinc x = (sin x)/x в теории сигналов называется функцией отсчетов, а ряд (6)
в каждой точке t сходится среднеквадратически. При этом:

где Ωm Ξ 2πFm, Δt ≤ 1/(2Fm).

Поскольку величину Δtн = 1/(2Fm) назвали
интервалом Найквиста, то в теореме 2 интервал дискретизации Δt должен удовлетворять
неравенству Δt ≤ Δtн.

Шеннон в фундаментальной статье [8]
приводит пример «белого шума» с финитной спектральной плотностью мощности
(Wξ(ω) = N0 ≤ 2πFm), имеющего в качестве
своих реализаций функции вида:

где случайные коэффициенты an распределены по закону Гаусса и независимо друг
от друга со средним

n = 0 и с дисперсией
ς2n = N0. Однако обобщения теоремы отсчетов на случайные процессы ξ(t) Шеннон не
приводит.

Обобщения теоремы отсчетов на случайные процессы предпринимались в 1957 г.
А. Балакришнаном [9], в 1959 г. С. Ллойдом
[3] и в 1968 г. Л. Кэмпбеллом [10]. В 1971 г.
Дж. Стиффлер [11] предложил довольно оригинальный подход к доказательству теоремы
отсчетов для стационарных случайных процессов на «инженерном уровне строгости».

Балакришнан формулирует теорему отсчетов для реализаций действительных или комплексных стационарных (в широком смысле)
случайных процессов ξ(t), спектральная плотность мощности Wξ(ω) = Wξ(2πf) которых
равна нулю вне закрытого интервала частот
[–FmfFm]. При доказательстве он использует формально-математическое разложение:

для каждого значения частоты f внутри открытого интервала (–Fm f Fm).

Но при f = Fm правая часть выражения (7)
равна:

что не равно левой части: exp(2πjFmt). То есть
разложение (7) в случае f = Fm не справедливо. Открытость интервала (–Fm f < Fm) не
спасает положения, поскольку ни функция
cos(2πjft), ни sin(2πjft) свойством однозначной определенности (самосогласованности)
не обладает.

Ллойд и Кэмпбелл также исходят из разложения (7). Аналогичное доказательство теоремы отсчетов для стационарных процессов
приводится в Справочной математической
библиотеке 1967 г. [12].

Стиффлер так же, как и авторы работ [3, 9, 10],
не исключил из рассмотрения сингулярные
стационарные случайные процессы η(t), корреляционная функция которых, например,
равна Rη(τ) = Dcos(2πFτ), а реализации гауссовского процесса η(t) имеют вид:

где α и β — реализации гауссовских случайных величин α и β с параметрами

=

= 0;

=

= D;

= 0; γ и φ — реализации случайной амплитуды γ и начальной фазы φ, которые распределены независимо друг от друга: γ — по закону Релея, φ — равномерно на
промежутке (0, 2π].

Формальный ряд Уиттекера для произвольной реализации стационарного процесса η(t)
при a = 0 и Δt = 1/(2F) имеет вид:

Как видим, здесь ς(t) ≠ η(t), а процесс
ς(t) = {ςi(t)}
1 даже не является стационарным,
поскольку

Если Δt ′<1/(2F), то реализации ςi (t) будут
представлять собой некоторые «биения» с частотой [1/Δt ′–1/(2F)] и не будут совпадать
с исходными реализациями (рисунок), то есть
ряд (2) для реализаций процесса η(t) однозначно не определен.

Предварительные итоги развития проблемы дискретизации подведены в обширном обзоре 1977 г. А. Джерри [13]. Вместе с тем, из обзора Э. Майеринга 2002 г. [4] видно, что должного математического фундамента теорема
отсчетов для случайных процессов так и не
получила, а дискуссии, ведущиеся в Интернете по настоящее время [14], говорят о том,
что отсутствие такого фундамента приводит
к неверным интерпретациям и незаконным
применениям теоремы отсчетов при цифровой обработке аналоговых сигналов.

Основные ограничения
применимости теоремы отсчетов
к стационарным
случайным процессам

Известно [15], что всякий стационарный
случайный процесс ζ(t) может быть представлен, и притом единственным образом, суммой (разложение Вольда): ζ(t) = η(t)+ξ(t), где
η(t) — сингулярный случайный процесс,
ξ(t) — регулярный случайный процесс;
при этом процессы η(t) и ξ(t) не коррелированны между собой (в случае гауссовского
процесса ζ(t)— и независимы).

Обобщенная спектральная плотность средней мощности Wη(ω) сингулярного процесса η(t) имеет вид:

где {ω1, ω2, …, ωk, …, ωN} — (линейчатый)
спектр процесса η(t), а его реализации представляют собой почти периодические функции (Бора). Как показано выше, такие процессы не могут быть однозначно представлены в виде ряда (2).

Регулярные стационарные процессы ξ(t)
имеют кусочно-непрерывную спектральную
плотность мощности Wξ(ω) и являются реакциями некоторого стационарного линейного
(не обязательно физически реализуемого!)
фильтра с коэффициентом передачи

(ω) на
«белый шум», то есть на стационарный случайный процесс с корреляционной функцией вида Rб.ш(τ) = N0 Δ(τ), где Wб.ш(ω) = N0
спектральная плотность мощности «белого
шума».

Это следует из того, что функция Wξ(ω)—
не отрицательная, а действие фильтра с коэффициентом передачи

(ω) на спектральную плотность мощности Wвх(ω) входного
случайного процесса имеет вид Wвых(ω)
= Wвх(ω)|

(ω)|2. Отсюда Wξ(ω) = N0|

(ω)|2,
где

(ω) — амплитудно-частотная характеристика формирующего данный регулярный
случайный процесс ξ(t) фильтра.

Если мощность Pξ процесса ξ(t) не ограничена, то есть если

то его дисперсия

и процесс ξ(t) не может быть представлен рядом Уиттекера (2), поскольку отсчеты
ξn = ξ(a+nΔt) в этом случае не будут определены (будут иметь «бесконечные значения»).

Если Pξ t) может быть
представлен совокупностью реализаций
{ξi(t)}
1, которые являются гармониками вида ξ(t) = αcos(ωt+φ), где α, φ, ω — независимые случайные величины; при этом величина α распределена по закону Релея со среднеквадратическим значением sα = 1, φ —
равномерно на промежутке (–π, π], ω —
с плотностью вероятности p(ω) = Wξ(ω)/Pξ.
Реализации таких не эргодических процессов, так же как и сингулярных процессов η(t),
не могут быть представлены в виде ряда (2).

Таким образом, мы исключили из множества стационарных случайных процессов
{ζ(t)} те подмножества, реализации которых
не могут быть однозначно представлены рядами Уиттекера (2) со случайными коэффициентами, поскольку не обладают свойством
самосогласованности Феррера (4): сингулярные стационарные процессы, стационарные
процессы с бесконечной мощностью и не эргодические процессы.

Теорема отсчетов для гауссовских
стационарных случайных сигналов

Для определенности мы ограничимся рассмотрением множества стационарных случайных сигналов {ξ(t)}, мгновенные значения которых ξ = ξ(t) распределены по закону Гаусса.
Обобщение на негауссовские случайные сигналы принципиальных затруднений представлять не должно, а гауссовские сигналы
для радиоэлектроники представляют наибольший практический интерес. Кроме того,
будем полагать, что среднее значение

= 0,
где черта сверху является символом усреднения по ансамблю реализаций {ξi(t)}
1 случай-
ного сигнала ξ(t). Формулировка и предварительное доказательство теоремы отсчетов для
гауссовских стационарных случайных сигналов были представлены автором в 2007 г. в [16].

Теорема 3

Если стационарный регулярный гауссовский случайный сигнал ξ(t) с ограниченной
мощностью (Pξ =

<∞) является эргоди-
ческим и имеет финитную спектральную
плотность средней мощности (энергетический спектр) Wξ(ω) = 0 при |ω| > 2πFm, то его
реализации могут быть однозначно представлены в виде:

а корреляционная функция Rξ(τ) такого сигнала ξ(t):

где a — произвольное число и величина
Δt ≤ 1/(2Fm).

Доказательство

Как показано в статье [17], реализации «белого шума» могут быть представлены в форме пуассоновского потока дельта-импульсов
с гауссовскими случайными коэффициентами. Следовательно, реализации гауссовского
регулярного стационарного случайного процесса ξ(t) можно представить в виде:

где βk — независимые гауссовские случайные
величины с нулевыми средними

k = 0
и с одинаковыми дисперсиями ςk2 = Dβ;
{tk}
— пуассоновская совокупность моментов времени tk с интенсивностью λ; s(t) —
формирующий сигнал:

При этом λDβ = 1, а мощность Pξ процесса ξ(t) численно равна величине энергии сигнала s(t): Pξ = λDβEs = Es .

Ясно, что представление (11) является эргодическим, поскольку по одной из реализаций (11) процесса ξ(t) может быть определена спектральная плотность формирующего
сигнала s(t), а также величины λ и Dβ, а значит, и спектральная плотность мощности
Wξ(ω) = λDβ|√Wξ(ω)|2.

По теореме Парсеваля

Значит, формирующий сигнал s(t) имеет ограниченную энергию Es = Pξ.

Если спектральная плотность мощности
Wξ(ω) финитна, то:

То есть формирующий сигнал s(t) также имеет финитный спектр (

(ω) = 0 при |ω| > 2πFm),
и к сигналу s(t) может быть применена теорема 2:

Подставляя разложение (12) в формулу (11),
получим:

Поскольку ряд Уиттекера (12) для функции s(t) обладает свойством самосогласованности, то равенство (13) не нарушится, если
при каждом значении k положить a = btk.
Тогда:

Поменяем порядок суммирования по k и по n:

Сравнивая выражения (14) и (11), видим, что

Для корреляционной функции Rξ(τ) получим разложение (15).

Положим a = t; тогда (16), поскольку
sinc(0) = 1, а при n ≠ 0 значение sinc(nπ) = 0.

Теорема доказана.

Обратим внимание на то, что в разложении (9) для реализаций случайного сигнала
ξ(t) величина a — произвольная, а в разложении (10) для корреляционной функции
a = 0. Кроме того, несмотря на то, что реализации сигнала ξ(t) не удовлетворяют условиям теоремы 1 (Феррера), они допускают однозначно определенное представление (9).

Практический смысл условия эргодичности стационарного случайного сигнала ξ(t)
в теореме 3 такой же, как условия принадлежности детерминированного сигнала s(t) пространству L2(t) в теореме 2: отсутствие в сигнале s(t) или в реализациях сигнала ξ(t) сингулярных составляющих вида A cos (ωt+φ).

Несмотря на то, что проблема интерполяции функций с помощью ряда (2) была четко сформулирована Э. Уиттекером в 1914 г.,
а проблема дискретизации для детерминированных сигналов с ограниченной энергией
впервые решена в 1932 г. В. А. Котельниковым, полное решение проблемы дискретизации для всевозможных классов аналоговых
сигналов далеко от завершения. Это не позволяет радиоинженерам всегда правильно
и уверенно использовать «теорему отсчетов»
при разработке различных цифровых радиоэлектронных компонентов и применении
в них цифровой обработки сигналов различных классов.

Сформулирована и доказана (на уровне
строгости прикладной математики) теорема
отсчетов для широко используемого в радиоэлектронике класса сигналов: эргодических
стационарных случайных с ограниченной
мощностью.

Литература

  1. Функции с двойной ортогональностью в радиоэлектронике и оптике. США, 1961–1968 гг. / Пер.
    и науч. обработка М. К. Размахнина и В. П. Яковлева. М.: Советское радио, 1971.
  2. Вероятность и математическая статистика:
    Энциклопедия / Гл. ред. Ю. В. Прохоров. М.:
    Большая Российская Энциклопедия, 1999.
  3. Lloyd S. P. A sampling theorem for stationary (wide
    sense) stochastic processes // Trans. Am. Math.
    Soc. 1959. V. 92. № 1.
  4. Meijering E. Chronology of Interpolation: from
    Ancient Astronomy to Modern Signal and Image
    Processing // Proc. IEEE. 2002. V. 90. № 3.
  5. Whittaker E. T. On the Function which are Represented
    by the Expansion of Interpolation-Theory //
    Proc. Roy. Soc. Edinburgh. 1914. V. 35, pt. 2.
  6. Худяков Г. И. Теорема отсчетов теории сигналов и ее создатели // Радиотехника и электроника. 2008. Т. 53. № 9.
  7. Whittaker J. M. Interpolatory Function Theory.
    New-York – London: Stechert – Hafner, 1964.
  8. Shannon C. A mathematical theory of communication
    // Bell Syst. Tech. J. 1948. V. 27. № 3, № 4.
    (Пер.: Шеннон К. Работы по теории информации и кибернетике. М.: Изд-во иностранной литературы, 1963).
  9. Balakrishnan A. V. A note on the sampling principle
    for continuous signals // IRE Trans. 1957. V. IT-3.
    № 2.
  10. Campbell L. L. Sampling theorem for the Fourier
    transform of a distribution with bounded support
    // SIAM J. Appl. Math. 1968. V. 16. № 3.
  11. Стиффлер Дж. Теория синхронной связи.
    М.: Связь, 1975.
  12. Прохоров Ю. В., Розанов Ю. А. Теория вероятностей. Основные понятия. Предельные теоремы. Случайные процессы. М.: Наука, 1967.
  13. Jerri A. J. The Shannon Sampling Theorem —
    Its Various Extensions and Applications: A Tutorial
    Review // Proc. IEEE. 1977. V. 65. № 11.
  14. http://en.wikipedia.org/wiki/Nyquist-Shannon_sampling_theorem
  15. Королюк В. С., Портенко Н. И., Скороход А. В.,
    Турбин А. Ф. Справочник по теории вероятностей и математической статистике. Киев:
    Наукова думка, 1978.
  16. Худяков Г. И. Еще раз о теореме отсчетов теории сигналов // Сб. науч. трудов 2 Междунар.
    конф. «Современные проблемы радиоэлектроники». Ростов-на-Дону: РАС ЮРГУЭС, 2007.
  17. Худяков Г. И. Об одном методе математического представления регулярных случайных
    процессов и полей // Радиотехника и электроника. 1974. Т. 19. № 2.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *