Использование нейронных сетей для прогнозирования деградации выходных параметров ТТЛ ИС в системе MATLAB / Simulink

№ 1’2006
В данной работе рассматривается прогнозирование деградации параметров ТТЛ ИС с использованием нейронных сетей и системы MATLAB/Simulink (на примере деградации наихудших значений параметра выходного напряжения низкого уровня UOL по результатам испытаний на долговечность в течение 150 тыс. ч выборки из 20 ТТЛ ИС типа 133ЛА8 и выборки из 20 ТТЛ ИС типа 133ЛР3) как альтернатива прогнозированию с использованием методов теории цифровых фильтров, идентификации систем и временных рядов (АРПСС9модели) [1–3].

В данной работе рассматривается прогнозирование деградации параметров ТТЛ ИС с использованием нейронных сетей и системы MATLAB/Simulink (на примере деградации наихудших значений параметра выходного напряжения низкого уровня UOL по результатам испытаний на долговечность в течение 150 тыс. ч выборки из 20 ТТЛ ИС типа 133ЛА8 и выборки из 20 ТТЛ ИС типа 133ЛР3) как альтернатива прогнозированию с использованием методов теории цифровых фильтров, идентификации систем и временных рядов (АРПСС9модели) [1–3].

Методы нейронных сетей (НС) получают все большее распространение в самых различных областях, начиная от фундаментальных исследований и заканчивая задачами добычи данных, прогнозирования в бизнесе, управления рисками, инженерными приложениями и т. д. НС широко используются при прогнозирование финансовых временных рядов с помощью многослойных персептронов, при прогнозирование хаотических временных рядов [4–6].

НС используется тогда, когда неизвестен точный вид связей между входами и выходами объекта — если бы он был известен,то связь можно было бы моделировать непосредственно. Если сеть обучена хорошо, она приобретает способность моделировать функцию, связывающую значения входных и выходных переменных, и впоследствии такую сеть можно использовать для прогнозирования в ситуации, когда выходные значения неизвестны [4–6].

Задачи прогнозирования можно разбить на два основных класса: классификация и регрессия. В задачах классификации требуется определить, к какому из нескольких заданных классов принадлежит данный входной набор. В задачах регрессии требуется предсказать значение переменной, принимающей непрерывные числовые значения. НС может решать одновременно несколько задач регрессии и классификации, однако обычно в каждый момент решается только одна задача. Таким образом, в большинстве случаев НС будет иметь всего одну выходную переменную; в случае задач классификации со многими состояниями для этого может потребоваться несколько выходных элементов. Многочисленные опыты с сетями показали, что для задач регрессии рекомендуется использовать многослойный персептрон, сеть с радиальными базисными элементами, обобщенно-регрессионную сеть и линейную сеть [4–6].

Нейрон — это составная часть нейронной сети. В состав нейрона входят умножители, сумматор и нелинейный преобразователь. Первые умножают входной сигнал (векторстрока) p на веса (матрица-вектор) W. Второй выполняет сложение сигналов. Последний реализует нелинейную функцию выхода сумматора. Эта функция называется «функция активации». Математически модель нейрона записывается в виде [4–6]:

где n — результат суммирования (∑); p1, p2,…pR — компоненты входного вектора (входной сигнал); R — число входов нейрона; w1,1, w1,2,…, w1,R — веса (матрица-вектор); b — смещение (скаляр); a — выходной сигнал нейрона; f — нелинейное преобразование (функция активации).

Модель нейрона имеет сходство с адаптивным линейным сумматором, на базе которого могут быть построены адаптивные трансверсальные фильтры (адаптивный линейный сумматор с элементами задержки). На рис. 1а показан адаптивный линейный сумматор для многих входов. Модель нейрона показана на рис. 1б. Адаптивный трансверсальный фильтр является временной формой нерекурсивного адаптивного фильтра и широко применяется при адаптивном моделировании и адаптивной обработке сигналов. Типичный пример — адаптивное устройство предсказания (адаптивный фильтр Калмана) [7–9]. Пример использования адаптивного фильтра Калмана для прогнозирования процесса деградации выходных параметров ТТЛ ИС показан в работе [2].

Адаптивный линейный сумматор (а) и модель нейрона (б)
Рис. 1. Адаптивный линейный сумматор (а) и модель нейрона (б)

Для адаптивного линейного сумматора с одним входом Xk (вектор отсчетов) и с весовыми коэффициентами Wk выражение для выходного сигнала адаптивного трансверсального фильтра [7] имеет вид:

или в матричном виде:

Сигнал ошибки адаптивного сумматора εk с индексом k (где k—отсчеты):

СКО (среднеквадратическая ошибка) адаптивного линейного сумматора:

где R — корреляционная матрица:

Нейрон полностью описывается весами W(матрица-вектор в сокращенном обозначении) и передаточной функцией ƒ . На входной сигнал нелинейный преобразователь отвечает выходным сигналом ƒ (n), который представляет выход нейрона. Наиболее распространенные функции активации: пороговая, линейная, сигмоидальная. Предположим, что сеть состоит из трех персептронов (пороговая функция активации — если сумма больше заданного порогового значения, выход равен 1, в противном случае — 0). Математически это записывается в виде:

Очень много схожего и в алгоритмах поиска весовых коэффициентов адаптивного линейного сумматора и НС [7]. Поиск вектора весовых коэффициентов, соответствующего минимуму рабочей функции, в обоих случаях может быть осуществлен градиентными методами [7]:

Здесь k — номер итерации; μ — константа, от которой зависит устойчивость и скорость сходимости. В частности, градиент функции СКО получается дифференцированием функции ξ (градиент ошибки):

СКО для адаптивного сумматора с одним входом:

Если предположить, что вектор весовых коэффициентов W равен оптимальному W*, то Δ = 2RW* – 2P = 0 и W* = R–1P.

Для случая со многими весовыми коэффициентами (много входов адаптивного линейного сумматора) метод Ньютона имеет вид [7]:

И адаптивный фильтр Калмана, в основе которого лежит общая линейная модель (ОЛМ) с дискретным временем, описывающая состояние системы в фазовом пространстве Xt+1 = Ft Xt + et , где Xt – (n×1)— вектор фазовых переменных состояния системы; Ft – (n×n) — матрица перехода; et – (n×1) — вектор шума системы, объекта или ошибки модели, и НС обладают способностью к прогнозированию [4, 5, 9].

Прогноз в момент t состояния системы в момент t+1 в терминах калмановской фильтрации может быть представлен в виде [9]:

Ошибка прогноза Xt+1|t может быть найдена из соотношения Xt+1|t = FtXt|t+ et, а ковариационная матрица ошибки прогноза из соотношения [9]: Pt+1|t = FtPt|tFtT + Q, где Q—ковариационная матрица et .

Однако фильтр Калмана и другие адаптивные фильтры, в основе которых лежит уравнение КИХ-фильтра с адаптивными коэффициентами (например, алгоритм LMS, основанный на минимизации СКО, и алгоритм RMS по критерию наименьших квадратов), способны выступать в роли следящих фильтров или строить одношаговый прогноз [7]. В то время как НС обученные и настроенные способны решать задачи регрессии. В этом смысле они способны составить конкуренцию другим методам прогнозирования, например, с использованием АРПСС-моделей (моделей авторегрессии проинтегрированного скользящего среднего). Примеры прогнозирования процесса деградации выходных параметров ТТЛ ИС с использованием АРПСС-моделей приведены в работе [3]. Следует заметить, что параметры АРПСС-моделей все так же эффективно могут быть оценены нелинейным методом наименьших квадратов (МНК), например демпфированным методом Гаусса–Ньютона. Наиболее хорошо зарекомендовал себя на практике метод Левенберга–Марквардта. Он же широко используется и для обучения НС (функция TRAINLM обеспечивает наиболее быстрое обучение). Для обучения НС в настоящее время используется большое множество разновидностей градиентного метода. Например, алгоритм обратного распространения — это итеративный градиентный алгоритм обучения, который используется для минимизации среднеквадратичного отклонения текущего выхода и желаемого выхода многослойных нейронных сетей [10, 11].

Подытоживая, можем заключить, что адаптивные фильтры, АРПСС-модели и НС базируются на общем математическом аппарате — нелинейном методе наименьших квадратов — для отыскания весовых коэффициентов или параметров АРПСС-моделей. Хотя существуют и другие методы, например метод максимума правдоподобия (ММП-оценки). Как показывает практика, ММП-оценки и МНК-оценки во многих случаях дают примерно одинаковые результаты [9, 11]. Следовательно, результаты прогнозирования с использованием НС и АРПСС-моделей на краткосрочный период должны быть примерно одинаковы.

Адаптивные фильтры, в том числе и КИХ-фильтры, способны строить одношаговый прогноз и не пригодны для экстраполяции [7–9]. Справедливости ради следует заметить, что цифровые фильтры (они разрабатывались для обработки сигналов) имеют связь с линейными моделями временных рядов посредством рациональных передаточных функций. Так, АРПСС-модель — это фильтр общего вида, содержащий рекурсивную (БИХ-фильтр) и нерекурсивную ветви (КИХ-фильтр) [12, 13].

Цель данной работы — показать, насколько правдоподобными оказываются прогнозы НС и АРПСС-моделей, а также оценить адекватность различных сетевых парадигм, которые хорошо зарекомендовали себя в задачах регрессии, и адекватность АРПСС-моделей по результатам их прогнозов.

В качестве объекта исследования возьмем ряды деградации наихудших значений параметра UOL ИС типа 133ЛА8 и 133ЛРЗ, имеющих наибольшую фактическую наработку 150 тыс. ч при испытаниях на долговечность без единого отказа.

Пример. Использование различных НС в задачах прогнозирования процесса деградации параметра UOL ИС типа 133ЛА8.

Предъявим входной вектор P (P = [1,5 2,5 3,5 4,5 5,5 6,5 7,5 8,5 9,5 10,5 11,5 12,5 13,5 14,5 15,5 16,5 17,5 18,5 19,5 20,5 21,5 22,5 23,5 24,5 25,5 26,5 27,5 28,5 29,5 30,5 31,5 32,5 33,5 34,5 35,5 36,5 37,5 38,5 39,5 40,5 41,5 42,5 43,5 44,5 45,5 46,5 47,5 48,5 49,5 50,5 51,5 52,5 53,5 54,5 55,5]) и построим прогнозы НС с 45,5 до 55,5. Рассмотрим работу однонаправленной многослойной сети (newff) и сети с радиальными базисными элементами (newrbe) с точки зрения экстраполяции (прогнозирование неизвестных значений путем продолжения функций за границы области известных значений) (рис. 2). Тенденции прогнозов сетей newrbe и сети newff разные. У сети newff прогноз резко падает до нуля и уходит в область отрицательных значений параметра UOL. К тому же сеть newff с новыми значениями вектора P неадекватно описывает ряд деградации. Поэтому прогнозы сети newff исключим из рассмотрения. У сети newrbe прогноз кажется более правдоподобным и сеть более адекватна при предъявлении нового вектора P, тем не менее в некоторых точках значения сети превышают пороговый уровень параметрического отказа по ТУ. Рассмотрим работу обобщенно-регрессионной сети (newgrnn), являющейся разновидностью НС с радиальными базисными элементами. Сеть хорошо описывает ряд деградации. Следовательно, ее прогнозы должны быть правдоподобными. Работа линейной сети (newlind) и ее прогноз подобны линейной регрессии. НС хорошо выявляет общую тенденцию ряда. Прогнозы всех четырех сетей показывают отсутствие параметрических отказов в выборке.

Рис. 2. Прогноз однонаправленной многослойной сети (newff), сети с радиальными базисными элементами (newrbe), обобщенно0регрессионной сети (newgrnn), линейной сети (newlind) и аппроксимация ряда полиномом 100й степени

На рис. 2 также показана аппроксимация ряда полиномом 10-й степени. Однако экстраполяция резко срывается вверх. Использование моделей НС в системе MATLAB/Simulink позволяет найти среднее значение работы этих сетей. Так, НС newrbe дает среднее 0,283 В, НС newgrnn — 0,289 В, НС newff — 0,273 В, НС newlind — 0,3364 В. Среднее значение всех четырех НС — 0,295 В. Последнее значение наблюдаемого ряда — 0,248 В. На рис. 3 показана реализация моделей НС в системе MATLAB/Simulink.

Рис. 3. Модели НС в системе MATLAB/Simulink (сверху вниз): сеть с радиальными базисными элементами, линейная сеть, однонаправленная многослойная сеть, обобщенно0регрессионная сеть

Представляет интерес сравнить прогнозы НС, построенных в системе MATLAB/Simulink, с прогнозами АРПСС-моделей, построенными как к части, так и к целому ряду деградации параметра UOL, с использованием статистического пакета программ Statistica for Windows.

На рис. 4 показано сравнение прогноза, построенного к части ряда процесса деградации параметра UOL ИС типа 133ЛР3 (с 30 до 45 замеров), с использованием модели АРПСС(2,0,0) (Zt – 0,536Zt–1 – 0,452Zt–2at , где Zt — ряд деградации, at—белый шум, параметры модели вычислены точным методом максимального правдоподобия с использованием системы Statistica for Windows), построенной по 45 замерам (целый ряд) с прогнозом НС newgrnn с 30 до 45 замеров, обученной на 30 замерах (урезанный ряд). Приводится прогноз модели АРПСС(2,0,0) и прогнозы НС newgrnn и newrbe за пределы ряда деградации (с 45 до 55 замеров), построенные по 45 замерам.

Рис. 4. Сравнение прогноза (с 30 до 45 замеров) модели АРПСС(2,0,0) процесса деградации параметра UOL ИС типа 133ЛР3, построенной по 45 замерам, с прогнозом сети newgrnn с 30 до 45 замеров, построенной по 30 замерам, и работой НС newgrnn и newrbe по 45 замерам. Также показано сравнение прогноза (с 45 до 55 замеров) модели АРПСС(2,0,0) с прогнозами НС newgrnn и newrbe

На рис. 5 показано сравнение прогноза АРПСС(2,0,0) модели процесса деградации параметра UOL ИС типа 133ЛА8 с прогнозами сети newgrnn и newrbe. Глубина прогнозов ограничивается 10 замерами (около 33 тыс. ч). Во всех случаях имеет место пересечение прогнозов АРПСС-модели с прогнозами НС newgrnn и newrbe. После пересечения значения прогнозов начинают быстро расходиться. Прогнозы сетей newgrnn и newrbe укладываются в доверительные интервалы 90% моделей АРПСС. В целом НС newlind, newgrnn и newrbe дают прогнозные значения, находящиеся в согласии с прогнозами АРПСС-моделей.

Рис. 5. Сравнение прогноза АРПСС(2,0,0) модели процесса деградации параметра UOL ИС типа 133ЛА8 с прогнозами сетей newgrnn и newrbe

Если не произойдет смена направления процесса деградации, проявляющаяся в скачкообразном изменении хода кривой (означающем или смену действующего механизма деградации, или значительное накопление изменений, ведущее к качественному скачку в состоянии объекта, что может быть зафиксировано как отказ), то прогнозы АРПСС-моделей и НС можно признать удовлетворительными.

К недостаткам НС следует добавить проблему переобучения или слишком близкой подгонки. Подобное явление возникает при аппроксимации посредством полиномов. Графики полиномов могут иметь различную форму: чем выше степень многочлена, тем более сложной может быть эта форма. Предположим, что требуется подогнать к данным полиномиальную кривую (модель) и получить объяснение для имеющейся зависимости. Данные могут быть зашумлены, поэтому нельзя считать, что самая лучшая модель задается кривой, которая в точности проходит через все имеющиеся точки. Полином низкого порядка может быть недостаточно гибким средством для аппроксимации данных, в то время как полином высокого порядка может оказаться чересчур гибким и будет точно следовать данным, принимая при этом замысловатую форму, не имеющую никакого отношения к форме настоящей зависимости. НС сталкивается с точно такой же проблемой. Сети с большим числом весов моделируют более сложные функции и, следовательно, склонны к переобучению. Сеть же с небольшим числом весов может оказаться недостаточно гибкой, чтобы смоделировать имеющуюся зависимость.

С практической точки зрения, от пользователя НС не требуется высокого уровня математической подготовки, как это потребовалось бы, если необходимо провести прогнозирование с использованием методов теории временных рядов (АРПСС-моделей). От пользователя требуется набор эвристических знаний о том, как следует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты.

Метод прогнозирования деградации выходных параметров ТТЛ ИС с использованием НС может выступать как альтернатива прогнозированию с использованием методов теории цифровых фильтров, идентификации систем и временных рядов, когда не удается установить вид моделей динамических систем. К недостаткам следует добавить проблему переобучения или слишком близкой подгонки и плохие экстраполирующие возможности для некоторых видов НС. При практической работе с НС приходится экспериментировать с большим числом различных сетей, обучая каждую из них по несколько раз и сравнивая полученные результаты.

Использование прогнозов НС позволяет повысить достоверность прогнозов АРПСС-моделей. Точечные прогнозы НС и АРПСС-моделей показывают «не ухудшение» параметра UOL ИС типа 133ЛА8 и 133ЛР3 еще по крайней мере в течение 35 тыс. ч. Общая наработка с учетом прогнозных значений составит 185 тыс. ч.

Полученные результаты прогнозов с использованием НС и АРПСС-моделей позволяют подтвердить гарантийную наработку 200 тыс. ч в облегченном режиме по параметру UOL.

Отталкиваясь от реальных накопленных статистических данных о процессе деградации выходных параметров ТТЛ ИС и используя систему MATLAB/Simulink и САПР программируемых логических ИС (ПЛИС), например, Max+Plus II, адаптивные фильтры и НС могут быть перенесены в ПЛИС с архитектурой программируемых пользователем вентильных матриц (ППВМ, FPGA) в качестве адаптивных следящих фильтров за процессом деградации электрических параметров ТТЛ ИС в составе радиоэлектронной аппаратуры с длительным сроком активного существования. Для этого могут быть также использованы отечественные специализированные процессоры цифровой обработки сигналов 1892ВМ3Т (МС-12) и 1892ВМ2Т (МС-24) с отладочными комплектами НТЦ «Модуль» [14].

Работа выполнена по программе гранта РФФИ 05-08-01225-а.

Литература

  1. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть I // Компоненты и технологии. 2005. № 8.
  2. Строгонов А. В. Использование цифровых фильтров для моделирования деградации выходных параметров ТТЛ ИС в системе MATLAB/Simulink // Компоненты и технологии. 2005. № 8.
  3. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть II // Компоненты и технологии. 2005. № 9.
  4. Электронный учебник по промышленной статистике. М.: StatSoft. 2001. http://www.statsoft.ru/home/portal/textbook_ind/default.htm
  5. Дьяконов В. П., Абраменкова И. В., Круглов В. В. MATLAB 5.3.1 с пакетами расширений. М.: Нолидж. 2001.
  6. Demuth H., Beale M. Neural Network Toolbox For Use with MATLAB.
  7. Уидроу Б., Стирнз С. Адаптивная обработка сигналов: Пер. с англ. М.: Радио и связь. 1989.
  8. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ. М.: Наука. Гл. ред. физ.-мат. лит. 1991.
  9. Справочник по прикладной статистике. В 2-х т. Т. 2: Пер. с англ. М.: Финансы и статистика. 1990.
  10. Боровиков В. П., Ивченко Г. И. Прогнозирование в системе STATISTICA в среде Windows. Основы теории и интенсивная практика на компьютере: Учеб. пособие. М.: Финансы и статистика. 1999.
  11. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир. 1974.
  12. Сверхбольшие интегральные схемы и современная обработка сигналов: Пер. с англ. М.: Радио и связь. 1989.
  13. Цифровая обработка сигналов / Сост. А. Б. Сергиенко. СПб.: Питер Пресс. 2003.
  14. Реализация искусственных нейронных сетей в НТЦ «Модуль» // Компоненты и технологии. 2005. № 4.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *