Использование нейронных сетей для прогнозирования деградации выходных параметров ТТЛ ИС в системе MATLAB / Simulink

В данной работе рассматривается прогнозирование деградации параметров ТТЛ ИС с использованием нейронных сетей и системы MATLAB/Simulink (на примере деградации наихудших значений параметра выходного напряжения низкого уровня U_OL по результатам испытаний на долговечность в течение 150 тыс. ч выборки из 20 ТТЛ ИС типа 133ЛА8 и выборки из 20 ТТЛ ИС типа 133ЛР3) как альтернатива прогнозированию с использованием методов теории цифровых фильтров, идентификации систем и временных рядов (АРПСС9модели) [1–3].

Методы нейронных сетей (НС) получают все большее распространение в самых различных областях, начиная от фундаментальных исследований и заканчивая задачами добычи данных, прогнозирования в бизнесе, управления рисками, инженерными приложениями и т. д. НС широко используются при прогнозирование финансовых временных рядов с помощью многослойных персептронов, при прогнозирование хаотических временных рядов [4–6].

НС используется тогда, когда неизвестен точный вид связей между входами и выходами объекта — если бы он был известен,то связь можно было бы моделировать непосредственно. Если сеть обучена хорошо, она приобретает способность моделировать функцию, связывающую значения входных и выходных переменных, и впоследствии такую сеть можно использовать для прогнозирования в ситуации, когда выходные значения неизвестны [4–6].

Задачи прогнозирования можно разбить на два основных класса: классификация и регрессия. В задачах классификации требуется определить, к какому из нескольких заданных классов принадлежит данный входной набор. В задачах регрессии требуется предсказать значение переменной, принимающей непрерывные числовые значения. НС может решать одновременно несколько задач регрессии и классификации, однако обычно в каждый момент решается только одна задача. Таким образом, в большинстве случаев НС будет иметь всего одну выходную переменную; в случае задач классификации со многими состояниями для этого может потребоваться несколько выходных элементов. Многочисленные опыты с сетями показали, что для задач регрессии рекомендуется использовать многослойный персептрон, сеть с радиальными базисными элементами, обобщенно-регрессионную сеть и линейную сеть [4–6].

Нейрон — это составная часть нейронной сети. В состав нейрона входят умножители, сумматор и нелинейный преобразователь. Первые умножают входной сигнал (векторстрока) p на веса (матрица-вектор) W. Второй выполняет сложение сигналов. Последний реализует нелинейную функцию выхода сумматора. Эта функция называется «функция активации». Математически модель нейрона записывается в виде [4–6]:

где n — результат суммирования (∑); p₁, p₂,…p_R — компоненты входного вектора (входной сигнал); R — число входов нейрона; w_1,1, w_1,2,…, w_1,R — веса (матрица-вектор); b — смещение (скаляр); a — выходной сигнал нейрона; f — нелинейное преобразование (функция активации).

Модель нейрона имеет сходство с адаптивным линейным сумматором, на базе которого могут быть построены адаптивные трансверсальные фильтры (адаптивный линейный сумматор с элементами задержки). На рис. 1а показан адаптивный линейный сумматор для многих входов. Модель нейрона показана на рис. 1б. Адаптивный трансверсальный фильтр является временной формой нерекурсивного адаптивного фильтра и широко применяется при адаптивном моделировании и адаптивной обработке сигналов. Типичный пример — адаптивное устройство предсказания (адаптивный фильтр Калмана) [7–9]. Пример использования адаптивного фильтра Калмана для прогнозирования процесса деградации выходных параметров ТТЛ ИС показан в работе [2].

Для адаптивного линейного сумматора с одним входом X_k (вектор отсчетов) и с весовыми коэффициентами W_k выражение для выходного сигнала адаптивного трансверсального фильтра [7] имеет вид:

или в матричном виде:

Сигнал ошибки адаптивного сумматора ε_k с индексом k (где k—отсчеты):

СКО (среднеквадратическая ошибка) адаптивного линейного сумматора:

где R — корреляционная матрица:

Нейрон полностью описывается весами W(матрица-вектор в сокращенном обозначении) и передаточной функцией ƒ . На входной сигнал нелинейный преобразователь отвечает выходным сигналом ƒ (n), который представляет выход нейрона. Наиболее распространенные функции активации: пороговая, линейная, сигмоидальная. Предположим, что сеть состоит из трех персептронов (пороговая функция активации — если сумма больше заданного порогового значения, выход равен 1, в противном случае — 0). Математически это записывается в виде:

Очень много схожего и в алгоритмах поиска весовых коэффициентов адаптивного линейного сумматора и НС [7]. Поиск вектора весовых коэффициентов, соответствующего минимуму рабочей функции, в обоих случаях может быть осуществлен градиентными методами [7]:

Здесь k — номер итерации; μ — константа, от которой зависит устойчивость и скорость сходимости. В частности, градиент функции СКО получается дифференцированием функции ξ (градиент ошибки):

СКО для адаптивного сумматора с одним входом:

Если предположить, что вектор весовых коэффициентов W равен оптимальному W*, то Δ = 2RW* – 2P = 0 и W* = R^–1P.

Для случая со многими весовыми коэффициентами (много входов адаптивного линейного сумматора) метод Ньютона имеет вид [7]:

И адаптивный фильтр Калмана, в основе которого лежит общая линейная модель (ОЛМ) с дискретным временем, описывающая состояние системы в фазовом пространстве X_t+1 = F_t X_t + e_t , где X_t – (n×1)— вектор фазовых переменных состояния системы; F_t – (n×n) — матрица перехода; e_t – (n×1) — вектор шума системы, объекта или ошибки модели, и НС обладают способностью к прогнозированию [4, 5, 9].

Прогноз в момент t состояния системы в момент t+1 в терминах калмановской фильтрации может быть представлен в виде [9]:

Ошибка прогноза X_t+1|t может быть найдена из соотношения X_t+1|t = F_tX_t|t+ e_t, а ковариационная матрица ошибки прогноза из соотношения [9]: P_t+1|t = F_tP_t|tF_t^T + Q, где Q—ковариационная матрица e_t .

Однако фильтр Калмана и другие адаптивные фильтры, в основе которых лежит уравнение КИХ-фильтра с адаптивными коэффициентами (например, алгоритм LMS, основанный на минимизации СКО, и алгоритм RMS по критерию наименьших квадратов), способны выступать в роли следящих фильтров или строить одношаговый прогноз [7]. В то время как НС обученные и настроенные способны решать задачи регрессии. В этом смысле они способны составить конкуренцию другим методам прогнозирования, например, с использованием АРПСС-моделей (моделей авторегрессии проинтегрированного скользящего среднего). Примеры прогнозирования процесса деградации выходных параметров ТТЛ ИС с использованием АРПСС-моделей приведены в работе [3]. Следует заметить, что параметры АРПСС-моделей все так же эффективно могут быть оценены нелинейным методом наименьших квадратов (МНК), например демпфированным методом Гаусса–Ньютона. Наиболее хорошо зарекомендовал себя на практике метод Левенберга–Марквардта. Он же широко используется и для обучения НС (функция TRAINLM обеспечивает наиболее быстрое обучение). Для обучения НС в настоящее время используется большое множество разновидностей градиентного метода. Например, алгоритм обратного распространения — это итеративный градиентный алгоритм обучения, который используется для минимизации среднеквадратичного отклонения текущего выхода и желаемого выхода многослойных нейронных сетей [10, 11].

Подытоживая, можем заключить, что адаптивные фильтры, АРПСС-модели и НС базируются на общем математическом аппарате — нелинейном методе наименьших квадратов — для отыскания весовых коэффициентов или параметров АРПСС-моделей. Хотя существуют и другие методы, например метод максимума правдоподобия (ММП-оценки). Как показывает практика, ММП-оценки и МНК-оценки во многих случаях дают примерно одинаковые результаты [9, 11]. Следовательно, результаты прогнозирования с использованием НС и АРПСС-моделей на краткосрочный период должны быть примерно одинаковы.

Адаптивные фильтры, в том числе и КИХ-фильтры, способны строить одношаговый прогноз и не пригодны для экстраполяции [7–9]. Справедливости ради следует заметить, что цифровые фильтры (они разрабатывались для обработки сигналов) имеют связь с линейными моделями временных рядов посредством рациональных передаточных функций. Так, АРПСС-модель — это фильтр общего вида, содержащий рекурсивную (БИХ-фильтр) и нерекурсивную ветви (КИХ-фильтр) [12, 13].

Цель данной работы — показать, насколько правдоподобными оказываются прогнозы НС и АРПСС-моделей, а также оценить адекватность различных сетевых парадигм, которые хорошо зарекомендовали себя в задачах регрессии, и адекватность АРПСС-моделей по результатам их прогнозов.

В качестве объекта исследования возьмем ряды деградации наихудших значений параметра U_OL ИС типа 133ЛА8 и 133ЛРЗ, имеющих наибольшую фактическую наработку 150 тыс. ч при испытаниях на долговечность без единого отказа.

Пример. Использование различных НС в задачах прогнозирования процесса деградации параметра U_OL ИС типа 133ЛА8.

Предъявим входной вектор P (P = [1,5 2,5 3,5 4,5 5,5 6,5 7,5 8,5 9,5 10,5 11,5 12,5 13,5 14,5 15,5 16,5 17,5 18,5 19,5 20,5 21,5 22,5 23,5 24,5 25,5 26,5 27,5 28,5 29,5 30,5 31,5 32,5 33,5 34,5 35,5 36,5 37,5 38,5 39,5 40,5 41,5 42,5 43,5 44,5 45,5 46,5 47,5 48,5 49,5 50,5 51,5 52,5 53,5 54,5 55,5]) и построим прогнозы НС с 45,5 до 55,5. Рассмотрим работу однонаправленной многослойной сети (newff) и сети с радиальными базисными элементами (newrbe) с точки зрения экстраполяции (прогнозирование неизвестных значений путем продолжения функций за границы области известных значений) (рис. 2). Тенденции прогнозов сетей newrbe и сети newff разные. У сети newff прогноз резко падает до нуля и уходит в область отрицательных значений параметра U_OL. К тому же сеть newff с новыми значениями вектора P неадекватно описывает ряд деградации. Поэтому прогнозы сети newff исключим из рассмотрения. У сети newrbe прогноз кажется более правдоподобным и сеть более адекватна при предъявлении нового вектора P, тем не менее в некоторых точках значения сети превышают пороговый уровень параметрического отказа по ТУ. Рассмотрим работу обобщенно-регрессионной сети (newgrnn), являющейся разновидностью НС с радиальными базисными элементами. Сеть хорошо описывает ряд деградации. Следовательно, ее прогнозы должны быть правдоподобными. Работа линейной сети (newlind) и ее прогноз подобны линейной регрессии. НС хорошо выявляет общую тенденцию ряда. Прогнозы всех четырех сетей показывают отсутствие параметрических отказов в выборке.

На рис. 2 также показана аппроксимация ряда полиномом 10-й степени. Однако экстраполяция резко срывается вверх. Использование моделей НС в системе MATLAB/Simulink позволяет найти среднее значение работы этих сетей. Так, НС newrbe дает среднее 0,283 В, НС newgrnn — 0,289 В, НС newff — 0,273 В, НС newlind — 0,3364 В. Среднее значение всех четырех НС — 0,295 В. Последнее значение наблюдаемого ряда — 0,248 В. На рис. 3 показана реализация моделей НС в системе MATLAB/Simulink.

Представляет интерес сравнить прогнозы НС, построенных в системе MATLAB/Simulink, с прогнозами АРПСС-моделей, построенными как к части, так и к целому ряду деградации параметра U_OL, с использованием статистического пакета программ Statistica for Windows.

На рис. 4 показано сравнение прогноза, построенного к части ряда процесса деградации параметра U_OL ИС типа 133ЛР3 (с 30 до 45 замеров), с использованием модели АРПСС(2,0,0) (Z_t – 0,536Z_t–1 – 0,452Z_t–2 – a_t , где Z_t — ряд деградации, at—белый шум, параметры модели вычислены точным методом максимального правдоподобия с использованием системы Statistica for Windows), построенной по 45 замерам (целый ряд) с прогнозом НС newgrnn с 30 до 45 замеров, обученной на 30 замерах (урезанный ряд). Приводится прогноз модели АРПСС(2,0,0) и прогнозы НС newgrnn и newrbe за пределы ряда деградации (с 45 до 55 замеров), построенные по 45 замерам.

На рис. 5 показано сравнение прогноза АРПСС(2,0,0) модели процесса деградации параметра U_OL ИС типа 133ЛА8 с прогнозами сети newgrnn и newrbe. Глубина прогнозов ограничивается 10 замерами (около 33 тыс. ч). Во всех случаях имеет место пересечение прогнозов АРПСС-модели с прогнозами НС newgrnn и newrbe. После пересечения значения прогнозов начинают быстро расходиться. Прогнозы сетей newgrnn и newrbe укладываются в доверительные интервалы 90% моделей АРПСС. В целом НС newlind, newgrnn и newrbe дают прогнозные значения, находящиеся в согласии с прогнозами АРПСС-моделей.

Если не произойдет смена направления процесса деградации, проявляющаяся в скачкообразном изменении хода кривой (означающем или смену действующего механизма деградации, или значительное накопление изменений, ведущее к качественному скачку в состоянии объекта, что может быть зафиксировано как отказ), то прогнозы АРПСС-моделей и НС можно признать удовлетворительными.

К недостаткам НС следует добавить проблему переобучения или слишком близкой подгонки. Подобное явление возникает при аппроксимации посредством полиномов. Графики полиномов могут иметь различную форму: чем выше степень многочлена, тем более сложной может быть эта форма. Предположим, что требуется подогнать к данным полиномиальную кривую (модель) и получить объяснение для имеющейся зависимости. Данные могут быть зашумлены, поэтому нельзя считать, что самая лучшая модель задается кривой, которая в точности проходит через все имеющиеся точки. Полином низкого порядка может быть недостаточно гибким средством для аппроксимации данных, в то время как полином высокого порядка может оказаться чересчур гибким и будет точно следовать данным, принимая при этом замысловатую форму, не имеющую никакого отношения к форме настоящей зависимости. НС сталкивается с точно такой же проблемой. Сети с большим числом весов моделируют более сложные функции и, следовательно, склонны к переобучению. Сеть же с небольшим числом весов может оказаться недостаточно гибкой, чтобы смоделировать имеющуюся зависимость.

С практической точки зрения, от пользователя НС не требуется высокого уровня математической подготовки, как это потребовалось бы, если необходимо провести прогнозирование с использованием методов теории временных рядов (АРПСС-моделей). От пользователя требуется набор эвристических знаний о том, как следует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты.

Метод прогнозирования деградации выходных параметров ТТЛ ИС с использованием НС может выступать как альтернатива прогнозированию с использованием методов теории цифровых фильтров, идентификации систем и временных рядов, когда не удается установить вид моделей динамических систем. К недостаткам следует добавить проблему переобучения или слишком близкой подгонки и плохие экстраполирующие возможности для некоторых видов НС. При практической работе с НС приходится экспериментировать с большим числом различных сетей, обучая каждую из них по несколько раз и сравнивая полученные результаты.

Использование прогнозов НС позволяет повысить достоверность прогнозов АРПСС-моделей. Точечные прогнозы НС и АРПСС-моделей показывают «не ухудшение» параметра U_OL ИС типа 133ЛА8 и 133ЛР3 еще по крайней мере в течение 35 тыс. ч. Общая наработка с учетом прогнозных значений составит 185 тыс. ч.

Полученные результаты прогнозов с использованием НС и АРПСС-моделей позволяют подтвердить гарантийную наработку 200 тыс. ч в облегченном режиме по параметру U_OL.

Отталкиваясь от реальных накопленных статистических данных о процессе деградации выходных параметров ТТЛ ИС и используя систему MATLAB/Simulink и САПР программируемых логических ИС (ПЛИС), например, Max+Plus II, адаптивные фильтры и НС могут быть перенесены в ПЛИС с архитектурой программируемых пользователем вентильных матриц (ППВМ, FPGA) в качестве адаптивных следящих фильтров за процессом деградации электрических параметров ТТЛ ИС в составе радиоэлектронной аппаратуры с длительным сроком активного существования. Для этого могут быть также использованы отечественные специализированные процессоры цифровой обработки сигналов 1892ВМ3Т (МС-12) и 1892ВМ2Т (МС-24) с отладочными комплектами НТЦ «Модуль» [14].

Работа выполнена по программе гранта РФФИ 05-08-01225-а.

Литература

1. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть I // Компоненты и технологии. 2005. № 8.
2. Строгонов А. В. Использование цифровых фильтров для моделирования деградации выходных параметров ТТЛ ИС в системе MATLAB/Simulink // Компоненты и технологии. 2005. № 8.
3. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть II // Компоненты и технологии. 2005. № 9.
4. Электронный учебник по промышленной статистике. М.: StatSoft. 2001. http://www.statsoft.ru/home/portal/textbook_ind/default.htm
5. Дьяконов В. П., Абраменкова И. В., Круглов В. В. MATLAB 5.3.1 с пакетами расширений. М.: Нолидж. 2001.
6. Demuth H., Beale M. Neural Network Toolbox For Use with MATLAB.
7. Уидроу Б., Стирнз С. Адаптивная обработка сигналов: Пер. с англ. М.: Радио и связь. 1989.
8. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ. М.: Наука. Гл. ред. физ.-мат. лит. 1991.
9. Справочник по прикладной статистике. В 2-х т. Т. 2: Пер. с англ. М.: Финансы и статистика. 1990.
10. Боровиков В. П., Ивченко Г. И. Прогнозирование в системе STATISTICA в среде Windows. Основы теории и интенсивная практика на компьютере: Учеб. пособие. М.: Финансы и статистика. 1999.
11. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир. 1974.
12. Сверхбольшие интегральные схемы и современная обработка сигналов: Пер. с англ. М.: Радио и связь. 1989.
13. Цифровая обработка сигналов / Сост. А. Б. Сергиенко. СПб.: Питер Пресс. 2003.
14. Реализация искусственных нейронных сетей в НТЦ «Модуль» // Компоненты и технологии. 2005. № 4.