Использование линейной нейронной сети в задачах адаптивного прогнозирования деградации выходных параметров интегральных схем ИС

№ 2’2006
Исследования, проведенные в работах [1–3], показали, что модели цифровых фильтров и модели временных рядов, используемые для прогнозирования процесса деградации контролируемых параметров ТТЛ ИС при испытаниях на долговечность, связаны между собой и базируются на общем математическом аппарате для отыскания параметров этих моделей.

Исследования, проведенные в работах [1–3], показали, что модели цифровых фильтров и модели временных рядов, используемые для прогнозирования процесса деградации контролируемых параметров ТТЛ ИС при испытаниях на долговечность, связаны между собой и базируются на общем математическом аппарате для отыскания параметров этих моделей. Цифровые фильтры способны лишь строить одношаговые прогнозы и не подходят для прогнозирования времени наступления параметрических отказов. Модели временных рядов позволяют прогнозировать время наступления параметрического отказа по траектории процесса деградации контролируемого параметра. Однако при решении задач реального времени, к которым можно отнести задачи слежения и одношагового прогнозирования, они непригодны, т. к. для оценивания параметров моделей требуется накопление статистических данных. Необходима процедура идентификации модели и последующее исследование ее адекватности. Альтернативой использованию моделей цифровых фильтров и временных рядов могут выступать нейронные сети (НС), которые способны решать более широкий круг задач [4].

Цель данной работы — показать эффективность использования линейной статической и динамической нейронной сети (НС) в решении практических задач — прогнозирования (экстраполяции), слежения, фильтрации, одношагового прогнозирования процесса деградации контролируемых параметров ИС.

Линейная сеть представляется сетью без промежуточных слоев, в выходном слое она содержит только элементы с линейной функцией активации. Веса соответствуют элементам матрицы, а пороги — компонентам вектора смещения. Во время работы сеть умножает вектор входов на матрицу весов, а затем к полученному вектору прибавляет вектор смещения [5–7]. Модель нейрона с линейной функцией активации приведена в работах [8, 9]. Модель сети записывается в матричном виде: Y = ƒ(Wp+b). Для работы с линейой сетью в системе MatLab/Simulink существуют две М-функции: newlin и newlind [6].

Функция создания слоя линейных нейронов newlin (PR, S, ID, LR) имеет следующие аргументы: PRR×2-матрица минимальных и максимальных значений для R-входных элементов; S — число элементов в выходном слое; ID — вектор входной задержки, по умолчанию [0]; LR — коэффициент обучения, по умолчанию 0,01. Функция newlin требует дополнительного обучения.

Функция проектирования нового слоя newlind (P, T) по матрицам входных и выходных векторов методом наименьших квадратов (МНК) определяет веса и смещения линейной сети. Начальные веса и смещение по умолчанию равны нулю. Функция не требует дополнительного обучения. Линейная функция в выходном слое не меняет уровня активации, не насыщается и поэтому способна экстраполировать.

Использование линейной НС должно быть основано на том предположении, что вход (вектор P) и выход (вектор T) связаны между собой линейно.

Рассмотрим пример использования однослойной статической линейной НС (функция newlind) в задачах прогнозирования процесса деградации параметра UOL ИС типа 133ЛА8 и ИС типа 133ЛР3 [1–4]. Статическая НС характеризуется тем, что в ее состав не входят линии задержки и/или обратные связи. Для того, чтобы построить прогнозы НС, необходимо осуществить моделирование сети с вектором P, а не с T. В этом случае НС приобретает способность экстраполировать за пределы рассматриваемого ряда деградации.

Ниже приводится алгоритм настройки линейной НС с использованием функции newlind для параметра UOL ИС типа 133ЛА8 и ИС типа 133ЛР3.

На рис. 1 показано использование линейной НС newlind в задачах прогнозирования процесса деградации параметра UOL ИС типа 133ЛА8 (а) и ИС типа 133ЛР3 (б). Работа сети в обоих случаях может быть описана уравнением линейной регрессии. Для параметра UOL ИС типа 133ЛР3 уравнение линейной регрессии имеет вид: y = 0.29 – 0.00048×P. Однако коэффициент линейной регрессии 0.00048 статистически незначим, т. е. мало отличается от нуля. C учетом статистических критериев, применяемых к уравнению регрессии, следует принять: y = 0.29 В. На рис. 2а показано поле корреляции по параметру UOL ИС типа 133ЛА8 между целевым вектором T и выходом НС Y, полученное с использованием регрессионного анализа. Низкое значение коэффициента корреляции R = 0.181 говорит о том, что выход сети Y достаточно сильно отклоняется от целевого вектора T при предъявлении вектора P.

Рис. 1. Использование линейной НС newlind в задачах прогнозирования процесса деградации: а — параметра UOL ИС типа 133ЛА8; б — параметра UOL ИС типа 133ЛР3
Рис. 2. Поле корреляции по параметру UOL ИС типа 133ЛА8 линейной НС: а — задача прогнозирования процесса деградации (newlind); б — задача слежения за процессом деградации (newlin)

Рассмотрим пример использования однослойной статической линейной НС (функция newlin) в задачах слежения за процессом деградации параметра UOL ИС типа 133ЛА8. Параметр скорости настройки НС lr = 0,01. Задержка ряда деградации нулевая delays=[0]. Обучим сеть в два этапа с использованием функции группового обучения trainb. Первый этап: число эпох 400, ошибка работы сети 1e-3. На втором этапе зададим число эпох 2000, ошибку работы сети 1e-5. Критерием остановки процесса тренировки будет служить достижение заданной ошибки функционирования сети или превышение максимального числа эпох. В качестве функции оценки функционирования сети (ошибка сети) могут быть использованы любые дифференцируемые функции, например MSE (среднеквадратическая ошибка сети, СКО) или MSEREG (взвешенная сумма среднеквадратической ошибки).

На рис. 2б показано поле корреляции по параметру UOL ИС типа 133ЛА8 между целевым вектором T и выходом НС Y после второго этапа обучения. Высокое значение коэффициента корреляции R = 1 говорит о том, что сеть обучилась должным образом. Результат выполнения функции errsurf c использованием функции plotes показан на рис. 3. Оптимальные значения весов и смещений для данной сети на рис. 3 показаны светлоголубым цветом. На рис. 4а показана работа линейной сети после первого этапа обучения, а на рис. 4б — после второго этапа.

Рис. 3. Результат выполнения функции errsurf обученной линейной НС для задачи слежения за процессом деградации параметра UOL ИС типа 133ЛА8: а — поверхность ошибок; б — контур ошибок
Рис. 4. Работа линейной сети в задаче слежения за процессом деградации параметра UOL ИС типа 133ЛА8: а — после обучения (первый этап); б — после обучения (второй этап)

Рассмотрим пример использования линейной динамической НС в задачах адаптивной фильтрации ряда деградации параметра UOL ИС типа 133ЛА8. Эти сети характеризуются наличием линий задержки. Динамическая НС характеризуется тем, что в ее состав входят линии задержки и/или обратные связи. Принцип адаптивной настройки заключается в том, что векторы обучающей выборки поступают на вход сети одновременно, а последовательно, по одному, при этом после предъявления очередного вектора производятся корректировка весов и смещений и производится моделирование сети, затем все повторяется. Для сетей такого класса часто используется название ADALINE (adaptive linear network) — адаптируемые линейные сети [8].

Линейные динамические НС могут быть адаптированы для решения задач фильтрации временных сигналов [10]. На рис. 5а и б показано использование линейной НС в задачах фильтрации рядов деградации выходных параметров ТТЛ ИС.

Рис. 5. Топология линейной сети и ее параметры после 30 циклов обучения: а — идея использования линейной НС в задачах фильтрации рядов деградации выходных параметров ИС; б — топология сети и раскрытие блока задержек; в — изменение весовых коэффициентов в процессе адаптации; г — ошибка работы сети

Сформируем линейную сеть с одним входом и одним выходом, используя функцию newlin. Введем линию задержки (ЛЗ) с двумя тактами запаздывания. Два такта задержки обосновываются тем, что процесс деградации параметра UOL ИС типа 133ЛА8 может быть описан моделью авторегрессии второго порядка (AР(2)-модель) [1–3]:

Выполним пробную последовательную адаптацию линейной сети, используя процедуру адаптации adapt и оператор цикла. Произвольно зададим 30 циклов адаптации. Ряд деградации поступает на линию задержки так, что на ее выходе формируются два ряда: p(t–1), p(t–2). Настройка сети реализуется с помощью М-функции adapt, которая изменяет параметры сети на каждом шаге с целью минимизировать погрешность e(t) = a(t)p(t). Если эта погрешность нулевая, то выход сети a(t) точно равен p(t) и сеть выполняет работу должным образом. НС в данном случае выступает в роли адаптивного цифрового фильтра [10].

Использование оператора цикла позволяет просматривать изменение коэффициентов сети в процессе адаптации. На рис. 5в показано изменение весовых коэффициентов в процессе адаптации. На рис. 5г показано изменение ошибки работы сети. СКО НС после 30 циклов обучения составляет 0.031. Будем считать, что ошибка работы неудовлетворительна, и продолжим тренировку сети. Зададим ошибку функционирования сети равной 0.0001. Тогда число циклов тренировки до достижения заданной ошибки функционирования составит 1035.

Ниже приводится другой способ настройки параметров линейной сети с использованием процедуры адаптации adapt. Произвольно задается 800 циклов адаптации. На рис. 6 показана фильтрация ряда деградации параметра UOL ИС типа 133ЛА8 линейной сетью после обучения.

Рис. 6. Фильтрация ряда деградации параметра UOL ИС типа 133ЛА8 линейной сетью после ее обучения

Рассмотрим пример использования линейной динамической сети в задачах одношагового прогнозирования процесса деградации параметра UOL ИС типа 133ЛА8. Схема метода показана на рис. 7. Ниже приведен сценарий, который предназначен для решения задачи предсказания процесса деградации на один шаг вперед. На рис. 8 показано одношаговое предсказание процесса деградации параметра UOL адаптивным цифровым фильтром на базе линейной динамической сети.

Рис. 7. Использование НС ADALINE для одношагового прогнозирования
Рис. 8. Одношаговое прогнозирование процесса деградации параметра UOL ИС типа 133ЛА8 линейной сетью

На рис. 9 показан испытательный стенд в MatLab/Simulink (сверху вниз): адаптивный цифровой фильтр по критерию наименьшего СКО, по критерию МНК, адаптивный фильтр Калмана, КИХ-фильтр, цифровой адаптивный фильтр на основе НС с использованием линейной сети [4]. В основе адаптивных цифровых фильтров лежит уравнение КИХ-фильтра второго порядка. Работу фильтра по критерию МНК можно улучшить, увеличив память КИХ-фильтра, например, с 2 до 16 отводов. Первоначальные значения коэффициентов КИХ-фильтра могут быть положены равными нулю.

Рис. 9. Испытательный стенд в MatLab/Simulink (сверху вниз): адаптивный цифровой фильтр по критерию СКО, по критерию МНК, адаптивный фильтр Калмана, КИХ-фильтр, цифровой адаптивный фильтр на основе НС с использованием линейной сети

Представляет интерес сравнить одношаговые прогнозы, построенные с использованием различных моделей цифровых фильтров и НС. Сравнение прогнозов адаптивных цифровых фильтров по критерию СКО, МНК, прогноза КИХ-фильтра, прогноза адаптивного фильтра на базе НС с использованием линейной сети с рядом деградации параметра UOL ИС типа 133ЛА8 показано на рис. 10. Видно, что даже при достаточно малом числе отсчетов прогнозы различных моделей цифровых фильтров и НС хорошо согласуются между собой.

Рис. 10. Сравнение прогнозов адаптивных цифровых фильтров по критерию СКО, МНК, прогноза КИХ-фильтра, прогноза адаптивного фильтра на базе НС с использованием линейной сети с рядом деградации параметра UOL ИС типа 133ЛА8

На основе рассмотренных примеров использования линейной НС к изучению процесса деградации параметра UOL ТТЛ ИС типа 133ЛА8, 133ЛР3 можно сделать вывод, что линейные НС, настроенные и обученные должным образом, достаточно хорошо справляются с задачами фильтрации, слежения, одношагового прогнозирования и хуже — с задачами прогнозирования (экстраполяции). Использование прогнозов НС позволяет повысить достоверность одношаговых прогнозов моделей цифровых фильтров.

Работа выполнена по программе гранта РФФИ 05-08-01225-а.

Литература

  1. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть I // Компоненты и технологии. 2005. № 8.
  2. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть II // Компоненты и технологии. 2005. № 9.
  3. Строгонов А. В. Использование цифровых фильтров для моделирования деградации выходных параметров ТТЛ ИС в системе MatLab/Simulink // Компоненты и технологии. 2005. № 8.
  4. Строгонов А. В. Использование нейронных сетей для прогнозирования деградации выходных параметров ТТЛ ИС в системе MatLab/Simulink // Компоненты и технологии. 2006. № 1.
  5. StatSoft, Inc. (2001). Электронный учебник по промышленной статистике. Москва, StatSoft. www.statsoft.ru/home/portal/textbook_ind/default.htm
  6. Дьяконов В. П., Абраменкова И. В., Круглов В. В. MATLAB 5.3.1 с пакетами расширений. М.:Нолидж. 2001.
  7. Howard Demuth, Mark Beale. Neural Network Toolbox For Use with MATLAB.
  8. Галушкин А. И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов. М.: ИПРЖ. 2000.
  9. Маслобоев Ю. П. Введение в Neural Network Toolbox // www.exponenta.ru
  10. Уидроу Б., Стирнз С. Адаптивная обработка сигналов / Пер. с англ. М.: Радио и связь. 1989.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *