Использование нейронных сетей для изучения надежности ИС

Использование нейронных сетей для первичной обработки результатов испытаний ИС на долговечность

Под техническими характеристиками ИС понимают электрические параметры ИС, контролируемые по ТУ. Например, для ТТЛ ИС обязательным является контролирование параметров U_OL (выходное напряжение низкого уровня) и U_OH (выходное напряжение высокого уровня). Статическая и графическая обработка параметров ИС [1] при длительных испытаниях или при изменении внешних условий предполагает построение интегральных распределений (рис. 1), гистограмм (рис. 2), полей корреляции (рис. 3).

Так, интегральные кривые (рис. 1) и гистограммы (рис. 2) показывают, что параметр U_OH ТТЛ ИС типа 106ЛБ1 при всех рассмотренных видах испытаний сильнее подвержен деградации, чем параметр U_OL. Поле корреляций по параметру U_OL ТТЛ ИС типа 106ЛБ1 при испытаниях термоциклами со ступенчатым повышением температуры показывает стабильность параметра в процессе испытаний. 190 термоциклов не вызвали существенного изменения контролируемого параметра. Статистическая обработка дает лишь качественную картину процесса деградации контролируемого параметра в выборке.

В рассмотренных ниже примерах покажем, как можно использовать нейронные сети (НС) в производственных условиях для изучения надежности партии ИС по результатам длительных испытаний на долговечность [2, 3].

Примеры выполнены с привлечением систем Matlab/Simulink фирмы MathWorks, Statistica for Windows фирмы StatSoft и статистического пакета программ NCSS (Number Cruncher Statistical Systems), являющихся признанными лидерами в научных и технических расчетах и использующих новейшие достижения в программировании и теоретических разработках в области статистики. Система визуального имитационного моделирования Matlab/Simulink оснащена специализированными средствами моделирования радиотехнических приложений и статистической обработки результатов измерений.

Обработаем результаты испытаний на долговечность ТТЛ ИС типа 1804ВС1. Дата изготовления выборки ИС с порядковыми номерами N1-20— январь 1987 года, длительность испытаний — 20 тыс. ч. Контролируемый параметр — U_OL. Условие наступления параметрического отказа: U_OL > 0,5 В.

По результатам испытаний формируем матрицу P (рис. 4). Матрица P представляет десятиэлементный вектор входа. В строках отображены значения параметра U_OL конкретной ИС в конкретный замер. Замеры проводились в следующей последовательности: 1 — входной замер; 2 — 1000 ч; 3 — 2000 ч; 4 — 4000 ч; 5 — 5500 ч; 6 — 7500 ч; 8 — 10 000 ч; 9 — 15 000 ч; 10 — 20 000 ч. Столбцы обозначают порядковые номера ИС.

Предположим, что соответствие между входом и целью (выходом) носит выраженный линейный характер, поэтому будем использовать двухслойную нейронную сеть с прямой передачей сигнала (newff); в первом слое используем 180 нейронов с функцией активации tansig (гиперболический тангенс), а во втором — 1 нейрон с линейной функцией активации purelin. Такая структура эффективна для решения задач аппроксимации и регрессии. Число нейронов в первом слое подбирается экспериментальным образом. Увеличение числа нейронов во входном слое приводит к улучшению качества работы нейронной сети, увеличивая при этом ее сложность. Для обучения сети будем использовать М-функцию тренировки traincgf — метод связанных градиентов Флетчера—Пауэлла (Fletcher—Powell). Можно использовать и другие обучающие функции из алгоритмов обратного распространения: функцию traingd («классический» алгоритм обратного распространения ошибки) или функцию traingdm (модифицированный алгоритм обратного распространения ошибки с введенной «инерционностью» коррекции весов и смещений).

Будем использовать пакетный (групповой) режим обучения, согласно которому процедура предъявления сети всего набора тренировочных данных называется эпохой. После завершения одной эпохи вычисляется единственная усредненная ошибка, и сеть модифицируется в соответствии с этой ошибкой (изменяются веса и смещения).

Изменение среднеквадратической ошибки сети в процессе обучения показано на рис. 5. На рис. 6 показано моделирование процесса измерения параметра U_OL ТТЛ ИС типа 1804ВС1 двухслойной обученной однонаправленной НС (функция newff). Однако практической ценности от применения НС в данном случае нет, так как предъявление нового вектора P, составленного по результатам испытаний ТТЛ ИС типа 1804ВС1 выпуска ноября 1988 года (параметр U_OL), приводит к отказу работы НС. Прогнозирующие способности НС в этом случае равны нулю.

Данный пример объясняет целесообразность использования наихудших значений контролируемого параметра U_OL в выборке для использования в дальнейшем при решении таких задач, как слежение за процессом деградации и его прогнозирования. Из рис. 6 видно, что ряд деградации, составленный из наихудших значений в выборке, носит сложный колебательный характер.

Использование нейронных сетей для моделирования процесса деградации параметров ИС

Рассмотрим пример моделирования процесса деградации наихудших значений параметра U_OL ТТЛ ИС типа 133ЛА8 в выборке из 20 шт. с использованием различных методов, возможность применения которых была показана в работах [4–6].

Для замера в момент времени t из четырех выходов одной ТТЛ ИС типа 133ЛА8, связанных с параметром U_OL, выбирается минимальное, максимальное и среднее значение, далее для 20 ИС формируется выборка из этих значений. Из этой выборки выбирается наихудшее значение (максимальное). В момент времени t+1 измерения повторяются. Таким образом, формируется ряд деградации параметра U_OL, состоящий из наихудших значений выборки в целом, в дальнейшем — просто ряд деградации.

Ряд деградации параметра U_OL ИС типа 133ЛА8 в выборке при испытаниях на долговечность в течение 150 тыс. ч имеет вид:

Для моделирования процесса деградации воспользуемся методом линейного предсказания (Linear Predictive Coding, LPC) [5], который широко используется в спектральном анализе и для кодирования звуковых сигналов. Сущность метода заключается в пропускании сигнала (ряда деградации) через нерекурсивный фильтр (КИХ-фильтр):

где

(n) — предсказанное текущее значение сигнала; x(n) — отчеты сигнала; p — порядок предсказывающего фильтра; ? = [1,?(2),?(3),…,?(p+1)] — коэффициенты, подлежащие отысканию. Взвешенную сумму предыдущих отсчетов входного сигнала {x(n)} называют линейным предсказанием (linear prediction — линейный предиктор, прогноз) следующего входного сигнала, а выходной сигнал рассматриваемого фильтра, определяемый как разность между истинным и предсказанным значением отчета — ошибкой предсказания: e(n) = x(n) –

(n) (рис. 7). На рис. 7 H(z) — функция передачи (transfer function) дискретной системы. В LPC-методе коэффициенты фильтра, минимизирующие среднеквадратическое значение ошибки предсказания, совпадают с коэффициентами авторегрессионной модели формирования сигнала [4].

Модели авторегрессии полезны для описания многих встречающихся на практике временных рядов. Первоначально эти модели были созданы для описания случайных систем, обладающих по аналогии с механикой инерцией и подверженных действию сил, возвращающих систему в состояние равновесия. Модели авторегрессии второго порядка оказались пригодными для описания поведения приблизительно циклической природы, прообразом которого может служить маятник, когда на систему воздействуют малые случайные импульсы. Налицо будет колебательное движение, амплитуда и фаза которого будет все время меняться.

Моделирование процесса деградации можно произвести в системе Matlab/Simulink с использованием функции дискретной фильтрации, которая имеет вид: y = filter(b,a,x), где y — вектор отсчетов выходного сигнала фильтра; b — вектор коэффициентов нерекурсивной части фильтра (числитель функции передачи); a — вектор коэффициентов рекурсивной части фильтра (знаменатель функции передачи); x — входной вектор отсчетов. Данная функция позволяет строить как КИХ, так и БИХ-фильтры.

Возьмем порядок предсказывающего фильтра равным двум. Найденный вектор коэффициентов ? = [1,?(2),?(3)], где ?(2), ?(3) — комплексные отрицательные числа, с использованием функции линейного предсказания lpc(T,2) подставим в вектор коэффициентов нерекурсивной части фильтра таким образом, чтобы из уравнения дискретной фильтрации получился нерекурсивный фильтр 2-го порядка:

где forecastX — предсказанный КИХ-фильтром сигнал, T — входной вектор отчетов.

Произведем сравнение результатов линейного предсказания с результатами, полученными с использованием авторегрессионной модели формирования сигнала (ARX-модель). Метод LPC и ARX-модель дают идентичные результаты [5], так как базируются на одинаковых теоретических подходах (рис. 8). Разница заключается лишь во временной задержке у ARX-модели.

Сравним прогнозы, полученные с использованием LPC-метода и ARX-модели, с прогнозами линейной НС, обученной с использованием группового и адаптивного методов обучения [3]. Функция проектирования нового слоя newlind(P,T) по матрицам входных и выходных векторов методом наименьших квадратов определяет веса и смещения линейной сети. Начальные веса и смещение по умолчанию равны нулю. Функция не требует дополнительного обучения. Линейная функция в выходном слое не меняет уровня активации, не насыщается и поэтому способна экстраполировать.

Использование линейной НС должно быть основано на том предположении, что вход (вектор P) и выход (вектор T) должны быть связаны между собой линейно. В задачах анализа временных рядов обучающее множество данных, как правило, бывает представлено значениями одной переменной, которая является входной-выходной (служит для сети и входом, и выходом, то есть P = T).

Используем функцию newlind для создания линейной нейронной сети c одним нейроном, 5-элементным вектором входа и одним вектором выхода (рис. 8). Данная сеть позволяет моделировать процесс деградации с многоэлементным вектором входа. Из рис. 8 видно, что групповой и адаптивный метод обучения приводят к одинаковым результатам. Разница заключается в методе формирования задержек входного вектора и в алгоритмах обучения.

Можно сделать выводы, что все рассмотренные выше примеры демонстрируют возможность использования разнообразного математического аппарата для моделирования процесса деградации параметра U_OL ТТЛ ИС типа 133ЛА8 в пределах ряда деградации.

Использование нейронных сетей для прогнозирования процесса деградации параметров ИС

Нас же больше всего интересуют долгосрочные прогнозы процесса деградации. Рассмотрим построение многошаговых прогнозов с использованием линейной сети. Воспользуемся функцией проектирования нового слоя newlind(P,T).

Спроектируем 5-элементный вектор входа следующим образом. Первый элементряд деградации, составленный из наихудших значений. Второй — этот же ряд, сдвинутый на один замер вперед. Третий — на два значения вперед. Четвертый — на 4 значения вперед. Пятый — на пять значений вперед. Таким образом формируется многоэлементный вектор входа P40 (матрица с размерностью 5 строк и 40 столбцов). Вектор T40 формируется путем сдвига ряда деградации на 6 значений вперед. Неизвестные значения заполняем нулем. Далее спроектируем линейную НС с вектором входа P40 и вектором выхода T40. Предъявим сети вектор P41. В ответ НС сформирует вектор выхода T41, значением которого необходимо заместить неизвестное значение вектора P42. Далее НС предъявляем вектор P42, которая в ответ сформирует вектор T42. Используя два значения векторов T41 и Т42, заполняем неизвестные значения вектора P43, как показано на рис. 9. И так далее. В данном примере сеть строит 7 прогнозных значений T41, T42, T43, T44, T45, T46, T47. На рис. 10 показан многошаговый прогноз линейной НС и линейной НС, дающей прогнозы по принципу экстраполяции. Судить о том, насколько точен прогноз, достаточно сложно.

На рис. 11 показано сравнение прогнозов процесса деградации параметра U_OL ИС типа 133ЛА8, построенных с использованием различных моделей временных рядов с прогнозом обобщенно-регрессионной нейронной сети (GRNN), пригодной для задач регрессии (функция newgrnn). Модель авторегрессии проинтегрированного скользящего среднего второго порядка (АРПСС(2,0,0)) построена с использованием системы Statistica for Windows (модели АРПСС(2,0,0) и ARX(2) — это одна и та же модель в разных обозначениях: в первом случае модель авторегрессии второго порядка записана в обозначениях, принятых в анализе временных рядов, во втором — в теории идентификации систем). Более подробно с обозначениями можно познакомиться в работах [4, 5].

Качество прогнозов модели АРПСС(2,0,0) можно улучшить путем усложнения моделей. Статистический пакет программ NCSS позволяет в автоматическом режиме провести поиск наилучшей АРСС-модели по минимуму суммы квадратов остаточных ошибок. Например, перебираются АРСС-модели (1,1), (2,2), (8,8) с максимальным числом параметров авторегрессии и скользящего среднего равного 8. Программа в автоматическом режиме, опираясь на статистические критерии и проведя анализ остаточных ошибок, выбрала наилучшую модель АРСС(8,7):

Модель АРСС(8,7) содержит 8 параметров авторегрессии и 7 параметров скользящего среднего. Прогнозирование осуществляется на глубину 100 тыс. ч или на 30 замеров. Точечные прогнозы модели АРСС(8,7) выглядят более правдоподобно, так как в прогноз закладываются 8 предпоследних значений ряда деградации, а в модель АРПСС(2,0,0) — только 2 последних. Доверительный интервал модели АРСС(8,7) значительно сужен. У модели АРСС(8,7) изменяются только первые 15 прогнозных значений, далее прогнозные значения носят асимптотический характер, то есть характеризуются некоторым постоянным уровнем. Стабилизируется и 95%-ный доверительный интервал модели АРСС(8,7). Напротив, у модели АРПСС(2,0,0) изменяются только первые два прогнозных значения, далее прогнозные значения быстро затухают до нуля. Достоверность прогнозов начинает быстро падать, что отражается в быстром «раскрытии» 95%-ного доверительного интервала. В этом случае, чем на большую глубину будем прогнозировать, тем менее достоверными будут точечные прогнозы. Однако на практике редко используют АРСС-модели с числом параметров более 5 из-за их сложности.

Исследования, проведенные в работах [2–6], показали, что модели цифровых фильтров и модели временных рядов, используемые для прогнозирования процесса деградации контролируемых параметров ТТЛ ИС при испытаниях на долговечность, связаны между собой и базируются на общем математическом аппарате поиска параметров этих моделей. Цифровые фильтры способны строить одношаговые прогнозы и проводить анализ процесса деградации контролируемых параметров ИС в частотной области, но не пригодны для прогнозирования времени наступления параметрических отказов. Модели временных рядов позволяют проводить анализ процесса деградации во временной области и строить долгосрочные прогнозы, то есть позволяют прогнозировать время наступления параметрического отказа по траектории процесса деградации контролируемого параметра. Однако в задачах реального времени, к которым можно отнести задачи слежения и одношагового прогнозирования, они не пригодны. Альтернативой моделей цифровых фильтров и временных рядов могут выступать НС, которые способны решать более широкий круг задач. НС способны решать задачи как краткосрочного, так и долгосрочного прогнозирования процессов различной природы. Однако, как показывает практический опыт использования НС для задач прогнозирования, они обладают плохой экстраполирующей возможностью, уступающей прогнозам моделей временных рядов. Тем не менее, совместное использование прогнозов, построенных с использованием различных математических методов, повышает достоверность прогнозов в целом в любом случае.

Работа выполнена по программе гранта РФФИ 05-08-01225-а.