Модель расчета надежности технических средств серверных нанопроцессорных систем

Петров Б.М., Уткина О.Н. МОДЕЛЬ РАСЧЕТА НАДЕЖНОСТИ ТЕХНИЧЕСКИХ СРЕДСТВ СЕРВЕРНЫХ НАНОПРОЦЕССОРНЫХ СИСТЕМ

Разработка современных серверных систем, использующих новейшие достижения наноэлектроники, которые отличаются значительным увеличением степени интеграции на четыре порядка, а возрастающая ответственность выполняемых ими функций выдвигает на первое место проблему расчета надежности, которая потребовала разработки новой моделей расчета надежности технических средств (ТС) серверных нанопроцессорных систем (СНПС).

Тридцать лет назад развитие микроэлектроники преобразовало мир и изменило подходы в расчетах надежности микропроцессорных систем (МПС), сегодня при развитии наноэлектроники (НЭ) табл.1, когда мы имеем серверные нанопроцессорные системы (СНПС), содержащие десятки (101) нанопроцессоров по миллиарду транзисторов (109), которые работают десятки тысяч часов (104), то есть сложность таких систем составляет 1014 элементочасов, что приводит к изменению подходов в расчетах и обеспечении надежности СНПС с учетом алгоритмической и архитектурной избыточности.

Сегодня нанопроцессоры (НП) содержат 2, 4, 8, 16 ядер в одном корпусе, а скоро будут содержать 128 - 256 ядер в одном корпусе (это сложная сетеобразная структура), выполненных по сетевой,

кольцевой или многокорневой древоструктуре со сложными протоколами обмена данных, использующие структурную и информационную избыточность. Сегодня НП используют различные архитектуры КЭШ-памяти первого, второго и третьего уровней для каждого ядра, что позволяет повысить быстродействие и безотказность БНПС, за счет использования временной и информационной избыточности.

Тридцать лет назад мы стали учитывать при расчетах надежности МПС режимную и структурную избыточность, двадцать лет назад мы стали учитывать при расчетах надежности МПС временную и функциональную избыточность, десять лет назад мы стали учитывать при расчетах надежности МПС информационную и программную избыточность. Сейчас при переходе к наноэлектронике и в будущем при переходе к квантэлектронике мы должны учитывать при расчетах живучести алгоритмическую и архитектурную избыточность, учитывающую протоколы обмена и управления информацией, и может быть и брейнпьютер-ную (мозговую) избыточность, учитывающую многокорневые деревья анализа и обработки данных с инверсией на различных рангах.

Таблица 1Современное состояние и перспективы развития универсальных микропроцессоров фирмы 1п-

tel

"од выпуска 1978 1982 1985 1989 1993 1997 1999 2000 2002 2005 2006 2006 2008 2008 2009 2010 2015

1 Центральный процессор 8086 ХТ 30286 АТ 80386 80486 80586 Pentium I Е 6u 8 it 860 tne 8P Е 6u 8 it 860 tne 8P > Е 6u 8 it 7n 70 e 8P 80786 Pentium 4A 80886 Pentium M Core Duo Core2 Duo Core2 Quad Bloomfield Havendale Lynn field -

2 № поколения 1 2 3 4 5 3 6 7 7 8 8 9 9 10 11 12 13

3 Нормы техпроцесса Микроэлектроника 1 - 7 поколений

3,0 |1,5 |1,0 0,8 0,6 0,35 0,25 |0.18 0.13 90 |90 |65 65 |45 32 22 |12

4 Тактовая частота МГц Центрального процессора

Шины данных FSB Интерс зейс QPI-84 контакт

5 Разрядность бит Шины данных FSB Интерс зейс QPI-84 контакт

16 16 32 32 64 34 64 64 64 64 64 64 54 64 128 128 128

6 Кол-во ядер 1 1 1 1 1 - 2 2 2 2 2 4 4 8 16 128-256

7 КЭШ-память 1_1 Кбайт - 8 + 8 16+16 16+16 12+8 12+8 2х32 2х32 2х32 2х32 2х32 2х64 2х64 2х128

8 КЭШ-память _2 Мбайт - - 0,512 0,512 0,512 2,0 2,0 2,0х общая 2,0х общая 2,0х общая 0,25 в ядре 0,25 в ядре 0,25 в ядре 16 х2 общая

9 Количество конвейеров - 2 2 2 2 2 2 2 2 2 4 4 4 8

10 Кол-во ступен - - 10 55 20, 31 20, 31 31 31 20 20 20, 31 14 25 40

11 Степень интеграции Микроэлектроника 1 - 8 поколений

0,029 3,134 0,275 1,2 3,3 7,5 9,5 55 178 144 0,151 0,291 0,582 0,731 0,950 1,5 9,0

12 Напряжение В 5 5 5 3,3 3,3 2 2 1.7 1.3 1,0-1,3 0,7-1,3 0,9-1,3 1,1-1,3 1,1-1,3 0,7-0,9 0,7-0,9 0,7-0,9

13 Кол-во контактов 169 238 273 273 296 387 370 423 478 775 940 940 940 1366 1160 1366

Разработка современных систем, использующих новейшие достижения НЭ: микропроцессоров (МП) и

нанопроцессоров, которые отличаются значительным увеличением степени интеграции на три - четыре порядка (современные НП имеют более миллиарда транзисторов в одном корпусе), а возрастающая ответственность выполняемых ими функций, потребовала разработки новой модели расчета надежности технических средств (ТС) СНПС, которая рассмотрена в данной статье.

Значительное повышение надежности может быть получено за счет использования в СНПС сетеобразной многоядерной структуры кристалла, древообразной многокорневой многокэшовой структуры памяти, многоконвейерной структуры с различными уровнями (ступенями) конвейеров, использованием микротехнологий, обеспечивающих плотность упаковки операций в одном такте для большой разрядности, которые позволяют перейти от интеграции схем к интеграции систем и удовлетворить все возрастающие требования заказчиков к быстродействию, точности и количеству решаемых задач при разработке современных комплексов обработки информации, основой которых являются СНПС.

В настоящее время все существующие методы оценки надежности ТС МП можно разделить на две группы (методы оценки надежности нанопроцессоров, с учетом их особенностей, пока в литературе не рассматривались). К первой группе относятся модели расчета надежности МП, основанные на примене-

нии модели, используемой для расчета надежности БИС и МП с небольшим усложнением пересчетных коэффициентов [1, 2].

Наиболее существенным недостатком этих моделей является малая чувствительность интенсивности отказов к изменению степени интеграции, что приводит к серьезным ошибкам, а также не учет новых схемоконструктивных особенностей МП и особенно НП, таких как наличие многоядерной, многокэшовой, многоконвейерной структуры и наличие совмещенных микротехнологий, которые позволяют в одном такте, за счет большой разрядности системной шины, уплотнить и выполнить несколько различных по сложности микрокоманд. Результаты расчета надежности МПС отличаются от эксплуатационных данных на три порядка, что недопустимо при оценке надежности сложных МПС.

Ко второй группе относятся модели, основанные на учете большого числа физических характеристик процесса изготовления БИС и МП на основании данных стандарта США [2]. В этих моделях при

расчете надежности учитывается работа БИС в двух режимах: активном и пассивном, а также общее

количество переключений, происходящих в приборе, общая площадь кристалла, активная площадь кристалла, площадь металлизации, число степеней диффузии, энергия активации и некоторые постоянные, характеризующие скорость протекания процесса отказа, распределение и свойства загрязнений и дефектов и многие другие параметры, которые на этапе проектирования МПС не доступны.

Учитывая недостатки моделей и большие ошибки, возникающие при оценке надежности МП, и тем более НП, необходимо разработать новую математическую модель расчета интенсивности отказов МП и НП с учетом их особенностей, таких, как высокая степень интеграции, изменение механизма отказа и их структурных особенностей.

В инженерной практике большое распространение получили формализованные коэффициентные модели расчета надежности МП [1, 2]. Сущность коэффициентных моделей расчета надежности заключается в

сравнении рассматриваемого устройства с другим устройством, надёжность которого (базовая интенсивность отказов) определена ранее и найдена некоторая эмпирическая зависимость в виде функции, связывающей параметры надежности с рядом коэффициентов, учитывающих электрические, схемные и конструктивные характеристики МП и НП, уровень сложности, особенности технологического производства, влияние электрических и эксплуатационных нагрузок.

Широко распространены коэффициентные модели оценки, основанные на расчете надежности МП и НП по средним интенсивностям отказов ее отдельных компонентов (кристалл, металлизационные соединения, выводы, корпус и т.д.), отличающихся относительной схемно-конструктивной, функциональной и технологической независимостью.

Следует отметить, что с переходом от МП первых поколений к современным НП большой сложности (табл.1) становится нецелесообразно учитывать в модели расчета безотказности проинтегрированные резисторы, транзисторы, конденсаторы и другие элементы как отдельные компоненты. А контактные узлы, кристалл, ядра, кэш-память различных уровней, конвейеры, корпус могут считаться отдельными компонентами ненадежности, тем более, что технологически они независимы и процессы их изготовления базируются на достаточно замкнутых типовых технологических циклах. Так как эти процессы типовые и автоматизированы, то отказ каждого элемента содержит полезную информацию о недостатках технологии или оборудования, используемых для изготовления НП, и характеризует вполне определенный механизм отказа.

На основании механизмов отказов, возникающих в НП, и различных факторов, ускоряющих процессы деградации, построена функциональная многокомпонентная математическая модель расчета надежности НП, которая учитывает влияние различных факторов на базовые интенсивности отказов отдельных компонентов ненадежности.

В этой модели расчета интенсивности отказов НП влияние технологии изготовления, уровня сложности (критерием сложности, т.е. индикатором, является количество активных элементов или бит), контактных соединений и пережоговых перемычек, типа корпуса и метода герметизации, тепловых и эксплуатационных режимов работы, а также проведенного объема проверки программного обеспечения, учитывается введением пересчитывающих коэффициентов. Полученная модель предлагает определение и использование зависимостей для всех коэффициентов и объединение их совместных влияний в следующем выражении:

Ар.нп (^) = (Ао^^)хКтхКслхКядхКкэшхКконхКмтхКкчхКНАГхКпу+Ак (^)хКкорхКвывхКэкс)хКтхКпр+Апо (^)хКпи^

где Ао^^ - базовая интенсивность отказов кристалла НП i - й технологии с учетом соответствия его современному уровню проектирования и изготовления (технологическим нормам), зависит от чистоты и качества производства и чистоты исходных материалов;

Ак(^ - базовая интенсивность отказов типа корпуса, определяется материалом и конструкцией

корпуса НП;

Апо(Ъ) - базовая интенсивность ошибок программного обеспечения i - й технологии программирова-

ния;

Кт^ - коэффициент, учитывающий сложность технологии изготовления НП, конструктивно-

технологических особенностей данной технологии изготовления, зависит от быстродействия (тактовой частоты центрального процессора и тактовой частоты системной шины данных), типа технологии, потребляемой мощности, линейных размеров типового транзистора, определяется относительно п-МОП технологии изготовления;

Ксл - коэффициент, характеризующий надежность НП с учетом сложности i - ой степени интеграции (зависит от геометрических размеров базового транзистора i - й технологии) относительно НП первого поколения, с минимальной зоной перехода, это размер матрицы активного поля транзисторов или логических ячеек;

Кяд - коэффициент, характеризующий надежность НП с учетом многоядерной структуры и протоколов мониторинга обмена данных и управления, включающих или отключающих различные ядра при сбоях в тестах, определяется по формуле Бернулли;

Ккэш - коэффициент, характеризующий надежность НП с учетом многокэшовой структуры памяти и протоколов мониторинга обмена данных и управления, включающих или отключающих различные структуры

уровней КЭШ-памяти при сбоях в тестах, определяется по формуле Бернулли;

Ккон - коэффициент, характеризующий надежность НП с учетом многоконвейерной структуры и протоколов мониторинга обмена данных и управления, включающих или отключающих различные уровни (ступени) конвейеров при сбоях в тестах, определяется по формуле Бернулли или по формуле Пуассона, в

зависимости от количества уровней;

Кмт - коэффициент, характеризующий надежность НП с учетом микротехнологий, обеспечивающих плотность упаковки операций в одном такте для данной разрядности, и протоколов мониторинга обмена данных, включающих или отключающих различные уровни упаковки операций при сбоях в тестах, определяется по формуле Бернулли;

Ккч - коэффициент, характеризующий надежность НП с учетом конфигураций частот системной шины данных и протоколов мониторинга управления, увеличивающих или уменьшающих (замедляющих) частотные режимы работы процессора при сбоях в тестах, соответствует коэффициенту электрической нагрузки по частоте или Raid технологии;

Кнаг - коэффициент, характеризующий надежность НП с учетом чувствительности электрических параметров, зависит от величины напряжения питания (5v, 3,3v, 2,4v, 2,0v, 1,8v, 1,5v, 1,2v, 1,0v,

0,9v, 0,7v), определяющего работоспособность МП, от нагрузочной способности N; от коэффициента по току; от выходного напряжения «0» и «1»; от потребляемой мощности относительно номинального значения;

Кпу - коэффициент, характеризующий надежность СБИС памяти с учетом помехоустойчивости электрического режима работы (статического, динамического), зависит от запасов по помехоустойчивости в состояниях «0» и «1», от рабочей (тактовой) и предельной частоты (рабочей или эффективной);

Ккор - коэффициент, характеризующий надежность НП с учетом типа и материала корпуса, его конструкции, технологии герметизации и материала наполнителя и покрытия;

Квыв - коэффициент, характеризующий надежность НП с учетом типа и количества соединений (выводов), их длины, шага и диаметра;

Кэкс - коэффициент, характеризующий надежность НП с учетом климатических и механических режимов работы i - го ЭРИ;

Кт - коэффициент, характеризующий надежность НП с учетом влияния температурного режима работы (зависит от чувствительности НП к рабочей температуре и влияние ее на изменение скорости дефекто-образования, относительно нормальной температуры);

Кпр - коэффициент, характеризующий зависимость надежности НП от вида приемки (9, 5, 1), группы

использования (космическая, военная, индустриальная, коммерческая) и от степени освоенности данных норм технологического процесса изготовителями НП;

Кпи - коэффициент, учитывающий степень использования стандартного программного обеспечения НП (эквивалентен коэффициенту электрической нагрузки в технических средствах).

Применение коэффициентного подхода позволяет проводить независимый анализ различных компонентов СНПС, используя данные, полученные при испытаниях подобных элементов и структур, что значительно упрощает анализ надежности изделий.

При определении коэффициентов влияния целесообразно использовать различные статистические методы анализа отказов и построения зависимостей для поправочных коэффициентов. Статистические методы анализа отказов при проведении испытаний на надежность используются для оценки степени влияния тех или иных факторов (электрических, тепловых, климатических, механических, степени интеграции, применяемой элементной базы, степени отработки технических средств) на численные значения показателей безотказности и установления характера этих влияний.

Декомпозиция полной модели безотказности на отдельные компоненты ненадежности, приведенная с учетом основных причин и механизмов отказов, возникающих в НП, позволяет легко и просто оценивать и сравнивать различные варианты построения СНПС. При этом каждый компонент ненадежности в модели описывается простыми аналитическими функциями или числовыми соотношениями. Выводы зависимостей значений коэффициентов влияния для основных компонентов ненадежности определяются на основании частных физико-статистических моделей.

За последние годы предложено несколько методов построения зависимости интенсивности отказов МП от сложности (для НП пока этот вопрос не рассматривался, так как практически нет исходных данных) . При анализе этих методов было отмечено, что малая чувствительность моделей расчета интенсивности отказов к изменению степени интеграции приводит к большим ошибкам, примерно на три порядка. Эти ошибки вызывают недопустимо высокие погрешности при оценке надежности СНПС.

Анализ показал, что ошибки возникают при осцилляции (выпячивании) алгоритма расчета, а также из-за недостаточной гибкости метода расчета при стремительном увеличении степени интеграции в НП. Данные анализа надежности систем, выполненных на НП одной серии, показали, что если НП имели единую технологию изготовления; одинаковые электрические характеристики, такие как, время цикла, разрядность, потребляемую мощность; идентичные температурные, климатические и механические воздействия, но разную степень интеграции, то безотказность их была разной.

Исследования зарубежных методов показывают, что сложность НП является одним из основных критериев, используемых при расчете надежности. Для построения зависимости надежности от сложности НП необходимо определить индикатор, который более точно характеризует сложность НП. Следует отметить, что все компоненты НП формируются в едином технологическом процессе и технологические операции воздействуют на весь кристалл в целом. В результате структура и свойства компонентов НП получаются сравнительно идентичными и взаимозависимыми, поэтому можно представить всю структуру в виде однородного активного поля, параметры которого взаимосвязаны и зависят от общих показателей структуры (глубины диффузии, концентрации примесей).

Многие физические характеристики активного поля НП, такие, как геометрические размеры площади кристалла, общая длина металлизации, суммарная площадь окисной пленки и другие характеристики получить на этапе разработки аппаратуры очень трудно. Поэтому целесообразно за индикатор сложности НП принять степень интеграции (т.е. количество активных элементов n, расположенных на кристалле) и количество бит в ЗУ.

При использовании в качестве индикатора сложности общей площади кристалла, как предложено в зарубежных моделях расчета надежности МП, возникают большие ошибки, так как для увеличения вероятности выхода годных схем в МП вводят технологическую избыточность, которая используется по мере обнаружения дефектов в кристалле на этапе изготовления. Изолирование дефектов на кристалле за счет избыточности приводит к невозможности построения аналитической зависимости интенсивности отказов от площади кристалла, так как площадь при введении избыточности меняется нелинейно.

Наша задача, при определении коэффициента сложности НП с учетом выбранного индикатора, состоит в построении зависимости Кс(п) таким методом, который позволит вычислять значения его с достаточной точностью. Построенная функция должна проходить через экспериментально полученные точки и соответствовать физической сущности процесса изменения сложности. Форма функции должна быть глад-

кой (т.е. непрерывной и иметь несколько непрерывных производных), что соответствует постоянному совершенствованию физических процессов изготовления НП.

Используемые в настоящее время методы предполагают экспериментальное построение математической модели. Алгоритм построения зависимости Kc(n) в отличие от этих методов должен позволять на основании данных эксплуатации построить адекватную математическую модель. Эта модель должна описывать реальный физический процесс и по мере накопления данных автоматически уточняться.

В последнее время появился метод фрактального анализа, который можно использовать для построения зависимостей Kc(n). Этот метод довольно интенсивно развивается в последнее десятилетие и имеет ряд серьезных преимуществ перед классическими методами, он еще недостаточно разработан и изучен, поэтому его большие возможности еще не получили распространения в задачах надежности. В данной работе впервые предпринята попытка применить данный метод к определению функциональных зависимостей: коэффициента сложности от степени интеграции НП.

Стохастический процесс называется фрактальным, когда некоторые из его важнейших характеристик проявляют свойства масштабирования с соответствующими масштабными показателями (могут быть степенные соотношения). Это может быть процесс описывающий процесс развития микроэлектроники с учетом степени интеграции, который можно разделить на несколько неперекрывающихся интервалов размера m,

X(m)(i) = 1/m x£mit=m(i-1)X(t) , значения i - интервалов усредняются.

Непрерывный во времени стохастический процесс Xt со стационарными приращениями Yi = Xi - Xi-1 с показателем Н (0,5 < Н < 1,0) для любого действительного положительного коэффициента расширения а считается:

- статистически самоподобными, если процессы Xt и перемасштабированный (с масштабом времени или пространства at) a-H Xat имеет одинаковые конечномерные плотности распределения вероятностей для всех положительных целых n:

- W{X1, X2,..,Xn}fd - W{ a-H Xa, a-H X2a,.., a-H Xna};

- самоподобным второго порядка, если процессы Xat и aH Xt имеют одинаковые статистические характеристики до второго порядка: среднее значение M[Xt] = M[Xat] / aH , дисперсию o2[Xt] = g2

[Xat] / a2H , корреляционную функцию R(tx) = R(at; ax)/ a2H ;

- асимптотически самоподобным второго порядка, если стохастические характеристики до второго порядка для Xat и aH Xt одинаковы при а ^ w.

- фрактальная размерность d объекта определяется как d = lnN/lnl/'rç, где N - количество самоподобных объектов/частей (вариантов себя), требуемых для охвата заданного d-мерного объекта; ц-

размер линейного масштаба охватываемых объектов.

- при построении зависимости Kc(n) - интенсивности отказов от степени интеграции НП целесооб-

разно принять предположение, что значение поправочного коэффициента фрактальной размерности для соотношений смежных самоподобных процессов развития микроэлектроники Àoi(t) для 5-7 поколений к Àoi(t) для 1-4 поколений, равно значению поправочного коэффициента фрактальной размерности для соотношений смежных самоподобных процессов развития наноэлектроники Àoi(t) для 1-6 поколений к Àoi(t) для 5 - 7 поколений процессов развития микроэлектроники, которые анализируются и управляются полумарковским процессом;

- исходя из самоподобия процессов развития наноэлектроники и микроэлектроники можно применить

для построения зависимости Kc(n) - интенсивности отказов от степени интеграции НП метод кубиче-

ских сплайн функций «дефекта один», как был применен для построения зависимости Kc(n) - интенсивности отказов от степени интеграции МП метод кубических сплайн функций «дефекта один» с анализом видов, типов и механизмов отказов вложенным марковским процессом в работах [5, 6];

- после накопления исходных данных по отказам НП, которые должны появиться после испытаний

опытных образцов СНПС, целесообразно для построения зависимости Kc(n) - интенсивности отказов от

степени интеграции НП использовать метод сплайн-фрактального анализа, с уточнением ранее полученных значений.

Если обозначить через ц -вероятностную меру, определяемую на единичном интервале [0;1], а через ô - надежность процесса в будущем, и если ô > 1, тогда выборки из вероятностной меры на двоичных интервалах Ink = [k2-n ; (k+1) 2-n], k = 0, 1,...,2n - 1,n, для наших выбранных смежных само-

подобных процессов с учетом автомодельности и мультифрактального анализа получим наиболее важные квантили: грубые показатели Гёльдера : ank = 1одц( Ink)/logôn = 1одц( Ink)/nlog2, или локальный

показатель Гёльдера в точке t: a(t) = lim inf ank , где t = Ink, с пределом суммы разбиения

Sn(q)= L2n-1k=0p,( Ink).

При использовании мультифрактального анализа данных проверяем мультифрактальное мастабирова-ние, вычисляя сумму разбиений с несколькими значениями q и разрешениями Sn(q) = SN/mk=0,^ и ц( IN/mk)q.

Наиболее известным самоподобным процессом является процесс Бернулли, в котором вероятность изменений не зависит от других поступлений, т.е. k является биномиальным: P{Nk = n} = Cnk pn (1-

p)k-n , время между изменениями распределено геометрически P{j}= p(1-p)j с показателем p(j- неотрицательное число), групповой процесс Бернулли управляется марковским процессом, что особенно ценно для наших коэффициентов.

Многомасштабность самоподобных процессов определяется как L = C K1- D , где L длина фрактальной линии (времени процесса), К - масштаб измерений, D - фрактальная размерность, С - стандартный для фрактальных процессов неопределенный множитель, масштаб K = 1/a, шаг n, N число итераций (измерений), часто NO = 2n. Находим фрактальную размерность ряда: 1/2, 1/3,.1/N, при большом N, разность между соседними членами ряда будет K = 1/N - 1/ (N-1) = 1/N(N-1)= 1/N2 , тогда N = К-1/2 ,

D = 1/2.

ЛИТЕРАТУРА

1. Справочник РФ. Надежность электрорадиоизделий. М.: ОАО «РНИИ «Электронстандарт» 2006. - 620

с.

2. Военный справочник США. MIL - HDBK - 217F. Прогнозирование надежности электронного оборудования. 1992.- 150 с.

3. Горлов М.И. Физические основы надежности интегральных схем. М. 2007. - 125 с.

4. Петров Б.М., Уткина О.Н. Прогнозирование живучести технических и

биологических наносистем с учетом алгоритмической и архитектурной избыточности за счет использования тактовой частоты, разрядности системной шины, ядер и кэш- памяти. Сб. трудов межд. науч-но-практич. конф. «Информационные технологии в образовании, науке и производстве» г. Серпухов

2009 г., с.175-178.

5. Петров Б.М. Методы расчета и обеспечения надежности микропроцессорных систем. М. Знание. 1986. 54 с.

6. Петров Б.М. Методы расчета и обеспечения надежности цифровых и аналоговых систем обработки сигнала, выполненных на перспективной элементной базе. М. Знание. 1988. 72 с.