РЕКОНФИГУРИРУЕМАЯ ВЫЧИСЛИТЕЛЬНАЯ СИСТЕМА С МНОГОУРОВНЕВОЙ ПОДСИСТЕМОЙ МОНИТОРИНГА И УПРАВЛЕНИЯ
RECONFIGURABLE COMPUTER SYSTEM WITH A MULTILEVEL MONITORING AND CONTROL SUBSYSTEM

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к области вычислительной техники, в частности, реконфигурируемым вычислительным системам кластерного типа, предназначенных для решения вычислительно сложных, трудоемких задач и высокоскоростной обработки больших информационных массивов.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Известен патент US 9037833, G06F 15/80, G06F 9/50, опубл. 19.05.2015 г. (ЕР 1814029, US 20050235092), в котором вычислительная система содержит множество объединенных вычислительных узлов. Каждый вычислительный узел состоит из вычислителя общего назначения, включающего в свой состав процессоры общего назначения для выполнения высокопроизводительных вычислений, оперативные памяти и коммутатор, предназначенный для связи вычислительных узлов вычислительной системы между собой. Процессоры общего назначения попарно соединены между собой посредством интерфейса Hyper Transport. Каждый из процессоров общего назначения в вычислителе общего назначения соединен через мост HYPERTRANSPORT™/PCI с адаптером НСА (Host Channel Adapter), который, в свою очередь, связан с коммутатором. Вычислительные узлы высокопроизводительной системы связаны между собой в единую сеть. Для управления работой вычислительной системы в кластере один узел является управляющим, в его задачи входит мониторинг состояния системы (обнаружение неисправных узлов), планирование задач между узлами кластера, управление правами доступа пользователей. Между управляющим узлом и вычислительными узлами системы может использоваться коммуникационная сеть Ethernet.
Недостатком данной вычислительной системы является невысокая оперативность работы подсистемы мониторинга и управления состоянием компонент.
Причиной, препятствующей достижению технического результата, является высокая загрузка управляющего узла, при большом количестве объектов для мониторинга и управления внутри кластера вычислительной системы. Это обусловлено необходимостью обработки узлом управления большого потока данных мониторинга состояния контролируемых объектов в вычислительных узлах и последовательным алгоритмом работы системы мониторинга.
1
K
1
N
1
1
K
1
K
1
N
1
N
1
M
1
M
Наиболее близким устройством того же назначения, к заявленному изобретению, по совокупности признаков, принятой за прототип, является реконфигурируемая вычислительная система (RU №156778 U1, МПК G06F 15/16, заявлено 10.04.2015, опубликовано 20.11.2015 Бюл. №32), содержащая сетевой коммутатор Ethernet 1 управления, ведущий сервер 2, сетевой коммутатор Ethernet 5 мониторинга, группу из К ведомых вычислительных узлов 4, …, 4, каждый из которых содержит компьютер 8, коммутатор PCI-Express 11 и группу из N реконфигурируемых вычислительных устройств 13, …, 13, каждое из которых содержит коммутатор PCI-Express 19, группу из М вычислительных ПЛИС 20, …, 20M, интерфейсную ПЛИС 22, блок 30 управления режимом коммутатора PCI-Express 19 и память 24 конфигураций ПЛИС, причем ведущий сервер 2 соединен сетевым интерфейсом Ethernet 6 с сетевым коммутатором Ethernet 5 мониторинга и сетевым интерфейсом Ethernet 3 с сетевым коммутатором Ethernet 1 управления, который соединен по соответствующим сетевым интерфейсам Ethernet 7, …, 7 с компьютерами 8 вычислительных узлов 4, …, 4, в которых коммутатор PCI-Express 11, соединен соответствующими высокоскоростными последовательными интерфейсами PCI-Express 16, …, 16 с коммутаторами PCI-Express 19 в соответствующих реконфигурируемых вычислительных устройствах 13, …, 13, в которых интерфейсная ПЛИС 22 соединена с памятью 24 конфигураций ПЛИС, а коммутатор PCI-Express 19 соединен с блоком 30 управления режимом коммутатора PCI-Express 19, с интерфейсной ПЛИС 22 по высокоскоростному последовательному интерфейсу PCI-Express 17 и с вычислительными ПЛИС 20, …, 20 по соответствующим высокоскоростным последовательным интерфейсам 21, …, 21.
Недостатком данной реконфигурируемой вычислительной системы является невысокая отказоустойчивость и высокие энергетические затраты при решении вычислительно сложных и трудоемких задач.
1
К
Причиной, препятствующей достижению технического результата, являются большое время опроса при мониторинге и управлении компонентами, связанное с последовательным опросом ведущим сервером 2 по сетевому интерфейсу 6 через коммутатор мониторинга Ethernet 5 данных мониторинга от каждого из вычислительных узлов 4, …, 4.
ЗАДАЧА ИЗОБРЕТЕНИЯ
Задача, на решение которой направлено предлагаемое изобретение, заключается в создании реконфигурируемой вычислительной системы с эффективной системой мониторинга и управления.
Техническим результатом предлагаемого изобретения является повышение отказоустойчивости и снижение мощности потребления реконфигурируемой вычислительной системы.
КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
1
K
1
N
1
M
Указанный технический результат при осуществлении изобретения достигается тем, что в реконфигурируемую вычислительную систему с многоуровневой подсистемой мониторинга и управления содержащую сетевой коммутатор Ethernet 1 управления, ведущий сервер 2, сетевой коммутатор Ethernet 24 мониторинга, группу из К вычислительных узлов 4, …, 4, каждый из которых содержит вычислитель общего назначения 6, коммутатор PCI-Express 7 и группу из N вычислительных модулей 8, …, 8, каждый из которых содержит коммутатор PCI-Express 10, группу из М вычислительных ПЛИС 13, …, 13, системную ПЛИС 18, блок 15 управления режимом коммутатора PCI-Express 10 и память 17 стартовой конфигураций системной ПЛИС 18,
1
K
1
K
причем ведущий сервер 2 соединен сетевым интерфейсом Ethernet 57 с сетевым коммутатором Ethernet 24 мониторинга и сетевым интерфейсом Ethernet 25 с сетевым коммутатором Ethernet 1 управления, который соединен по соответствующим сетевым интерфейсам Ethernet 26, …, 26 с вычислителями общего назначения 6 вычислительных узлов 4, …, 4,
N
1
N
в которых коммутатор PCI-Express 7 соединен соответствующими высокоскоростными последовательными интерфейсами PCI-Express 31, …, 31 с коммутаторами PCI-Express 10 в соответствующих вычислительных модулях 8, …, 8,
1
1
M
в которых системная ПЛИС 18 соединена с памятью 17 стартовой конфигурации системной ПЛИС 18 шиной 45 конфигурирования системной ПЛИС 18, а коммутатор PCI-Express 10 соединен с блоком 15 управления режимом коммутатора PCI-Express 10 по шине 36 режима коммутатора PCI-Express 10, с системной ПЛИС 18 по высокоскоростному последовательному интерфейсу PCI-Express 48 и с вычислительными ПЛИС 13, …, 13 м по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 33, …, 33,
1
K
дополнительно введены коммутатор PCI-Express 3 и блок 23 контроля и управления питанием вычислительных узлов 4, …, 4,
1
N
1
N
в каждый из которых дополнительно введены коммутатор PCI-Express 9 вычислительных модулей, блок 21 мониторинга и управления, блок 22 контроля и управления вентиляторами охлаждения, блок 20 контроля и управления питанием вычислительных модулей и группа из N памятей 5, …, 5 состояния вычислительных модулей 8, …, 8,
1
M
1
M
1
M
1
M
1
M
1
M
1
M
в каждый из которых дополнительно введены группа из М памятей 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, …, 13, группа из М совычислителей 14, …, 14 с индивидуальным питанием, группа из М блоков 12, …, 12 управления режимом совычислителей 14, …, 14, блок 16 мониторинга и управления и блок 19 конфигурирования вычислительных ПЛИС 13, …, 13 и их памятей 11, …, 11 стартовых конфигураций,
1
K
1
K
1
K
1
K
причем ведущий сервер 2 также соединен высокоскоростным последовательным интерфейсом PCI-Express 27 с коммутатором PCI-Express 3 вычислительных узлов, который соединен с коммутаторами PCI-Express 9 вычислительных модулей вычислительных узлов 4, …, 4, по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 28, …, 28, а сетевой коммутатор Ethernet 24 мониторинга соединен сетевым интерфейсом 56 управления питанием вычислительных узлов с блоком 23 контроля и управления питанием и соответствующими сетевыми интерфейсами Ethernet 55, …, 55 мониторинга с блоками 21 мониторинга и управления вычислительных узлов 4, …, 4,
1
N
1
N
1
N
1
N,
1
N
1
N
в каждом из которых памяти 5, …, 5 состояния вычислительных модулей 8, …, 8 соединены с вычислителем общего назначения 6 по общей шине взаимодействия 29, который соединен высокоскоростным последовательным интерфейсом PCI-Express 30 с коммутатором PCI-Express 7, коммутатор PCI-Express 9 вычислительных модулей также соединен с коммутаторами PCI-Express 10 в соответствующих вычислительных модулях 8, …, 8 по соответствующим высокоскоростным последовательным интерфейсам PCI-Express 32, …, 32 а блок 21 мониторинга и управления соединен с блоком 22 контроля и управления вентиляторами охлаждения шиной 54 контроля и управления вентиляторами охлаждения, с блоком 20 контроля и управления питанием шиной 53 контроля и управления питанием и соответствующими шинами 52, …, 52 мониторинга и управления состоянием с блоками 16 мониторинга и управления в соответствующих вычислительных модулях 8, …, 8,
1
M
1
M
в каждом из которых системная ПЛИС 18 также соединена с блоком 19 конфигурирования вычислительных ПЛИС 13, …, 13 и их памятей 11, …, 11 стартовых конфигураций шиной 49 управления записью, с блоком 16 мониторинга и управления шиной 47 локального мониторинга и управления состоянием и с памятью 17 стартовой конфигурации шиной 46 оперативной записи,
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
кроме того вычислительные ПЛИС 13, …, 13 также соединены шинами 38, …, 38 управления режимом с соответствующими блоками 12, …, 12 управления режимом совычислителей 14, …, 14, индивидуальными шинами 34, …, 34 записи и индивидуальными шинами 35, …, 35 оперативной реконфигурации с соответствующими памятями 11, …, 11 стартовых конфигураций, шинами 37, …, 37 локального управления индивидуальным питанием и шинами 39, …, 39 взаимодействия с соответствующими совычислителями 14, …, 14
1
N
1
M
1
M
1
M
1
M
кроме того блок 16 мониторинга и управления в вычислительных модулях 8, …, 8 соединен шиной 42 управления режимом с блоком 15 управления режимом коммутатора PCI-Express 10, шинами 41, …, 41 локального управления индивидуальным питанием с соответствующими вычислительными ПЛИС 13, …, 13, а также соединен шиной 43 первичной записи с памятью 17 стартовой конфигурации системной ПЛИС 18 и шиной 44 управления первичной записью с блоком 19 конфигурирования вычислительных ПЛИС 13, …, 13 и их памятей 11, …, 11 стартовых конфигураций,
1
N
1
M
1
M
1
M
1
M
1
M
1
M
причем блок конфигурирования 19 в вычислительных модулях 8, …, 8 также соединен общей шиной конфигурирования 50 с вычислительными ПЛИС 13, …, 13 и общей шиной 51 записи с памятями 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, …, 13, а блоки 12, …, 12 управления режимом совычислителей соединены шинами 40, …, 40 режима с соответствующими совычислителями 14, …, 14.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На фиг. 1 приведена функциональная схема реконфигурируемой вычислительной системы с многоуровневой подсистемой мониторинга и управления.
На фиг. 1 и в тексте приняты следующие сокращения и обозначения:
РВС - реконфигурируемая вычислительная система;
ВУ - вычислительный узел;
ВМ - вычислительный модуль;
СВ - совычислитель;
ОС - операционная система;
K - количество вычислительных узлов в реконфигурируемой вычислительной системе;
N - количество вычислительных модулей в вычислительном узле;
М - количество вычислительных ПЛИС и совычислителей в вычислительном модуле;
1 - сетевой коммутатор Ethernet управления реконфигурируемой вычислительной системы;
2 - ведущий сервер;
3 - коммутатор PCI-Express вычислительных узлов;
1
K
4, …, 4 - группа из K вычислительных узлов;
1
N
5, …, 5 - группа из N памятей состояния вычислительных модулей;
6 - вычислитель общего назначения вычислительного узла;
7 - коммутатор PCI-Express вычислительного узла;
1
N
8, …, 8 - группа из N вычислительных модулей;
9 - коммутатор PCI-Express вычислительных модулей вычислительного узла;
10 - коммутатор PCI-Express вычислительного модуля;
1
M
1
M
11, …, 11 - группа из М памятей стартовых конфигураций вычислительных ПЛИС 13, …, 13 вычислительного модуля;
1
M
1
M
12, …, 12 - группа из М блоков управления режимом совычислителей 14, …, 14 вычислительного модуля;
1
M
13, …, 13 - группа из М вычислительных ПЛИС вычислительного модуля с индивидуальным питанием;
1
M
14, …, 14 - группа из М совычислителей вычислительного модуля с индивидуальным питанием;
15 - блок управления режимом коммутатора PCI-Express 10 вычислительного модуля;
16 - блок мониторинга и управления вычислительного модуля;
17 - память стартовой конфигурации системной ПЛИС 18 вычислительного модуля;
18 - системная ПЛИС вычислительного модуля;
1
M
1
M
19 - блок конфигурирования вычислительных ПЛИС 13, …, 13 и их памятей 11, …, 11 стартовых конфигураций вычислительного модуля;
20 - блок контроля и управления питанием вычислительных модулей;
21 - блок мониторинга и управления вычислительного узла;
22 - блок контроля и управления вентиляторами охлаждения вычислительного узла;
23 - блок контроля и управления питанием вычислительных узлов;
24 - сетевой коммутатор Ethernet мониторинга реконфигурируемой вычислительной системы;
25 - сетевой интерфейс Ethernet между коммутатором управления Ethernet 1 и ведущим сервером 2;
1
K
1
K
26, …, 26 - K сетевых интерфейсов между коммутатором управления Ethernet 1 и вычислительными узлами 4, …, 4;
27 - высокоскоростной последовательный интерфейс PCI-Express между коммутатором PCI-Express 3 и ведущим сервером 2;
1
K
28, …, 28 - K высокоскоростных последовательных интерфейсов PCI-Express между коммутатором PCI-Express 3 и коммутаторами PCI-Express 9;
1
N
29 - общая шина взаимодействия вычислителя общего назначения 6 и группой из N памятей состояния вычислительных модулей 8, …, 8;
30 - высокоскоростной последовательный интерфейс PCI-Express между коммутатором PCI-Express 7 и вычислителем общего назначения 6;
1
N
1
N
31, …, 31 - N высокоскоростных последовательных интерфейсов PCI-Express между коммутатором PCI-Express 7 и коммутаторами PCI-Express 10 вычислительных модулей 8, …, 8;
1
N
1
N
32, …, 32 - N высокоскоростных последовательных интерфейсов PCI-Express между коммутатором PCI-Express 9 и коммутаторами PCI-Express 10 вычислительных модулей 8, … 8;
1
M
1
M
33, …, 33 - М высокоскоростных последовательных интерфейсов PCI-Express вычислительных ПЛИС 13, …, 13;
1
M
1
M
1
M
34, …, 34 - М индивидуальных шин записи памятей 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, … 13;
1
M
1
M
35, …, 35 - М индивидуальных шин оперативной реконфигурации вычислительных ПЛИС 13, …, 13;
36 - шина режима коммутатора PCI-Express 10;
1
M
1
M
37, …, 37 - М шин локального управления индивидуальным питанием совычислителей 14, …, 14;
1
M
1
M
38, …, 38 - М шин управления режимом совычислителей 14, …, 14;
1
M
1
M
1
M
39, …, 39 - М шин взаимодействия между вычислительными ПЛИС 13, …, 13 и соответствующими совычислителей 14, …, 14;
1
M
1
M
40, …, 40 - М шин режима совычислителей 14, …, 14;
1
M
1
M
41, …, 41 - М шин локального управления индивидуальным питанием вычислительных ПЛИС 13, …, 13;
42 - шина управления режимом коммутатора PCI-Express 10;
43 - шина первичной записи памяти 17 стартовой конфигурации системной ПЛИС 18 блоком 16 мониторинга и управления вычислительного модуля;
1
M
1
M
44 - шина управления первичной записью памятей 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, …, 13 блоком 16 мониторинга и управления вычислительного модуля;
45 - шина конфигурирования системной ПЛИС 18 из памяти 17 стартовой конфигурации;
46 - шина оперативной записи памяти 17 стартовой конфигурации системной ПЛИС 18;
47 - шина локального мониторинга и управления состоянием вычислительного модуля системной ПЛИС 18;
48 - высокоскоростной последовательный интерфейс PCI-Express системной ПЛИС 18;
1
M
1
M
49 - шина управления записью памятей 11, …, 11 стартовых конфигураций и конфигурированием вычислительных 13, …, 13 системной ПЛИС 18;
1
M
50 - общая шина конфигурирования вычислительных ПЛИС 13, …, 13;
1
M
1
M
51 - общая шина записи памятей стартовых конфигураций 11, …, 11 вычислительных ПЛИС 13, …, 13;
1
N
1
N
52, …, 52 - N шин мониторинга и управления состоянием вычислительных модулей 8, …, 8;
1
N
53 - шина контроля и управления питанием вычислительных модулей 8, …, 8;
1
K
54 - шина контроля и управления вентиляторами охлаждения вычислительных узлов 4, …, 4;
1
K
1
K
55, …, 55 - K сетевых интерфейсов мониторинга Ethernet вычислительных узлов 4, …, 4;
1
K
56 - сетевой интерфейс Ethernet управления питанием вычислительных узлов 4, …, 4; 57 - сетевой интерфейс Ethernet между коммутатором мониторинга Ethernet 24 и ведущим сервером 2.
ПОДРОБНОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
1
K
1
K
1
K
1
K
1
N
1
N
1
N
1
K
Ведущий сервер 2 реконфигурируемой вычислительной системы предназначен для организации загрузки операционных систем в вычислители общего назначения 6 ВУ 4, …, 4, организации управления потоками задач для ВУ 4, …, 4 через сетевой коммутатор Ethernet 1 управления РВС, организации мониторинга состояния компонент и управления режимами реконфигурируемой вычислительной системы через сетевой коммутатор Ethernet 24 мониторинга РВС, а также для организации взаимодействия вычислительных узлов 4. …, 4 между собой через коммутатор PCI-Express 3 по высокоскоростным последовательным интерфейсам PCI-Express 28, …, 28 и вычислительных модулей 8, …, 8 между собой через коммутатор PCI-Express 9 по высокоскоростным последовательным интерфейсам PCI-Express 32, …, 32 при построении различных вычислительных структур РВС. Кроме того ведущий сервер 2 с использованием ресурсов коммутаторов PCI-Express 3 и 9, а также коммутаторов PCI-Express 10 и 7 обеспечивает прямой доступ к памятям 5, …, 5 состояния вычислительных модулей. Также за счет взаимодействия с блоком 23 контроля и управления питанием ВУ через сетевой коммутатор Ethernet 24 мониторинга РВС ведущий сервер 2 осуществляет управление подачей первичного питания на соответствующие ВУ 4, …, 4, и через сетевой коммутатор Ethernet 1 управления РВС осуществляет управление включением вычислителей общего назначения 6.
1
K
Вычислительные узлы 4, …, 4 предназначены для высокоскоростной обработки данных в процессе решения трудоемких вычислительных задач.
1
K
1
N
1
N
1
N
1
K
1
N
Каждый вычислитель общего назначения 6 ВУ 4, …, 4 содержит процессор общего назначения, оперативную память, шину ввода-вывода PCI-Express, сетевые интерфейсы и предназначен для подготовки данных и обработки результатов вычислений от ВМ 8, …, 8, а также для анализа и передачи на ведущий сервер 2 РВС данных о состоянии компонент из памятей 5, …, 5 состояния ВМ 8, …, 8 с использованием сетевого коммутатора Ethernet 1 по сетевым интерфейсам 26, …, 26. Обмен данными между вычислителем общего назначения 6 и ВМ 8, …, 8 осуществляется при помощи коммутатора PCI-Express 7 по высокоскоростному последовательному интерфейсу PCI-Express 30.
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
Вычислительные ПЛИС 13, …, 13 с индивидуальным питанием, взаимодействуют с вычислителем общего назначения 6 через коммутаторы PCI-Express 7 и 10, и по шинам 39, …, 39 с соответствующими СВ 14, …, 14, предназначены для осуществления обмена данными и результатами и выполнения предварительной обработки данных с последующей дообработкой результатов, получаемых от СВ 14, …, 14 при решении вычислительно сложных задач различного типа. Вычислительные ПЛИС 13, …, 13 осуществляют запись соответствующих памятей 11, …, 11 стартовых конфигураций по индивидуальным шинам 34, …, 34 записи, и таким образом выполняют оперативное самореконфигурирование необходимыми рабочими конфигурациями по соответствующим индивидуальным шинам 35, …, 35 оперативной реконфигурации, используя только собственные ресурсы без использования ресурсов системной ПЛИС 18. Кроме того вычислительные ПЛИС 13, …, 13 управляют индивидуальным питанием и режимами работы соответствующих СВ 14, …, 14 при помощи соответствующих шин 37, …, 37 локального управления индивидуальным питанием СВ и шин 38, …, 38 управления режимом. Стартовые конфигурации вычислительных ПЛИС 13, …, 13 предназначены для обеспечения взаимодействия по высокоскоростному последовательному интерфейсу PCI-Express и осуществления перезаписи соответствующих памятей 11, …, 11 стартовых конфигураций требуемыми рабочими конфигурациями.
1
M
1
M
1
M
Совычислители 14, …, 14 с индивидуальным питанием предназначены для выполнения основного объема обработки данных в процессе решения вычислительно сложных задач. В качестве СВ 14, …, 14 могут использоваться ПЛИС с большим количеством конфигурируемых логических блоков, заказные СБИС с аппаратной или программной логикой, а также системы на кристалле, которые могут совмещать в своем составе универсальные программируемые вентильные матрицы и процессорные ядра. Совычислители 14, …, 14, определяют производительность РВС, обладают наиболее высокой удельной вычислительной мощностью, работают на предельно высоких частотах и, как следствие, характеризуются высокими энергопотреблением и тепловыделением.
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
N
1
N
1
M
1
M
Блок 16 мониторинга и управления ВМ предназначен для сбора данных о состоянии вычислительных ПЛИС 13, …, 13, совычислителей 14, …, 14 и системной ПЛИС 18, программирования порогов срабатывания температурной защиты, управления индивидуальными питаниями вычислительных ПЛИС 13, …, 13 по шинам 41, …, 41 локального управления индивидуальным питанием вычислительных ПЛИС 13, …, 13 ВМ, управления режимом работы коммутатора PCI-Express 10 путем взаимодействия с блоком 15 управления режимом коммутатора PCI-Express 10 по шине 42 управления режимом коммутатора PCI-Express 10. Также блок 16 мониторинга и управления ВМ осуществляет первичную запись памятей 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, …, 13 по шине 44 управления первичной записью через блок 19 и памяти 17 стартовой конфигурации системной ПЛИС 18 по шине 43 первичной записи памяти 17. Кроме того блок 16 мониторинга и управления ВМ по соответствующим шинам 52, …, 52 осуществляет взаимодействие с блоком 21 мониторинга и управления ВУ, что обеспечивает доступ к мониторингу и управлению вычислительными модулями 8, …, 8 от сервера управления 2. Первичная запись памятей 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, …, 13 и памяти 17 стартовой конфигурации системной ПЛИС 18 осуществляется на этапе изготовления и наладки вычислительных модулей.
1
M
1
M
1
N
1
N
1
M
1
M
1
M
1
M
Системная ПЛИС 18 вычислительных модулей предназначена для анализа информации о состоянии вычислительных ПЛИС 13, …, 13 и совычислителей 14, …, 14, полученной от блока 16 мониторинга и управления ВМ по шине 47 локального мониторинга и управления состоянием ВМ, формирования текущих кадров состояния компонент ВМ и передачи этих кадров по высокоскоростному интерфейсу PCI-Express 48 через коммутаторы PCI-Express 10 и 7 в соответствующую память 5, …, 5 состояния ВМ 8, …, 8. При помощи блока 19 конфигурирования вычислительных ПЛИС 13, …, 13 и их памятей 11,…, 11 стартовых конфигураций и шины 49 управления записью системная ПЛИС 18 осуществляет конфигурирование как вычислительных ПЛИС 13, …, 13, так и запись памятей стартовых конфигураций 11, …, 11. Кроме того системная ПЛИС 18 по шине 46 оперативной записи из памяти 17 стартовой конфигурации осуществляет запись системной ПЛИС 18, а за счет взаимодействия по шине 47 с блоком 16 мониторинга и управления ВМ осуществляет установку порогов срабатывания температурной защиты компонент ВМ. Стартовая конфигурация системной ПЛИС 18 предназначена для обеспечения всех вышеперечисленных функций, но может изменяться в процессе эксплуатации, что отражается в ее памяти 17 стартовой конфигурации путем перезаписи.
1
N
1
N
1
N
1
N
1
1
N
1
N
1
M
1
M
1
N
Блок 21 мониторинга и управления ВУ предназначен для мониторинга и управления вычислительными модулями 8, …, 8, питанием ВУ и вентиляторами охлаждения ВУ, за счет взаимодействия с блоками 16 мониторинга и управления ВМ, блоком 20 контроля и управления питанием ВУ и блоком 22 контроля и управления вентиляторами охлаждения ВУ по соответствующим шинам 52, …, 52 мониторинга и управления состояния ВМ 8, …, 8, шине 53 контроля и управления питанием ВМ 8, …, 8 и шине 54 контроля и управления вентиляторами охлаждения ВУ4, …, 4к и передачи данных через сетевой коммутатор Ethernet 24 мониторинга РВС на ведущий сервер 2 РВС. При этом за счет взаимодействия с блоком 20 контроля и управления питанием ВУ и блоком 22 контроля и управления вентиляторами охлаждения ВУ блок 21 мониторинга и управления ВУ осуществляет управление подачей питания на ВМ 8, …, 8 и управление скоростью вращения вентиляторов охлаждения ВУ, а за счет взаимодействия с блоками 16 мониторинга и управления ВМ блок 21 мониторинга и управления ВУ осуществляет установку порогов срабатывания температурной защиты компонент ВМ 8, …, 8, и, при необходимости, может осуществлять первичную запись памятей 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, …, 13 и памяти 17 стартовой конфигурации системной ПЛИС 18 ВМ 8, …, 8.
Предлагаемая реконфигурируемая вычислительная система работает следующим образом.
1
K
1
N
При включении питания первыми включаются сетевой коммутатор Ethernet 1 управления РВС, сетевой коммутатор Ethernet 24 мониторинга РВС и ведущий сервер 2. После загрузки ведущего сервера 2 осуществляется включение питания на вычислительные узлы 4, …, 4 уже по программе от ведущего сервера 2 через блок 23 контроля и управления питанием ВУ. Далее ведущий сервер 2 РВС через блок 21 мониторинга и управления ВУ осуществляет поочередное включение питания вычислительных модулей 8, …, 8.
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
После загрузки системной ПЛИС 18 из памяти 17 стартовой конфигурации системной ПЛИС 18, осуществляется включение индивидуальных питаний вычислительных ПЛИС 13, …, 13. Вычислительные ПЛИС 13, …, 13 конфигурируются стартовыми конфигурациями из соответствующих памятей 11, …, 11 стартовых конфигураций. Стартовые конфигурации вычислительных ПЛИС 13, …, 13 используются для загрузки рабочих конфигураций в памяти 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, …, 13. Одновременно блок 21 через блок 16 мониторинга и управления ВУ выполняет настройку порогов срабатывания температурной защиты системной ПЛИС 18, вычислительных ПЛИС 13, …, 13 и СВ 14, …, 14.
Далее ведущий сервер 2 осуществляет включение питаний на вычислителях общего назначения 6 ВУ и загрузку операционных систем.
1
M
1
M
1
M
После загрузки ОС в вычислители общего назначения 6 ВУ, которые могут выполняться по сети Ethernet или с автономных дисков, осуществляется распределение адресного пространства между вычислительными ПЛИС 13, …, 13. Одновременно блок 21 мониторинга ВУ осуществляет проверку напряжений питания системной ПЛИС 18, вычислительных ПЛИС 13, …, 13 и СВ 14, …, 14 через блок 16 мониторинга и управления ВМ.
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
Вычислители общего назначения 6 ВУ распределяют задачи пользователей между вычислительными ПЛИС 13, …, 13 и конфигурируют их рабочими программами с использованием ресурсов только самих вычислительных ПЛИС 13, …, 13. После этого вычислительные ПЛИС 13, …, 13 подготовлены для решения задач пользователей. При этом вычислительные ПЛИС 13, …, 13 осуществляют управление индивидуальными питаниями соответствующих СВ 14, …, 14 и динамическое управление их рабочими режимами. В зависимости от используемых СВ 14, …, 14 и характера задач, обрабатываемых на них и вычислительных ПЛИС 13, …, 13, управление рабочими режимами СВ 14, …, 14 включает конфигурирование СВ, управление их рабочими частотами и установку требуемых режимов работы. Вычислительные ПЛИС 13, …, 13 также осуществляют запись новых рабочих конфигураций в памяти 11, …, 11 стартовых конфигураций вычислительных ПЛИС 13, …, 13, тем самым организуя оперативную самореконфигурацию с использованием только собственных ресурсов.
1
M
1
M
1
M
1
M
1
M
1
M
1
M
1
M
Наличие у вычислительных ПЛИС 13, …, 13 возможности оперативного самореконфигурирования с использованием собственных памятей 11, …, 11 стартовых конфигураций и индивидуальных шин их записи 34, …, 34 и оперативной реконфигурации 35, …, 35, а также наличие у вычислительных ПЛИС 13, …, 13 и СВ 14, …, 14 индивидуального питания и возможности индивидуального управления питанием, позволяет проводить распределение вычислительных ресурсов для решения текущих задач пользователей с точностью до одного вычислительного ПЛИС 13, …, 13 с соответствующим СВ 14, …, 14, что позволяет оптимизировать распределение задач по вычислительным модулям и узлам для повышения средней скорости обмена по каналам PCI Express и выравнивания энергопотребления и нагревания компонент ВМ. В связи с этим, если в потоке задач пользователей все задачи имеют одинаковый приоритет к исполнению, то в первую очередь из потока задач могут выбираться к исполнению те задачи, которые в комбинации приводят к уменьшению суммарного потребления и увеличению средней скорости обмена по каналам PCI Express, то есть наилучшим образом сочетающимися между собой при реализации.
В предлагаемой РВС организована многоуровневая подсистема мониторинга и управления РВС, которая осуществляет мониторинг и управление по четырем параллельно работающими уровнями.
1
M
1
M
1
M
1
M
1
M
1
M
1
M
Первый уровень подсистемы мониторинга и управления РВС отвечает за локальное управление индивидуальными питаниями СВ 14, …, 14 вычислительными ПЛИС 13, …, 13, которое предполагает отключение вычислительными ПЛИС 13, …, 13 индивидуальных питаний от соответствующих СВ 14, …, 14 в периоды их простоя, то есть когда ресурсы СВ 14, …, 14 оказываются временно невостребованными. Такие ситуации могут возникать в случаях, когда ресурсы СВ 14, …, 14 не задействуются при обработке вычислительных алгоритмов. Результатом данного управления индивидуальными питаниями СВ 14, …, 14 является сокращение их потребляемой мощности при решении вычислительно сложных задач.
1
N
1
M
1
M
1
M
1
M
1
M
1
M
1
M
Второй уровень подсистемы мониторинга и управления РВС отвечает за локальный мониторинг и управление состоянием отдельных ВМ 8, …, 8. На данном уровне системная ПЛИС 18 осуществляет сбор данных о текущем состоянии компонент ВМ задействованных в процессе выполнения вычислений, а именно вычислительных ПЛИС 13, …, 13 и соответствующих СВ 14, …, 14. По полученным данным системная ПЛИС 18 осуществляет управление индивидуальными питаниями вычислительных ПЛИС 13, …, 13 , а также путем взаимодействия с вычислительными ПЛИС 13, …, 13 через блок 16 мониторинга и управления ВМ управление индивидуальными питаниями и динамическую настройку рабочих режимов СВ 14, …, 14, к которым в первую очередь относится управление рабочей частотой в зависимости от их текущей температуры. Для управления индивидуальными питаниями СВ 14, …, 14 и динамической настройки их рабочих режимов в зависимости от их текущих температурных режимов и режимов питания в основном используются ресурсы системной ПЛИС 18, а вычислительные ПЛИС 13, …, 13 используются для ретрансляции управляющих сигналов, формируемых системной ПЛИС 18. За счет этого обеспечивается высокая оперативность управления состоянием компонент ВМ на этапе решения задач.
1
M
1
N
1
N
1
N
Из собранных данных мониторинга системная ПЛИС 18 формирует кадры состояния вычислительных модулей 8, …, 8. Кадры состояния ВМ представляют собой пакеты данных небольшого объема, содержащие лишь минимальные сведения о состоянии компонент реконфигурируемой вычислительной системы, на основании которых проводится оценка вероятности отказов в работе компонент ВМ 8, …, 8. При помощи коммутаторов PCI-Express 7 и 10 кадры состояния ВМ транслируются в соответствующую память 5 состояния ВМ 8, …, 8, из которой посредством вычислителя общего назначения 6 ВУ и сетевого коммутатора Ethernet 1 управления РВС поступают на ведущий сервер 2 РВС. Так как оперативные данные мониторинга являются достаточно малообъемными, то их поток практически не нагружает коммуникационную среду, используемую для нужд обработки вычислительных задач. В случае, когда вычислители общего назначения 6, заняты интенсивной передачей данных и результатов задач пользователей, для передачи кадров состояния из памятей 5, …, 5 могут использоваться ресурсы ведущего сервера 2 и коммутаторы PCI-Express 7, 10, 9 и 3.
1
K
1
K
1
M
1
M
1
K
1
N
1
N
1
K
1
K
1
K
1
N
1
N
1
N
1
K
Третий уровень подсистемы мониторинга и управления состоянием РВС отвечает за мониторинг и управление состоянием ВУ 4, …, 4. На этом уровне основные функции мониторинга и управления возлагаются на блоки 21 мониторинга компонент ВУ. Данные блоки осуществляют сбор и обработку расширенных данных о состоянии ВУ 4, …, 4, а именно вычислительных ПЛИС 13, …, 13, СВ 14, …, 14, системных ПЛИС 18, коммутаторов PCI-Express 9, систем питания и охлаждения ВУ 4, …, 4. Расширенные данные мониторинга представляют детальную информацию о состоянии компонент ВМ 8, …, 8. По полученным данным о состоянии компонент ВМ 8, …, 8, блок 21 мониторинга ВУ осуществляет регулирование скорости вращения вентиляторов охлаждения ВУ 4, …, 4 с помощью блока 22 контроля, что приводит к сокращению потребляемой мощности ВУ 4, …, 4, а также управление питанием ВУ 4, …, 4 с помощью блока 23 контроля и управления питанием ВУ. Подача питания на соответствующие ВМ 8, …, 8 осуществляется поочередно, за счет чего уменьшаются выбросы в цепях питания ВМ 8, …, 8 в момент их включения. Таким образом, за счет эффективной работы системы охлаждения, снижается ее энергопотребление, и, за счет наличия возможности поочередного включения и экстренного отключения питаний ВМ 8, …, 8, уменьшается вероятность выхода из строя их компонент. Обработанная информация о состоянии ВУ 4, …, 4 с блоков 21 мониторинга ВУ через сетевой коммутатор Ethernet 26 мониторинга состояния РВС передается на ведущий сервер 2 РВС.
1
K
1
K
1
K
Четвертый уровень подсистемы мониторинга и управления состоянием РВС отвечает за мониторинг и управление состоянием всей РВС. На данном уровне ведущий сервер 2 осуществляет централизованный сбор информации о состоянии всех компонент РВС и по этим данным осуществляется оптимальное перераспределение задач между ВУ, в зависимости от их текущего энергопотребления и температурного режима. Анализируя информацию мониторинга, полученную с помощью средств мониторинга второго уровня, ведущий сервер 2 РВС может регулировать период запросов расширенных данных мониторинга с блоков 21 мониторинга ВУ для оперативного отслеживания текущего состояния ВУ, имеющих наиболее высокие показатели энергопотребления и температуры их компонент. Таким образом, обеспечивается высокая оперативность работы подсистемы мониторинга и управления состоянием РВС, что приводит к уменьшению вероятности перегрева компонент ВУ 4, …, 4 и их аварийного отключения их питания, а также увеличивает отказоустойчивость РВС в целом. Кроме того, ведущий сервер 2 осуществляет поочередное включение питаний ВУ 4, …, 4 путем взаимодействия с блоком 23 контроля и управления питанием, за счет чего уменьшаются выбросы в цепях питания ВУ 4, …, 4 в момент их включения.
Подсистемы мониторинга и управления предлагаемой реконфигурируемой вычислительной системы предназначены для обслуживания только системных и вычислительных ПЛИС и СВ, так как остальные компоненты РВС имеют штатные средства мониторинга, обеспечивающие достаточный уровень отказоустойчивости.
ПРИМЕР ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Предлагаемая реконфигурируемая вычислительная система может быть реализована на следующих элементах:
В качестве ведущего сервера 2 РВС может быть использован сервер фирмы Kraftway на базе платформы Kraftway Express 200: процессор Intel(R) Xeon(R) E2620V4 2.10 GHz 8 cores; оперативная память 64 Gb; жесткий диск 1 Tb.
1
M
1
M
Вычислители общего назначения 6 ВУ: процессор Intel(R) Xeon(R) E2620V4 2.10 GHz 8 cores; оперативная память 64 Gb; жесткий диск 1 Tb; восемь вычислительных модулей 8, содержащих по четыре вычислительных ПЛИС 13, …, 13 и четыре заказных СБИС в качестве СВ 14, …, 14.
1
M
1
M
Вычислительные модули 8: системная ПЛИС 18 и вычислительные ПЛИС 13, …, 13 - на микросхемах фирмы Xilinx типа XC7A100T-FGG484; коммутатор PCI-Express 9 - на микросхеме коммутатора РЕХ8732 фирмы PLX Technology; блок 16 контроля состояния компонент ВМ - на микросхемах МАХ6656 фирмы Maxim Integrated, TMP461AIRUNT фирмы Texas Instruments; блоки 12 управления режимом СВ 14, …, 14 - с использованием микросхем SI570; блок 21 конфигурирования вычислительных ПЛИС и их памятей стартовых конфигураций - на микросхеме CPLD ХС2С64А фирмы Xilinx; памяти стартовых конфигураций 11, 17 вычислительных и системной ПЛИС - на микросхемах SPI-памяти М25Р64 фирмы Micron Technology.
Блок 21 мониторинга и управления ВУ - на микросхеме фирмы Xilinx типа XC7Z007S-1CLG400C.
1O
1D
1O
1D
1O
1D
1
N
1
N
1
K
В предлагаемой реконфигурируемой вычислительной системе, в сравнении с прототипом, применение многоуровневой подсистемы мониторинга и управления состоянием РВС значительно уменьшает время опроса состояния компонентов и передачи данных на ведущий сервер 2. В прототипе время опроса и передачи данных составляет Тпрототипа = M*N*T+M*N*T, где T и T - времена опроса состояния (например, температуры и напряжения) и передачи данных для одного вычислительного ПЛИС, М -количество вычислительных ПЛИС в модуле, N -количество вычислительных модулей в вычислительном узле, при условии, что компьютеры 8 параллельно и независимо доставляют свои данные на ведущий сервер 2. В предлагаемой реконфигурируемой вычислительной системе данное время составляет Т=2*М*T+2*N*M*T, где коэффициент "двойка" связан с введением в вычислительные модули 8 совычислителей 14. Данное время в предлагаемом изобретении значительно меньше, чем у прототипа, за счет независимого и параллельного формирования системными ПЛИС 18 кадров состояния вычислительных модулей 8, …, 8 в памятях 5, …, 5 состояния в вычислительных узлах 4, …, 4 через коммутаторы PCI-Express 7, 10, и независимой параллельной передачи данных кадров состояния вычислителями общего назначения 6 и формирования расширенных данных мониторинга блоками 21 мониторинга и управления ВУ соответственно через коммутаторы Ethernet 1 и 24 и соответствующие связи на ведущий сервер 2. В связи с этим также уменьшается и интервал обслуживания каждого конкретного компонента, что повышает отказоустойчивость реконфигурируемой вычислительной системы в целом.
1
K
1
N
1
M
1
M
Кроме того, в сравнении с прототипом, предлагаемая реконфигурируемая вычислительная система с многоуровневой подсистемой мониторинга и управления обладает меньшим энергопотреблением за счет эффективного управления вращением вентиляторов охлаждения вычислительных узлов 4, …, 4 в зависимости от текущих температур компонент вычислительных модулей 8, …, 8 и оперативного отключения индивидуальных питаний от неиспользуемых вычислительных ПЛИС 13, …, 13 и совычислителей 14, …, 14.
Вышеизложенные сведения позволяют сделать вывод, что предлагаемая реконфигурируемая вычислительная система с многоуровневой подсистемой мониторинга и управления решает поставленную задачу и соответствует заявляемому техническому результату - повышение отказоустойчивости реконфигурируемой вычислительной системы и снижение мощности потребления.