Давайте начистоту, мировой рынок серверов устоялся. На нём закрепились мастодонты, вроде Dell, HPE, Lenovo, IBM, Cisco, Huawei и другие. Все производят плюс-минус схожие линейки серверов: башенные, стоечные, блейд-системы.  Принципиально новых решений почти не появляется. Вышли на плато и скучную эволюционную модель развития. Но есть кое-что интересное, выбивающееся из серого однообразия — Dell PowerEdge VRTX. Модель не новая, но если стряхнуть пыль, то она сможет вас удивить. Как уверяют ребята из Dell в своём блоге на Хабре, “VRTX” переводится с латыни как “высшая ступень”. Сильное заявление, спросить с ним я конечно не буду.  Из этой же статьи видим, что “VRTX” правильно читается как “вэр-текс”. Так и запишем. Но уберегу вас от недопониманий: сисадмины, которых я знаю, называют эту шайтан-коробку “вэр-тэ-икс”. Вне контекста другие варианты не считываются на слух. С чудо неймингом от маркетологов разобрались, идём дальше. Dell VRTX — это блейд-система, поэтому она стоит как перо птицы гуйя. Всем спасибо за прочтение статьи, всем пока.  Ладно, шутка :) Но доля правды в ней есть. В 2013 году вэртекс (шасси + блейды) стоил прилично. Приведу пример с базовой комплектацией за $11 000 (≈$13 500 с поправкой на инфляцию): 2 лезвия M520 Xeon E5-2403, 4 ядра и 1,8 ГГц; 8 ГБ DDR3; 500 ГБ SATA-диск и контроллер Dell iDRAC7 Express) Шасси Один CMC (Chassis Management Controller, расскажу про него ниже), 2 блока питания по 1100 Вт, три SAS Near-Line емкостью 1 ТБ Стандартная трехлетняя гарантия Dell NBD на шасси и узлы А сегодня за ≈$16 000 (до недавних событий ≈$11 800) вы получите следующее: 4 лезвия M630 Xeon E5-2687W v3, 10 ядер и 3,1 ГГц; 128 ГБ DDR4; контроллер Dell iDRAC8 Express) Шасси Один CMC (Chassis Management Controller), 4 блока питания по 1100 Вт Пятилетняя выездная гарантия Servermall на шасси и узлы Да, нужно докупить диски, но вэртекс однозначно стал доступнее. Поэтому обсудим его предназначение. Dell позиционирует вэртекс как решение для SMB (small-medium business). Учитывая цену, я бы ориентировался на малый и средний бизнес, но некоторые макропредприятия также могут прикоснуться к прекрасному взять кредит с прекрасной ставкой от ЦБ, если того требует задача. Критерии SMB Предприятие Сотрудники Годовой оборот: Европейский союз Годовой оборот: Россия Микро < 10 ≤ €2 млн ≤ ₽120 млн Малое < 50 ≤ €10 млн  ≤ ₽800 млн Среднее < 250 ≤ €50 млн  ≤ ₽2 млрд Но если немного отстраниться от цены, то есть важные преимущества Dell VRTX для небольших организаций: он не ревёт, как двигатель самолёта, он компактный, модульный (Blade-система) и самодостаточный: в одном шасси объединены серверы, СХД, сеть и управление. И… Барабанная дробь… ОНО — башенное (с возможностью прикрутить рельсы в стойку или колёсики). Если классическим рэкам нужна дополнительная инфраструктура, то укомплектованный VRTX неплохо выступает соло. Не обязательны отдельное помещение и сплит-системы, огромные стойки и коммутаторы.  Розетка, эзернет кабель и поехали. Высота Dell PowerEdge VRTX — 5U. Как и у многих башенных серверов, есть два варианта по установке: Тёмная Башня   RACK & ROLL Прикручиваем направляющие “ReadyRails II” и размещаем в стандартную 19’ стойку. В Dell VRTX можно установить до четырёх блейд-серверов M-cерии с горячей заменой (данные с сайта производителя). WARNING! Первые попавшиеся блейды от Dell M1000e не подойдут – есть отдельные лезвия “для PE VRTX”. Вроде бы похожи, а нет – не заведутся. Причём можно комбинировать двухсокетные полуформатные блейды с четырёхсокетными полноформатными. Или что-то одно – на ваш выбор. Чтобы не ошибиться с выбором серверов для вашего шасси, продавец может попросить Service Tag. Посмотреть его можно на лицевой стороне, достав выдвижной лейбл. Дальше будут технические характеристики последних поколений блейдов Dell PowerEdge: M630, M640 и M830. Старые M620, M520 и даже M610 поддерживаются, но я их обсуждать не буду. Смотрим и читаем ТХ под катом :) Dell PowerEdge M630 (для PE VRTX) – двухсокетный полуформатный блейд-сервер Процессор  Семейство процессоров Intel Xeon E5-2600 v4, до 22 ядер каждый. Операционная система Microsoft® Windows Server® 2016; Microsoft Windows Server 2012 R2; SUSE® Linux Enterprise Server; Red Hat® Enterprise Linux; VMware® ESXi. Память До 1,5 Тбайт (24 разъема для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32 или 64 Гбайт с пропускной способностью до 2 400 МТ/с (англ. megatransfers per second, MT/s).  Регистровая с поддержкой ECC. Накопители Жесткие диски с возможностью горячей замены: PowerEdge Express Flash NVMe PCIe SSD, SATA HDD/SSD или SAS HDD/SSD До 4 x 1.8" SSD. До 2 x 2.5" PCIe SSDs. Максимум 12.8TB Контроллеры запоминающих устройств Внутренние контроллеры: S130 (программный RAID-контроллер), PERC H330, PERC H730, PERC H730P.  Dell PowerEdge M640 (для PE VRTX) – двухсокетный полуформатный блейд-сервер Процессор Семейство процессоров Intel® 2nd Generation Xeon® Scalable, до 28 ядер каждый. Операционная система Microsoft Windows Server® with Hyper-V; Novell® SUSE® Linux Enterprise Server; Red Hat® Enterprise Linux; Canonical® Ubuntu® LTS; SUSE® Linux Enterprise Server Опциональные гипервизоры: Citrix® XenServer®; VMware® ESXi. Память До 2 Тбайт (16 разъемов для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32, 64 или 128 Гбайт с пропускной способностью до 2 933 МТ/с. Регистровая с поддержкой ECC. Накопители Жесткие диски с возможностью горячей замены: До 2 x 2.5” SAS/SATA (HDD/SSD), NVMe SSD, максимум 12.8TB. Контроллеры запоминающих устройств PERC S140 (программный RAID-контроллер), PERC 9 H330, H730P.  Dell PowerEdge M830 (для PE VRTX) — четырёхсокетный полноформатный блейд-сервер Процессор Семейство процессоров Intel Xeon семейства E5-4600 v4, до 22 ядер каждый. Операционная система Microsoft Windows Server® 2008/2012 R2 (with Hyper-V® enabled); Microsoft Windows Server 2012 (with Hyper-V enabled); Microsoft Windows Server 2008/2012 Datacenter (with Hyper-V enabled); Microsoft Windows Server 2008 R2 SP1 (with Hyper-V enabled); Microsoft Windows Server 2008 R2 SP2 x64/x86 (with Hyper-V enabled); Novell® SUSE® Linux Enterprise Server; Red Hat® Enterprise Linux; Опциональные гипервизоры: Citrix® XenServer®; VMware® ESXi. Память До 3 Тбайт (48 разъема для модулей памяти DIMM): модули памяти DDR4 объемом 4, 8, 16, 32 или 64 Гбайт с пропускной способностью до 2 400 МТ/с. Регистровая с поддержкой ECC. Накопители Жесткие диски с возможностью горячей замены: PowerEdge Express Flash NVMe PCIe SSD, SATA HDD/SSD или SAS HDD/SSD 12 x 1.8" SSD; SATA HDD/SSD или SAS HDD/SSD 4 x 2.5"; PCIe SSD 2 x 2.5" и 2 x 2.5" SATA HDD/SSD или SAS HDD SSD. Контроллеры запоминающих устройств PERC S130 (программный RAID-контроллер), PERC H330, PERC H730, PERC H730P.  Самое интересное инженерное решение в вэртексе — это встроенная система хранения данных в двух вариантах: на 25 SFF или на 12 LFF накопителей (SSD и HDD). Учтите это при покупке шасси, так как корзину позже заменить нельзя. По интерфейсам – NLSAS, SAS, или SAS SSD.  Слоты общего хранилища подключаются к одному или двум RAID-контроллерам PERC через коммутируемый 6 Гигабитный SAS. PERC управляется через CMC (Chassis Management Controller) и позволяет настраивать RAID-массивы, а затем разделять их на отдельные виртуальные диски, которые привязываются к одному или нескольким блейдам. Таблица с характеристиками поддерживаемых RAID. Модели Поддержка интерфейса Поддержка PCI Разъемы SAS Размер кэш-памяти Кэш обратной записи Уровни RAID RAID-контроллер PowerEdge (PERC) серии 10  S140 Программный RAID  6 Гбит / с SATA  N / A  N / A  Нет кэша  Нет кэша  0,1,5,10  RAID-контроллер PowerEdge (PERC) серии 9 S130 Программный RAID 6 Гбит / с SATA N / A N / A Нет кэша  Нет кэша  0,1,5,10 Адаптер PERC H330 12 Гбит / с SAS 6 Гбит / с SATA PCI-Экспресс 3.0 2x4 Внутренний Нет кэша  Нет кэша  0,1,5,10,50 Адаптер PERC H730 12 Гбит / с SAS 6 Гбит / с SATA PCI-Экспресс 3.0 2x4 Внутренний 1 ГБ NV Кэш с поддержкой Flash 0,1,5,6,10,50,60 Адаптер PERC H730P 12 Гбит / с SAS 6 Гбит / с SATA PCI-Экспресс 3.0 2x4 Внутренний 2 ГБ NV Кэш с поддержкой Flash 0,1,5,6,10,50,60 CMС или Chassis Management Controller – это аппаратно-программное решение для управления несколькими blade-серверами через GUI по протоколу IPMI (Integrated Lights-Out). Некий аналог BMC (Baseboard Management Controller), но для всех лезвий и других систем одного VRTX. Подробнее про IPMI и BMC можно почитать в другой моей статье. С аппаратной точки зрения это контроллер с собственным процессором и Flash-памятью, интерфейсы которого выходят на заднюю часть шасси VRTX (да, у M1000e он тоже есть, но они абсолютно разные и несовместимы).  Индикатор Состояние Описание Индикатор питания Горит зелёным CMC получает питание Выключен CMC не получает питание Индикатор состояния / идентификации Синий CMC активен и работает нормально Желтовато-оранжевый CMC находится в неисправном состоянии Программно он обеспечивает защищённый доступ через IPMI WEB-интерфейс, чтобы сисадмин мог просматривать консоль инвентаризации и мониторинга в режиме реального времени, менять настройки, удалённо управлять серверными узлами, вентиляторами, питанием, СХД, подсистемами PCIe, а также включать оповещения о событиях на серверах и в компонентах шасси VRTX. Добавлю, что если вы уже работали с WEB-интерфейсом iDRAC или CMC M1000e, то вы легко справитесь и CMC VRTX. Это как пересесть с обычного велосипеда на горный :) На Хабре уже есть подробная статья от Dell про начало работы в CMC. Повторяться не буду, но оставлю ссылку. Вэртекс — парень прожорливый. Он поддерживает до 4-ёх БП переменного тока с сертификацией Platinum Plus. Самое классное — это резервирование по схеме 3+1 или 2+2. Но учтите, что в схеме 2+2 два блока питания подключаются к одной сети, а другие два — к другой.  Мощность — 1100 Вт или 1600 Вт, комбинировать нельзя, нужны одинаковые. Интересный факт. VRTX можно перевести в ждущий режим. Почти все комплектующие перестанут получать питание, кроме дежурного для CMC-контроллера, ЖК-дисплея и двух вентиляторов для охлаждения.  Dell VRTX поддерживает до 8 портов Ethernet. На выбор есть или коммутационная плата (для установки внутрь на холодную) или технология pass-through. В современные шасси Dell VRTX на выбор устанавливается следующее: Внутренний 24-портовый коммутатор 1GbE; Внутренний 8-портовый сквозной модуль 1GbE; Внутренний свитч на 10GbE. В блейд серверах картина такая: В M520 используется четырехпортовый LOM 1 GbE; M620 имеет 10 GbE NDC (network daughter card), включая карты Broadcom и Intel, совместимые с 1 GbE; Лезвия M630 и M640 имеют как 1 GbE, так и 10 GbE NDC. Мэппинг портов на блейдах половинной высоты. 6 Gb/s SAS HBA (low-profile и full-height) – только для M520, M620 и M820 Broadcom dual-port 1 Gb Base-T (low-profile и full-height) Broadcom quad-port 1 Gb Base-T (low-profile и full-height) Intel dual-port 1 Gb Base-T (low-profile и full-height) Intel dual-port 10 Gb Base-T (low-profile и full-height) Intel dual-port 10 Gb Base-SFP+ (low-profile и full-height) Intel quad-port 1 Gb Base-T (low-profile и full-height) Intel quad-port 10 Gb Base-SFP+ (low-profile и full-height) Broadcom dual-port 10 Gb Base-SFP+ (low-profile и full-height) Broadcom dual-port 10 Gb Base-T (low-profile и full-height) Emulex FC8: LPe12002 8 Gb/s Dual Port (low profile и full height) Qlogic FC16 single-port HBA (low profile и full height) – только для M630 Micron P420M MLC PCIe 1.4 TB Solid-State Storage Card (full height) – только для M630 Micron P420M MLC PCIe 700 GB Solid-State Storage Card (full height) – только для M630   Корпус изготовлен преимущественно из металла, покрытого приятной на ощупь краской. Местами есть пластмассовые элементы. Вентилятор и блоки питания очень просто достаются на горячую и заменяются. На передней части корпуса есть миниатюрный ЖК-дисплей с кнопками управления. Штука полезная, с него, например, можно провести первичную настройку CMC, проверить состояние вентиляторов. Встроенный KVM на месте. С его помощью по интерфейсам можно подключиться к отдельному северному узлу в шасси. При этом можно обойтись без подключения клавиатуры, мыши и монитора. Спасибо CMC-контроллеру. Передняя и боковая крышки закрываются на ключ. Вы ведь помните позиционирование VRTX? Офисы, где полно любопытных сотрудников. А вэртекс привлекает внимание — не сомневайтесь. Заглянув под крышку Dell PE VRTX, понимаешь, что инженеры очень постарались, чтобы уместить 4 сервера, коммутатор и СХД в компактный корпус 5U.  Из интересного. Для Fabrics B и С вместо привычных модулей ввода и вывода Dell сделала слоты PCIe и два внутренних свитча (Fab B Switch, Fab C Switch). Fab B свитч обеспечивает подключение к следующим слотам: PCIe 3; PCIe 6; PCIe 7; PCIe 8; SPERC (Shared PowerEdge RAID Controller) Fab C свитчу отдали другие: PCIe 1; PCIe 2; PCIe 4; PCIe 5; Всего на борту 3 полновысотных и 5 низкопрофильных PCIe. Подробнее в таблице. Слот Fabric Ширина Поддерживаемый размер карты Максимальная выделенная мощность 1 C x8 (FH) Full-Height 150W 2 C x8 (FH) Full-Height 150W 3 B x8 (FH) Full-Height 150W 4 C x8 (LP) Low-Profile 25W 5 C x8 (LP) Low-Profile 25W 6 B x8 (LP) Low-Profile 25W 7 B x8 (LP) Low-Profile 25W 8 B x8 (LP) Low-Profile 25W PERC B x8 PERC-mini 25W Как раз за этой наклейкой находится Riser Card с тремя PCIe слотами. Выглядит она следующим образом. Опционально туда можно установить полноразмерную GPGPU (General-purpose computing on graphics processing units). Совместимость лучше уточняйте у производителя карты или у продавца перед покупкой. Но официальный список поддерживаемых карт от Dell не обновлялся с 2020: AMD FirePro W7000; NVIDIA K2 active GPGPU (full height).   Пришло время смертельных приемов! В небольшие офисы обычно берут башенные серверы. Вот и посмотрим, что выгоднее взять: 4 штуки Dell T630 или один Dell PE VRTX с 4 лезвиями M630 одинаковой конфигурации. Для удобства буду округлять до тысяч, а также рассчитаю стоимость без учёта софта и дисков.  Цены на 29.04.2022, актуальные можно посмотреть на нашем сайте servermall.ru Решение с Dell VRTX Решение с Dell T630 Шасси Dell VRTX + 4 х БП по 1100W; 4 штуки Dell M630: 2 x Xeon E5-2687w v3; ОЗУ 128 Гб (8х16Гб DDR4 RDIMM 2133MHz REF) в каждом. Итого: 1 273 050 руб. 4 штуки Dell R630: 2 x Xeon E5-2667 v3 в каждом; ОЗУ 128 Гб (8х16Гб DDR4 RDIMM 2133MHz REF) в каждом; 2 х БП Dell 750w Hot Plug в каждом. Итого: 4 x 264 000 = 1 056 000 руб. СХД на 25 SFF дисков встроено в шасси. СХД СХД Dell JBOD ME424HD SAS 24 SFF – 392 000 руб. Коммутатор встроен в шасси. Коммутатор Dell N2024 – 42 000 руб. Итого: 1 273 000 руб. Итого: 1 490 000 руб. + понадобятся патч-корды для коммутации между всеми устройствами. И учитывайте, что 4 сервера, СХД и коммутатор потреблют больше электроэенергии.  Универсальный комбайн, объединяющий в себе серверы, СХД (до 48 ТБ), сети, системы мониторинга и управления; Компактное башенное решение формата 5U для малого и среднего бизнеса, удобно размещать в маленьких и домашних офисах, где нет серверной; Портативность и быстрое развёртывание (обработка чего-либо сразу на объекте). Да, 4 сервера Dell T630 можно поставить под столы сотрудникам в офисе, но загрузить их в багажник и поехать на объект — уже проблема.  Относительно низкий уровень шума – 35-37 дБА, тогда как один стоечный Dell R630 выдаёт 29-43 дБА, в зависимости от конфигурации. Для сравнения напольный вентилятор Zanussi ZFF-910, который находится у нас в офисе, выдаёт 37 дБ на расстоянии 1м. Слышно, но работать не мешает; Два варианта установки: tower и rack; Масштабируемость и вариативность: до 4-х двухпроцессорных или до 2-х четырёхпроцессорных блейдов; Меньше патч-кордов и проще коммутация, так как не нужно отдельно подключаться к каждому серверу; Удобное управление сетевыми подключениями; Возможность удобного управления из одной консоли без установки дополнительного софта; Высокая надёжность, почти все элементы можно зарезервировать; Можно установить огромное количество памяти, например, для виртуализации. До 2 Тб в M640, а всего 8 Тб. Есть слабые места. Например, одна коммутационная плата Backplane у шасси. Если выйдет из строя, то упадут все серверы VRTX; Масштабируемость ограничена пределами шасси; Невозможность разделения. Чтобы перенести половину серверов в другой кластер, нужно ещё одно шасси; Отставание от классических серверов. У Dell в прошлом году вышло 15-ое поколение, а модули для VRTX максимум 14-ого. Я бы сказал, что Dell VRTX — это не отдельное устройство, а самодостаточная серверная с питанием от розетки 220 В. И если в 2013 цена кусалась, то в 2022 вэртекс можно приобрести за адекватные деньги.