Сеть хранения данных SAN

Содержание

1. Введение : основные понятия , топологическое представление сети .

1.1. Архитектурные решения хранения данных :

- Система хранения данных с прямым подключением ( DAS , Direct Attached Storage ) ;

- Сетевое хранилище данных ( NAS , Network Attached Storage ) ;

--Сеть хранения данных ( SAN , Stotage Area Network );

--Сравнение технологий обмена данными ;

--Программное обеспечение SAN ;

--Виртуализация систем хранения данных .

1.2. Блоки взаимодействия ;

- Cluster ;

- NAS Cluents ;

- Computer  Network ;

- File Server ;

- Block Storage ;

1.3. Стандарты передачи данных ;

- SMB ;

- NFS ;

 AFS

- Fibre Channel ;

- iSCSI ;

- AoE ;

2. Представление сети в виде графа : разреженные матрицы и связанные списки .

2.1. Топологическое описание сети в виде двудольного графа .

- узел сети ;

- ветвь сети ;

- хорда ;

- дерево ;

- граф сети ;

2.2. Варианты представления графа сети

- Разрежанные матрицы ;

- Связанные списки ;

2.3. Связность сети .

- базисный узел ;

- связанная сеть ;

- поиск в ширину ;

- поиск в глубину .

2.4. Представление в сети с помощью связанного списка .

3. Компоненты и термины

3.1 Хост-слой

3.2 Ткань слой

3.3 Слой хранения

4.Сетевые протоколы

5.программное обеспечение SAN

6.Типы сетей

7. Совместное использование устройств хранения

8.Преимущества

9.Сравнение технологий обмена данными

10.Топология сети

10.1 **"**Точка-точка" (point-to-point)

10.2.Однокоммутаторная структура

10.3.Дерево или Каскадная структура

10.4.Решётка

10.5.Кольцо

10.6.Центрально-распределённая

10.7.Зонинг (зонирование, zoning)

11. Качество обслуживания

12. Виртуализация систем хранения данных

13.Базовые рекомендации по проектированию фабрики SAN**.**

14. Заключение

1. Введение

1.**1. Сеть хранения данных (SAN)** - является архитектурным решением для подключения внешних устройств хранения данных (например, дисковые массивы, ленточные библиотеки, оптические приводы) к серверам таким образом , чтобы операционная система распознала подключённые ресурсы как локальные .

Транспортную основу SAN составляет протокол Fibre Channel, использующий как медные (до 25 метров), так и оптоволоконные соединения устройств (до 10 километров).В настоящее время он обеспечивает скорость передачи данных, равную 400 Мбайт/с в  дуплексном режиме  . В перспективе -работа над новыми редакциями стандарта для скоростей 800Мбайт/с и 2Гбайта/с (с учетом двунаправленной передачи данных). С учетом современных технических решений возможно создание сетей с большой удаленностью между соединяемыми объектами (до 120 километров с использованием специальных технологий).

Для организации сетей чаще всего используется оптоволокно , поэтому для построения большой полноценной сети SAN необходимо проектировать оптоволоконную кабельную сеть (как для Gigabit Ethernet). Без надежной кабельной сети подключение устройств к SAN может быть проблематичным, а количество проводов станет соизмеримым с ЛВС.

SAN состоит из систем хранения данных (СХД) , коммутаторов и серверов , объединённых оптическими каналами связи . Кроме дисковых СХД в SAN можно подключить дисковые библиотеки , ленточные библиотеки и устройства для хранения данных на оптических дисках .

С помощью SAN можно решить следующие задачи :

1.Повышение скорости и надёжности передачи данных

2.Обеспечение устойчивого доступа к устройствам хранения , удаленным от серверов при минимальном снижении производительности

3. Разработка отказоустойчивого решения с физически распределёнными хостами обработки и хранения данных

4.Подключение к системе новых серверов и дисковых RAID-массивов к SAN без прекращения работы сети.

5.Повышение скорости резервного копирования данных и восстановления информации с использованием резервной копии

6. Встраивание ранее приобретённых устройств в новые системы хранения данных

7. Организация централизованного управления системой хранения данных.

В начале 2000-х стоимость и сложность SANs снизились до уровней, допускающих ее применение в сегменте малых и средних предприятий.

История

В результате развития сетевых технологий были выработаны два сетевых решения для хранения сетей Storage Area Network (SAN) и для обмена данными на уровне блоков Network Attached Storage (NAS) . Для того , чтобы было легче отличить традиционные СХД от сетевых был предложен ещё один ретроним Direct Attached Storage (DAS).

Появившиеся на рынке DAS , NAS и SAN отражают эволюционирующие цепочки связей между приложениями , использующими данные и байты на носителе .

SAN предназначена для консолидации дискового пространства серверов на специально выделенных дисковых хранилищах . Таким образом, дисковые ресурсы используются экономнее , имеют большую производительность и легче управляются . Аналогичные системы хранения данных незаменимы при решении задач виртуализации и кластеризации, если нескольким серверам нужен доступ к одному дисковому пространству .

Channel SAN Fiber соединяет серверы для хранения данных с помощью коммутаторов Fibre Channel.

Сеть хранения данных (SAN) является выделенной и сформировалась на базе модели централизованного хранилища данных , но со своей собственной сетью передачи данных . Кроме хранения данных, SAN также используется для автоматического резервного копирования данных, мониторинга хранения, а также в процессе резервного копирования. SAN представляет собой сочетание аппаратного и программного обеспечения. В ее основу положены данные , ориентированных на архитектуру мейнфреймов , где клиенты в сети могут подключаться к нескольким серверам , которые хранят различные типы данных.

По мере роста объемов данных для масштабирования емкости хранения было разработано прямое подключение хранения (DAS), в котором дисковые массивы (JBOD - массивов) непосредственно прикреплены к серверам. В этой архитектуре , для увеличения емкости может быть добавлено устройство хранения данных . Тем не менее, сервер , через который доступны устройства хранения данных может быть единственной точкой отказа . Большая часть пропускной способности сети LAN используется для доступа, хранения и резервного копирования данных.

Основными преимуществами DAS-системы является низкая стоимость (в сравнении с другими решениями СХД), простота развертывания и администрирования, а также высокая скорость обмена данными между системой хранения и сервером. Благодаря этому они пользуются большим спросом в сегменте малых офисов, хостинг-провайдеров и небольших корпоративных сетей. DAS-системы имеют определённые недостатки, к которым можно отнести не оптимальное использование ресурсов, так как каждая DAS система требует подключения выделенного сервера , возможно подключить максимум 2 сервера к дисковой полке в определенной конфигурации.

DAS была первой сетевой системой хранения и до сих пор широко применяется в случаях не очень высоких требований к хранению данных. На ее основе разработали NAS-архитектуру , как устройство хранения данных, при которой несколько выделенных файловых серверов устройства хранения доступны в локальной сети. Таким образом, передача данных, в частности , для резервного копирования, по прежнему происходит по существующей локальной сети.

Технология NAS развивается как альтернатива универсальным серверам, характеризуемым множеством функций (печати, приложений, факс-сервер, электронная почта и т.п.). В отличие от них NAS-устройства исполняют только одну функцию — файловый сервер. За счет упрощения функционала повышается скорость и отказоустойчивость. NAS подключаются к ЛВС и осуществляют доступ к данным для неограниченного количества клиентов с различными ОС или других серверов. В настоящее время практически все NAS устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS.  Внутри подобных серверов стоят специализированные ОС, такие как MS Windows Storage Server.

При хранении данных , объемом более терабайта возможны сбои, связанные с пропускной способностью локальной сети . Разработка системы SAN направлена на решение этой проблемы. В системе SAN выделенная сеть хранения присоединяется к локальной сети, и терабайты данных передаются по выделенному высокоскоростному каналу при повышенной пропускной способности сети. В сети хранения данных , устройства хранения данных взаимосвязаны, а передача данных между устройствами хранения данных происходит за пределами серверов .

В то время как в архитектуре данных NAS информация передается с использованием протокола TCP и IP - протоколы, Ethernet ; для сетей SAN были разработаны различные протоколы, такие как Fibre Channel , ISCSI , Infiniband . Поэтому SAN часто имеют свои собственные сети и уникальные устройства хранения данных. Это делает SANs значительно дороже системы NAS.

Производительность

Появление новых высокотехнологичных материалов способствует росту производительности сетей на базе Fibre Channel и Ethernet . Уже существуют коммутаторы, поддерживающие скорость передачи 10Gbit/s. Для этого используется новый тип  трансивера — XFP, а также оптоволокно стандарта ОМ3. Росту скорости передачи способствует и то, что коммутаторы могут собирать на Inter Switch Link’ах  транкгруппы  из нескольких портов. Коммутаторы «SilkWorm» от Brocade могут собирать транк из восьми  линков.При необходимости транков может быть несколько.

**2. Компоненты и термины**

Технологически SAN состоит из следующих компонентов:

1). Узлы, ноды (nodes)

Дисковые массивы (системы хранения данных) — хранилища (таргеты [targets])

Серверы — потребители дисковых ресурсов (инициаторы [initiators]).

2). Сетевая инфраструктура

Коммутаторы (и маршрутизаторы в сложных и распределённых системах)

Кабели

В состав типовой SAN входят следующие основные компоненты:

- HBA-адаптеры (адаптеры шины сервера). HBA-адаптеры предназначены для организации взаимодействия серверов с SAN в соответствии с протоколом Fibre Channel.

- Устройства и системы хранения данных. Это дисковые массивы (в том числе JBOD и RAID), стриммеры, различные библиотеки с интерфейсом Fibre Channel (ленточные, магнитооптические и др.).

- Устройства для создания инфраструктуры SAN. К ним относятся Fibre Channel-концентраторы и коммутаторы, а также маршрутизаторы Fibre Channel-to-SCSI. Концентраторы применяются для соединения устройств по топологии FC-AL. Коммутаторы обеспечивают не только соединение, но и разграничение доступа между устройствами за счёт создания для них специальных логических зон (устройства разных зон не могут обмениваться данными между собой). Эта технология называется зонированием. Для увеличения числа портов SAN коммутаторы можно соединять между собой. Следует отметить, что для этой цели можно также применять мощные и надёжные многопортовые коммутаторы класса director - так называемые "директоры". Группа подключенных друг к другу коммутаторов образует так называемую Fibre Channel fabric. В свою очередь, маршрутизаторы Fibre Channel-to-SCSI (или мосты - bridges) используются для подключения к сети хранения данных устройств, не оборудованных интерфейсом Fibre Channel (например, унаследованных ленточных библиотек или дисковых подсистем).

- Специализированное ПО для SAN. С помощью специальных программных средств в SAN осуществляется резервирование маршрутов доступа серверов к устройствам хранения и динамическое распределение нагрузки между маршрутами.

Также, существует ПО для централизованного управления SAN , то есть конфигурирования, мониторинга, отображения топологии SAN, управления зонированием, контроля доступа к разнородным устройствам хранения, обнаружения сбойных устройств, сбора статистических данных о производительности SAN и так далее.

Для обеспечения бесконфликтной совместной работы разных ОС (под управлением которых работают устройства и системы хранения от разных производителей) требуется распределение устройств хранения по "логическим областям". Эти задачи также решают специальные программные модули.

Кроме этого , при помощи программных средств для SAN решаются задачи удалённого зеркалирования данных в отказоустойчивых решениях и создания мгновенных копий.

Для SAN основными параметрами являются не только производительность , но и надёжность.

Все компоненты SAN обычно дублируются - порты в устройствах хранения и серверах, коммутаторы, линки между коммутаторами и ключевая особенность SAN, по сравнению с LAN-дублированием на уровне всей инфраструктуры сетевых устройств являются фабрики.

**2.1.Хост слой**

Серверы , которые обеспечивают доступ к SAN и её устройства хранения данных , используются для формирования хост слоя в SAN. Такие сервера имеют адаптеры шины (HBA), которые являются картами и прикрепляются к разъёмам на материнской плате сервера (обычно PCI слотов) а также работают с соответствующей прошивкой и драйвером. Через адаптеры шины хоста по операционной системе сервера могут обмениваться данными с устройствами хранения в SAN. Кабель подключается к хост-шине адаптера через гигабитный преобразователь интерфейса (GBIC), который также подключается к коммутаторам и устройствам хранения в SAN. Они преобразуют цифровые биты в световые импульсы , которые в дальнейшем могут быть переданы по кабелям Fibre Channel. С другой стороны , GBIC преобразует поступающие световые импульсы обратно в цифровые биты. Предшественником GBIC был модуль гигабитной ссылки (GLM).

**2.2.Ткань слой**

Ткань-слой состоит из сетевых устройств SAN , к которым относятся SAN коммутаторы , маршрутизаторы, мосты протокола, устройство шлюза и кабели. Сетевые устройства SAN перемещают данные в пределах SAN, между инициатором и целями . Примером инициатора может быть порт HBA сервера, а целью - порт устройства хранения данных. Сети SAN обычно строятся с избыточностью, поэтому коммутаторы SAN связаны с избыточными связями. Коммутаторы SAN соединяют сервера с устройствами хранения данных и без блокировки, таким образом , что передача данных происходит через все подключенные к нему провода одновременно.

Когда SANs был впервые построен, концентраторы были единственными устройствами , которые были способны реализовать Fiber Channel, позднее были разработаны коммутаторы Fiber Channel и концентраторы которые теперь редко встречаются в SANs. Коммутаторы имеют преимущество над концентраторами , так как концентраторы позволяют всем подключенным устройствам взаимодействовать одновременно, в то время как коммутатор обеспечивает выделенный канал для подключения всех своих портов друг с другом. Коммутаторы SAN предназначены для целей резервирования . Один коммутатор SAN может иметь от 8 до 32 портов с модульными расширениями. Коммутаторы класса "директор" могут иметь до 128 портов.. В настоящее время в SAN используются многомодовые волоконнооптические кабели . В коммутируемых SANs используется канал волокна ткани - протокол с коммутацией FC-SW-6, в котором каждое устройство в SAN имеет жестко World Wide Имя адрес (WWN) в адаптер шины хоста (HBA). Если устройство подключено к сети SAN , то тогда его WWN зарегистрирован на сервере имен коммутатора SAN.

**2.3.Слой хранения**

Fiber Channel представляет собой слоистую технологию , которая начинается на физическом уровне и реализуется через протоколы к протоколам верхнего уровня , таких как SCSI и SBCCS.

В верхней части Fiber Channel-Switched протокола находится часто сериализованный Small Computer Systems Interface (SCSI) протокол, реализуемый на серверах и устройствах хранения данных SAN. Это позволяет закодировать программные приложения для связи, или данные для устройств хранения данных.

Для формирования слоя хранения в SAN необходимы различные устройства хранения данных . Слой хранения может включать в себя множество жестких дисков и магнитных ленточных устройств , в которых хранятся данные. В SANs дисковые массивы соединяются через RAID , который состоит из большого числа жестких дисков и аналогично большому устройству хранения данных. Каждое устройство хранения, или раздел на этом устройстве хранения данных, имеет номер логического устройства (LUN) , присвоенный ему. Это уникальное число в пределах SAN и каждый элемент SAN, будь то сервер или другое устройство хранения данных может получить доступ к памяти через LUN.

LUNs необходимы в SAN для реализации сегментации и для осуществления контроля доступа. Конкретный сервер или группа серверов, может получить доступ только к определенной части слоя хранения SAN, в виде логических устройств. Когда запоминающее устройство принимает запрос на чтение или запись данных, проверяется уникальный список доступа для определения узла, идентифицируемого своим LUN. Также проверяется разрешение доступа к области хранения,и идентификация логических устройств. Адаптер хоста шины и программное обеспечение SAN-сервера с помощью маскировки LUN выделяют LUNs, к которым адресуются команды . При этом LUNs , которые не должны быть доступны на сервере, замаскированы. Другим методом ограничения доступа к серверу для конкретных устройств хранения данных SAN является ткань управления доступа , или зональность, которая должна быть реализована на сетевых устройствах SAN и серверах. При этом запоминающим устройствам , которые находятся в определенной зоне SAN доступ к серверу ограничен.

**3.Сетевые протоколы**

Большинство сетей хранения данных для обмена данными между серверами и дисководами устройств используют SCSI протокол. Отображение слоя к другим протоколам, используется для формирования сети:

ATA через Ethernet (AoE) , отображение ATA через Ethernet

Fiber Channel Protocol (FCP), наиболее видные один, является отображением SCSI через Fibre Channel ,

Fiber Channel через Ethernet (FCoE)

ESCON над Fibre Channel ( FICON ), используемой ЭВМ

HyperSCSI , отображение SCSI через Ethernet

МФКП или SANoIP отображение FCP над IP

ISCSI , отображение SCSI через TCP / IP

ISCSI Расширения для RDMA (ISER), отображение ISCSI над InfiniBand

SCSI RDMA Protocol (SRP), другая реализация SCSI для RDMA транспорта

Также сети хранения данных могут быть построены с использованием SAS и SATA технологии. SAS эволюционировали от SCSI хранения прямого подключения. SATA эволюционировали от IDE хранения прямого подключения. Устройства SAS и SATA могут быть объединены в сеть с помощью SAS расширителей .

**4.Программное обеспечение SAN**

SAN - это сеть , основным назначением которой является передача данных между компьютерными системами и запоминающими элементами. SAN состоит не только из коммуникационной инфраструктуры но имеет также программный уровень управления. Это программное обеспечение которое организует серверы, устройства хранения данных и сеть таким образом , чтобы данные могли быть переданы и сохранены. Так как SAN не является прямым подключением хранения (DAS) , устройства хранения данных не принадлежат SAN и управляются сервером. Потенциально ёмкость хранения данных может быть доступна с помощью одного сервера через SAN и эта ёмкость запоминающего устройства может также быть доступна другим серверам. Также , программное обеспечение SAN должно обеспечивать прямое перемещение данных между устройствами хранения в SAN, с минимальным вмешательством сервера.

Программное обеспечение для управления SAN может быть установлено на одном или нескольких серверах и клиентах управления , а также на устройствах хранения данных. Были разработаны два подхода для управления программным обеспечением SAN :"в полосе управления"- означает ,что и данные хранения и данные управления между серверами и устройствами хранения данных передаются по одной и той же сети . В то время как "вне зоны управления" предполагает , что данные управления передаются по выделенным ссылкам. Программное обеспечение для управления SAN будет собирать данные управления от всех устройств хранения данных в слое хранения, включая информацию о чтении и записи сбоя, узких местах хранения и отказе устройств хранения данных. Программное обеспечение для управления SAN может интегрироваться с простым управлением сетевого протокола (SNMP).

В 1999 году был введен открытый стандарт для управления устройствами хранения данных и обеспечения взаимодействия общей информационной модели (CIM). Веб-версия CIM называется Web-Based Enterprise Management (WBEM) и она определяет объекты устройств хранения данных SAN и технологические операции. Использование этих протоколов включает в себя менеджер объектов CIM (CIMOM) для управления объектами и взаимодействия, он также позволяет осуществлять централизованное управление устройствами хранения SAN. Основное управление устройством для SANs может быть достигнуто с помощью спецификации Storage Management Interface (SMI-S), у которой объекты CIM и процессы регистрируются в каталоге. Программное обеспечение для управления приложениями определяет конфигурацию устройств хранения данных SAN. В продаже имеются SAN-сети и устройства хранения данных, производимые различными компаниями. Каждый производитель SAN имеет свое собственное управление и конфигурацию программного обеспечения. Общее управление в SANs , включает в себя устройства от различных производителей , только в том случае , если разработчики проектируют универсальный интерфейс прикладного программирования (API) своих устройств . В таких случаях программное обеспечение верхнего уровня управления SAN может управлять устройствами SAN от других производителей.

файловые системы SAN

Файловые системы были разработаны для работы с программным обеспечением SAN и для обеспечения доступа на уровне файлов .

Основным достоинством файловой системы SAN (SFS) является высокая производительность. Примером может служить  кластерная файловая система , созданная компанией DataPlow . SFS обеспечивает быстрый доступ к общим файлам , расположенным на общих устройствах хранения данных , сети хранения данных SAN . Используя высокоскоростную, масштабируемую систему передачи данных , SFS находит свое применение в сетях хранения данных и файловой системы общего назначения для различных задач научных вычислений, финансов, здравоохранения, развлечений, обороны, радиовещания и аэрокосмической отрасли.

**5.Типы сетей**

Можно выделить шесть типов сетей, а именно: BAN, PAN, LAN, CAN, MAN, WAN

### 1. BAN или Body Area Network (нательная компьютерная сеть)

Термин BAN появился относительно недавно. Сети BAN или body area network представляют собой набор взаимодействующих устройств, которые могут быть встроены/имплантированы в тело человека или закреплены на поверхности тела. Радиус сети BAN ограничивается 1-2 метрами

### 2. PAN или Personal Area Network (персональная компьютерная сеть)

Сети класса PAN предназначены для взаимодействия различных устройств, принадлежащих одному владельцу. Радиус действия PAN сетей может быть ограничен несколькими сантиметрами, а может достигать примерно 30 метров.

### 3. LAN, ЛВС, Local Area Network или просто локальная компьютерная сеть

Термином Local Area Network можно назвать офисную сеть, где есть 3-4 отдела и 30-40 человек, или сеть завода, на котором работают несколько тысяч человек. LAN-сети могут иметь радиус действия до 1 километра, а также эти самые LAN-сети включают в себя устройства различного класса: конечные узлы в виде персональных компьютеров, смартфонов, принтеров и других генераторов трафика и промежуточные узлы, задача которых состоит в том, чтобы доставить неискаженные данные (сюда могут входить: коммутаторы, роутеры, межсетевые экраны, хабы),

4. CAN или Campus Area Network (кампусная компьютерная сеть)

Сети типа CAN объединяют несколько локальных сетей в одну.Радиус действия Campus Area Network можно обозначить так: от 1 до 5 километров.

### 5. MAN или Metropolitan Area Network (компьютерные сети масштаба города)

MAN-сети – это сети в масштабах города.К MAN сетям также можно отнести городские телевизионные и телефонные сети. Радиус таких сетей достигает 10-15 километров.

### 6. WAN или Wide Area Network (глобальные вычислительные сети)

Самые большие сети – это WAN или глобальные сети. Обычно такие сети не принадлежат отдельному лицу или компании. Типичным примером такой сети является Интернет, в который входят сети всех видов провайдеров (кроме, Северной Кореи), сервера и сети крупных компаний, услуги которых тесно связаны с Интернет, например, Google, Яндекс, Microsoft или какой-нибудь хостинг провайдер.

Система хранения данных SAN может быть использована в любых типах сетей, начиная с третьего.

**6. Совместное использование устройств хранения**

Импульсом для развития сетей хранения данных стало резкое увеличение объёма деловой информации (такой как электронная почта, базы данных и высоконагруженные файловые серверы), требующей высокоскоростного доступа к дисковым устройствам на блочном уровне. Ранее на предприятии возникали «острова» высокопроизводительных дисковых массивов SCSI. Каждый такой массив был выделен для конкретного приложения и виден ему как некоторое количество «виртуальных жестких дисков» (LUN'ов).

Сеть хранения данных позволяет объединить эти "острова" средствами высокоскоростной сети. Кроме того без использования технологий SCSI транспорта невозможно организовать отказоустойчивые кластеры, в которых один сервер подключается к двум и более дисковым массивам, находящимся на большом расстоянии друг от друга на случай стихийных бедствий.

Не менее важны устройства резервного копирования, подключаемые к SAN. В настоящее время существуют как промышленные ленточные библиотеки (на несколько тысяч лент) от ведущих брендов, так и low-end решения для малого бизнеса. Сети хранения данных позволяют подключить к одному хосту несколько приводов таких библиотек, обеспечив таким образом хранилище данных для резервного копирования от сотен терабайт до нескольких петабайт.

**7.Преимущества**

Основные преимущества SAN:

**1) Производительность**. Технологии SAN позволяют обеспечить высокую производительность при реализации задач хранения и передачи данных.

**2) Масштабируемость**. Благодаря сетям хранения данных предоставляют возможно расширения подсистемы хранения, беспроблемное использование ранее приобретенных устройств вместе с новыми устройствами хранения данных.

**3) Гибкость**. Совместное использование систем хранения данных упрощает администрирование и добавляет гибкость, так как кабели и дисковые массивы не нужно физически транспортировать и перекоммутировать от одного сервера к другому. SAN позволяет подключить новые серверы и дисковые массивы к сети без остановки системы.

**4) Централизованная загрузка**. Еще одним преимуществом является возможность загрузки сервера прямо из сети хранения. При такой конфигурации можно быстро и легко заменить сбойный сервер, путем переконфигурации SAN таким образом, что сервер-замена, будет загружаться с логического диска сбойного сервера.

**5) Отказоустойчивость**. Сети хранения позволяют более эффективно восстанавливать работоспособность после сбоя. В SAN может входить удаленный участок с вторичным устройством хранения. В таком случае можно использовать  репликацию , реализованную на уровне контроллеров массивов, либо при помощи специальных аппаратных устройств. Спрос на такие решения значительно возрос после событий 11 сентября 2001 года в США.

**6) Управление**. Технологии SAN позволяют обеспечить централизованное управление всей подсистемой хранения данных.

Дополнительным преимуществом является возможность на  хосте  собрать RAID-зеркало из LUNов, которые обращаются к хосту с двух разных дисковых массивов. В таком случае полный отказ одного из массивов не прервет работу хоста.

Особенности

Протокол FC похож на протокол Ethernet с WWN-адресами вместо MAC-адресов. Только вместо двух уровней Ethernet он имеет пять уровней. Кроме того в коммутаторах FC используются специализированные сервисы, аналоги которых для IP сетей обычно размещаются на серверах. Например : Domain Address Manager (отвечает за назначение Domain ID коммутаторам),Name Server (хранит информацию о подключённых устройствах - аналог WINS в пределах коммутатора).

Для SAN основными параметрами являются не только производительность, но и надёжность. Если у сервера базы данных пропадёт сеть на пару секунд это не вызовет непоправимых последствий. А если на это же время будет потеряна связь с жёстким диском, содержащим базу или с ОС, ущерб будет гораздо серьёзнее. Во избежание таких ситуаций, все компоненты SAN обычно дублируются — порты в устройствах хранения и серверах, коммутаторы, линки между коммутаторами . Ключевая особенность SAN, по сравнению с LAN — дублирование на уровне всей инфраструктуры сетевых устройств — фабрики.

Фабрика - это совокупность коммутаторов , соединённых между собой межкоммутаторными линками (ISL-InterSwitch Link).

**8.Сравнение технологий обмена данными**

​​​​​

Различия между NAS и SAN

SAN характеризуются предоставлением сетевых блочных устройств (обычно посредством протоколов Fibre Channel, iSCSI или AoE) , в то время как сетевые хранилища данных Network Attached Storage, NAS нацелены на предоставление доступа к данным хранящимся на их файловой системе при помощи сетевой файловой системы (такой как NFS,  SMB/CIFS, или Apple Filing Protocol).

При сравнении SAN и NAS речь идет о разнице между сетевым диском и сетевой файловой системой (ФС).

Для *сетевого диска* (также «блочного устройства», англ. block device) характерны следующие особенности:

-обмен данными с ним по сети осуществляется блоками подобно тому, как и с локальным SCSI- или SATA-диском;

-файловая система, при необходимости , создаётся и управляется клиентом и используется им одним.

А *сетевая файловая система* («ресурс с совместным/разделяемым доступом» — предназначена не для хранения, а только для передачи данных ) характеризуется следующими свойствами:

-обмен данными по сети происходит с применением более высокоуровневых понятий «файл» и «каталог», соответствующих объектам подлежащей «настоящей» файловой системе на физических дисках (либо логических поверх них в случае применения RAID, LVM);

-эта файловая система создаётся и обслуживается в рамках удалённой системы, при этом может одновременно использоваться на чтение и запись множеством клиентов.

В то время, как в архитектуре данных NAS информация передается с использованием протокола TCP и IP - протоколы Ethernet . Различные протоколы были разработаны для сетей SAN, таких как Fibre Channel , ISCSI , Infiniband . Поскольку SANs часто имеют свои собственные сети , возникает необходимость приобретать, устанавливать и настраивать устройства хранения данных SAN . Это делает SANs существенно дороже архитектуры NAS.

**9.Топология сети**

В SAN Fibre Channel могут применяться следующие 4 типа подключения устройств (топологии):

- "Точка-точка" (point-to-point) - прямое подключение сервера к устройству или системе хранения.

- "Петля с арбитражным доступом" (Fibre Channel Arbitrated Loop - FC-AL) - передача данных осуществляется последовательно, от узла к узлу (по петле). Перед началом передачи передающее устройство инициализирует арбитраж за право использования среды передачи данных (откуда и происходит название топологии FC-AL). При использовании топологии FC-AL возможно подключение до 126 устройств хранения данных и серверов. Для этого используются концентраторы Fibre Channel, которые позволяют подключать и отключать устройства, находящиеся в петле FC-AL, без остановки всей системы. При отключении какого-либо устройства в петле концентратор автоматически замыкает, а в случае подключения нового устройства - автоматически размыкает её. При использовании топологии FC-AL полоса пропускания делится между всеми подключенными устройствами. Одновременно могут взаимодействовать только два устройства.

- "Коммутируемое подключение" (switched, FC-SW). Устройства хранения и серверы (всего до 16 млн. единиц) подключаются к коммутатору Fibre Channel. Полоса пропускания доступна для каждого подключенного устройства. При обращении к внешней памяти допускается одновременное взаимодействие нескольких устройств.

- "Смешанное подключение". Для подключения используются как коммутаторы, так и концентраторы.

**9.1 "Точка-точка" (point-to-point)**

Протокол соединения "точка-точка" (РРР) представляет собой протокол инкапсуляции данных, который может применяться в линиях передачи многих типов. РРР — очень надежный и легко настраиваемый протокол.

**9.2. Однокоммутаторная структура**

Однокоммутаторная структура

Однокоммутаторная структура состоит из одного коммутатора Fibre Channel, сервера и системы хранения данных. Обычно эта топология является базовой для всех стандартных решений, другие топологии создаются объединением однокоммутаторных ячеек.

**9.3. Дерево или Каскадная структура**

Каскадная структура - это набор ячеек, коммутаторы которых соединяются в дерево с помощью межкоммутаторных соединений. Во время инициализации сети коммутаторы выбирают верхушку дерева и присваивают ISL"ам статус "upstream" (вверх) или "downstream" (вниз)в зависимости от того, ведёт этот линк в сторону главного свитча или на периферию .

**9.4.Решётка**

Решётка - это набор ячеек, коммутатор каждой из которых соединён со всеми другими. При отказе одного ISL соединения связность сети не нарушается. Недостаток-большая избыточность соединений.

**Сетка** — это модификация решетки , где все коммутаторы соединены друг с другом. Характеризуется высокой надёжностью, производительностью и ценой. Количество портов, требуемое под межкоммутаторные связи, с добавлением каждого нового коммутатора в схему растёт экспоненциально. При определённой конфигурации может не хватить портов под узлы — все будут заняты под ISL. **Partial Mesh** — любое хаотическое объединение коммутаторов.

**9.5.Кольцо**

Кольцо практически повторяет схему топологии решётка. Среди преимуществ-использование меньшего количества ISL соединений.

**9.6.Центрально-распределённая**

Центрально-распределённая топология практически повторяет схему топологии решётка. Важным преимуществом является уменьшение избыточности соединений и высокая степень отказоустойчивости.

**Центр/периферия (Core/Edge)** — очень похожа на топологию LAN, но без уровня распределения. Часто хранилища подключаются к Core-коммутаторам, а серверы — к Edge. Хотя для хранилищ может быть выделен дополнительный слой (tier) Edge-коммутаторов. И хранилища , и серверы могут быть подключены в один коммутатор для повышения производительности и снижения времени отклика (это называется локализацией). Такая топология характеризуется хорошей масштабируемостью и управляемостью.

**9.7.Зонинг (зонирование, zoning)**

Ещё одна топология характерная для SAN . Это определение пар инициатор-таргет.( то есть жесткое определение того, какие серверы могут иметь доступ к каким дисковым ресурсам). Это достигается следующим путем:

-выбранные пары добавляются в предварительно созданные на коммутаторе зоны(zones);

-зоны помещаются в наборы зон (zone set,zone config),созданные там же;

-наборы зон активируются в фабрике.

**10. Качество обслуживания**

SAN хранение QoS обеспечивает желаемую производительность системы хранения данных, для этого поддерживаются сетевые клиенты, имеющие доступ к устройству.

Основные факторы, влияющие на SAN QoS это:

-Пропускная способность - это максимальная скорость передачи информации по каналу связи в единицу времени.

-Задержка - Задержка времени для выполнения. операции чтения / записи

-Глубина очереди - количество уникальных операций направленных к нижележащим дискам (традиционный или твердотельные накопители , ожидающих выполнение).

В системе хранения данных SAN Qos может быть перегружены неожиданным увеличением трафика данных (использование шипа) из одной сети пользователя , что может привести к снижению производительности для других пользователей в той же сети . Это может быть известно как "эффект шумного соседа" . Когда услуги Qos включены в системе хранения данных SAN, то "эффект шумного соседа" может быть нивелирован и производительность сети хранения данных может быть точно определена.

Для обеспечения дополнительной мощности и для компенсации нагрузок в пик сетевого трафика может быть использовано чрезмерное резервирование. Однако, если сетевые нагрузки не являются предсказуемыми, чрезмерное выделение ресурсов может в конечном итоге привести к тому, что все полосы пропускания в результате этого потребляются полностью, ресурсы и время ожидания значительно увеличится , что приведет к ухудшению производительности SAN.

**11. Виртуализация систем хранения данных**

Еще одна возможность, предоставляемая архитектурой SAN, — это виртуализация данных. Идея виртуализации заключается в том, чтобы обеспечить SAN-серверам доступ не к отдельным устройствам хранения данных, а к ресурсам. Для практического обеспечения виртуализации между SAN-серверами и дисковыми устройствами может размещаться специальное устройство виртуализации, к которому с одной стороны подключаются устройства хранения данных, а с другой — SAN-серверы. Кроме того, многие современные FC-коммутаторы и HBA-адаптеры позволяют осуществлять виртуализацию на аппаратном уровне.

Распределенные системы, которые представляются пользователям и приложениям в виде единой компьютерной системы, называются ***прозрачными (transparent)***. Это решение реализовано в современных дисковых массивах, часто с использованием поставщиков фирменной технологии. Тем не менее, целью виртуализации хранения является объединение в одном устройстве хранения данных нескольких дисковых массивов от разных поставщиков, имеющихся в сети,

Виртуализация СХД важна для успешного функционирования ряда функций, критичных для предприятия , а именно : объединение, многоуровневое хранение, защита и оптимизация объема данных:

* Объединение ресурсов обеспечивает необходимый объем хранения для каждого приложения с активированной функцией распределения этих ресурсов.
* Многоуровневое хранение гарантирует высокую производительность системы хранения для каждого приложения.
* Технологии защиты данных реализуют несколько способов защиты корпоративной информации от потери или повреждения.
* Оптимизация емкости обычно использует технику «тонкого резервирования томов» (Thin Provisioning) в сочетании с различными технологиями снижения объема данных, с целью уменьшения циклов простоя или избыточность данных, экономя таким образом расходы несколькими способами.

**12.Базовые рекомендации по проектированию фабрики SAN.**

Фабрика - это совокупность коммутаторов, соединённых между собой межкоммутаторными линками (ISL-InterSwitch Link).

Для повышения надежности SAN необходимо включать две (а иногда и более) фабрики, поскольку фабрика представляет собой единую точку отказа.

Фабрики могут различаться или иметь идентичную (зеркальную) топологию. Например, одна фабрика может состоять из четырёх коммутаторов, а другая из одного, и к ней могут быть подключены только высококритичные узлы.

Необходимо проектировать структуру так , чтобы между двумя конечными устройствами было не более трёх коммутаторов.

Рекомендуется , чтобы фабрика состояла не более чем из 31 коммутатора.

Имеет смысл перед вводом нового коммутатора в фабрику задавать Domain ID вручную. Это улучшит управляемость и поможет избежать проблем одинаковых Domain ID,( в случаях, например, переподключения коммутатора из одной фабрики в другую).

Важно иметь несколько равноценных маршрутов между каждым устройством хранения и инициатором.

В случаях неопределённых требований к производительности следует исходить из соотношения количества Nx-портов (для конечных устройств) к количеству ISL-портов как 6:1 (рекомендация EMC) или 7:1 (рекомендация Brocade). Данное соотношение называется переподпиской (oversubscription).

Рекомендации по зонингу:

— использовать информативные имена зон и зон-сетов;

— использовать WWPN-зонинг, а не Port-based (основанный на адресах устройств, а не физических портов конкретного коммутатора);

— при проектировании, следует иметь в виду,что каждая зона — один инициатор;

— важно регулярно чистить фабрику от «мёртвых» зон.

- необходимо иметь резерв свободных портов и кабелей.

- Крайне важно иметь резерв оборудования (коммутаторы). (На уровне сайта — обязательно, возможно на уровне фабрики).

**13. Заключение.**

По оценке аналитиков ежегодное уменьшение стоимости систем хранения данных составляет 35-40%.При этом , средний объем данных , хранимых на предприятиях ежегодно увеличивается на 60-80%. В результате этого, предприятия сталкиваются с необходимостью ежегодного 30%процентного увеличения расходов на системы хранения данных. Однако, по данным Gartner Group, стоимость систем хранения данных составляет только 20% от общих расходов на хранение данных. Остальная часть средств тратится на управление самими данными и устройствами.

Возможность понижения стоимости систем хранения данных практически исчерпана, так как отрасль уже многого достигла в снижении удельной стоимости одного мегабайта.Более достижимой целью является оптимизация управления системами хранения данных . По этой причине и появились SAN- и NAS-память - для консолидации данных в системы и более легкого администрирования.

Именно появление SAN- и NAS-памяти приведет в ближайшие годы к уменьшению доли стоимости средств управления в бюджете предприятий/организаций, выделяемом на хранение данных.

Технологии хранения данных развиваются очень интенсивно.Технологии 1 Гб/с и 2 Гб/с уже стали отраслевыми стандартами, в перспективе- массовое распространение на рынке технологии 10 Гб/с.

Можно выделить две главные тенденции развития технологии хранения данных:

- развитие технологии хранения на базе протокола IP (IP Storage)

-дальнейшее совершенствование и распространение технологии Fibre Channel.

Факторами , приводящими к усовершенствованию технологии IP Storage являются

-снижение стоимость систем SAN

-широкое распространение удаленного доступа к системам SAN

-упрощение эксплуатации SAN.

Новые технологии , при сохранении технологии SAN , чаще всего базируются на других технических решениях. Их основным преимуществом является возможность использования уже существующих инфраструктур сетей IP и Ethernet и распространения области охвата SAN на глобальные (WAN) и городские (MAN) сети. Не исключено , что продукты на базе IP Storage со временем вытеснят с рынка продукты Fibre Channel.

Технология iSCSI также имеет большие перспективы .Она заключается в объединении стандартных для SCSI команд и данных в пакеты TCP/IP и их пересылке через Интернет (в рамках LAN,WAN,SAN).Таким образом, преодолеваются ограничения , характерные для SCSI при резервном копировании и восстановлении данных с устройств , расположенных на расстоянии более 50 метров. Технология iSCSI позволяет соединять SAN через существующую инфраструктуру сетей Ethernet,более дешевую, чем Fibre Channel. При этом для управления сетями iSCSI достаточно стандартных приложений сетевого администрирования.

В то же время существуют определенные ограничения при использовании iSCSI, связанные с использованием значительных ресурсов центрального процессора. Эта проблема решается путем выпуска специальных чипов с механизмами разгрузки ресурсов центрального процессора (iSOE),масштабируемых до скорости 10 Гб/с.

С помощью технологии FCIP (Fibre Channel over IP) осуществляется взаимодействие " островов SAN Fibre Channel" (территориально удаленных сетей хранения данных). Для решения этой задачи разрабатываются специальные коммутаторы (маршрутизаторы) с помощью которых на "границе" SAN Fibre Channel- IP сеть данные Fibre Channel преобразуются в пакеты TCP, а после передачи их по сети IP- преобразуются обратно в данные Fibre Channel. Технология FCIP почти не искажает структуру SAN и позволяет использовать существующие инфраструктуры городских и глобальных сетей.

Технология iFCP(Internet Fibre Channel Protocol) также разработана с использованием возможностей TCP/IP и предназначена для подключения к существующей SAN конечных устройств Fibre Channel.

Суть ее - в присвоении этим устройствам уникальных IP-адресов, используемых для определения местонахождения данных. При этом в сети iFCP вместо коммутаторов и маршрутизаторов Fibre Channel используется специальный шлюз, который производит не только физическое соединение , но и преобразование адресов из портов Fibre Channei в IP и наоборот. Главная область использования технологии iFCP- тиражирование данных с целью их резервного копирования/восстановления.

По мнению большинства отраслевых экспертов , технологии iFCPи FCIP являются переходными, а технология Fibre Channel будет продолжать развиваться и в дальнейшем займет доминирующее место в сетях хранения данных . В последние годы SAN Fibre Channel 1 Гб/с и 2 Гб/с применяются на крупных и средних предприятиях. Большинство аналитиков считают что, инсталляционная база SAN Fibre Channel уровня предприятия в ближайшие 2-3 года увеличится как минимум вдвое. Отраслевая ассоциация FCIA (Fibre Channel Industrial Association) уверена в перспективах стандарта Fibre Channel и разрабатывает стандарт для 10 Гб/с.

В заключение можно утверждать, что по мнению отраслевых аналитиков, будущие системы хранения данных будут иметь иерархическую многоуровневую структуру,в которой оптимально будут сочетаться разнообразные архитектуры хранения, а также типы устройств и систем хранения данных.