Доброго дня всем читающим эти строки. Недавно довелось мне настраивать дисковую полку EMC VNX 5100, в качестве СХД под кластер. Как выяснилось, особо сложного в ней ничего нет, однако в процессе попадаются некоторые особенности, которые отвлекают на себя время и внимание. Если вы хотите использовать эту СХД, но не хотите тратить лишнего времени на хождение по граблям, прошу под кат.
emc.com и выкачиваем нужное ПО. В сетях рекомендуют качать установочный пакет VNX Installation Toolbox, который содержит почти всё необходимое, но я бы советовал брать нужные утилиты россыпью. Во-первых, в toolbox входят не все необходимые утилиты, а во-вторых – они созданы инсталлятором InstallAnywere, который некорректно работает под Windows Server 2012. Вам понадобятся последние версии следующих утилит (они уже пережаты инсталлятором InstallAware, который работает нормально):

• EMC PowerPath
• EMC Unisphere Storage System Initialization
• EMC Unisphere Server Utility
• EMC Unisphere VNX Client
• EMC Unisphere Server
• EMC Unisphere Service Manager

Перед установкой на хостах выполняем все необходимые действия – подключение FC, настройка сети, завод в домен и т. д. Для работы некоторых утилит необходима Java, поэтому ставим и её тоже. На время настройки советую погасить внутренние интерфейсы на всех узлах будущего кластера, иначе полка при регистрации может подхватить их, а не внешние. Не то, чтобы это было критично, работать будет и так, и этак, но вдруг когда-то в будущем полке захочется пообщаться по сети со своими хостами. Далее я буду описывать каждую утилиту, указывая её версию. Это не обязательно самая последняя версия на данный момент, но эта версия у меня гарантировано заработала.

EMC Unisphere Storage System Initialization
(UnisphereInitTool-Win-32-x86-en_US-1.2.25.1.0163-1.exe)
Эта утилита инициализирует вашу полку. Перед её установкой подключите интерфейс хоста и управляющие интерфейсы дисковой полки в одну подсеть, на одном физическом коммутаторе. Включите полку. Стартует она достаточно медленно, поэтому есть время на чашечку кофе. Устанавливаем, запускаем утилиту, она обшаривает подсеть и показывает все найденные СХД с указанием их серийного номера. Обратите внимание, что на время работы утилиты нужно выключить файрволл, иначе поиск будет неудачным. По номеру определяем нужную, инициализируем, и задаём ip-адреса на управляющих интерфейсах. К сожалению, по этому пункту у меня познания только теоретические, из мануалов, поскольку мои железяки приехали от поставщика уже проинициализированные, с адресами на интерфейсах вида 1.1.1.1. Так что я лишь убедился, что устройство проинициализировано, да определил его ip. Если кто имеет практический опыт этой операции, буду благодарен за уточнения.


EMC Unisphere Server Utility
(UnisphereServerUtil-Win-32-x86-en_US-1.2.25.1.0163-1.exe)
Утилита регистрирует хост на дисковой полке, позволяя в будущем назначить ему логические диски. Если iSCSI-инициатор не запущен, то стартует и его. При необходимости регистрацию можно выполнить и руками, из веб-интерфейса – работать будет. Но корректнее всё же, проделать её автоматически. После запуска выбираем пункт Register this server with all connected storage system.


EMC Unisphere Server
(UnisphereServer-Win-32-x86-en_US-1.2.25.1.0156-1.exe)
EMC Unisphere VNX Client
(UnisphereClient-Win-32-x86-en_US-1.2.25.1.0156-1.exe)
Предоставляет доступ к веб-интерфейсу управления полкой. Клиентская часть просит ввести адрес полки, и подключается к нему, серверная предоставляет то же самое на ip-адресе хоста. Работает на Java. Для корректной работы серверной части сконфигурируйте разрешения файрвола. На тот же интерфейс полки можно подключиться, просто введя ip-адрес полки в браузере. Обратите внимание, при первом подключении нужно создать учётную запись администратора.


EMC Unisphere Service Manager
(UnisphereServiceManager-Win-32-x86-en_US-1.2.26.1.0068-1.exe)
Сервисная утилита, используемая для смены прошивки, ОС, апгрейдов аппаратного обеспечения, сбора диагностики и т. д. В обычной работе не используется.


EMC PowerPath
(EMCPower.X64.signed.5.5.b289.exe)
Утилита PowerPath – это отдельный продукт балансировки нагрузки между разными FC, может использоваться с СХД разных производителей, и вообще говоря – вещь лицензируемая и платная. Однако для подключений к системам EMC Clarion и EMC VNX производитель разрешает использовать её без лицензии. Для этого при установке указываем, что «Yes», мы имеем Only Clarion arrays connected to this host. Я использовал версию 5.5 без патча. На сайте есть патч, а в документации встречаются упоминания про версию 5.7. Конструктивно полка содержит два блока, каждый из которых отправляет на хост информацию о назначенных логических дисках. Таким образом, в Computer Manager будет видно два комплекта дисков СХД, один из которых подключается, а второй выбивает ошибку (и не мудрено, ведь диски уже заняты). PowerPath автоматически обрабатывает все FC и скрывает лишний комплект дисков. Работать всё будет и без него, но лучше сделать красиво и корректно.


Утилита поддерживает три режима работы:
Active-active – FC работают одновременно с балансировкой нагрузки.
Active-passive – один FC активен, а остальные стоят в резерве, и подключаются при отказе активного. В каждый момент времени работает только один FC.
ALUA – В этом режиме один блок полки работает, а второй стоит в резерве. Именно этот режим поддерживает наше устройство, в отличие от двух предыдущих, с которыми могут работать только старшие модели.

Итак, весь софт установлен, и теперь можно заняться непосредственно полкой.
Подключаемся к веб-интерфейсу, и идём на вкладку Hosts > Host List. Поскольку регистрацию мы уже провели, в этой вкладке видим свои сервера. На вкладке Hosts > Initiators перечислены инициаторы, связывающие сервера с блоками СХД. Инициатор можно дерегистрировать и вместо него вручную создать новый, выбрав имя сервера из существующих или задав новое. Работать будет. Сейчас все инициаторы в списке представлены с жёлтыми треугольниками предупреждений – потому что они никуда пока не подключены. На вкладке Support > Network перенастраиваем ip-адреса на свою сеть.

Поскольку наша система готовится под кластер, будем создавать два LUNа – кворум на 1 Гб, и LUN данных на всё остальное пространство. Сначала готовим пул под размещение этих LUNов. На вкладке Storage > Storage Pools выбираем тип рейда и общий объём пула. Здесь тоже есть особенность – система не умеет создавать рейды на произвольном количестве жёстких дисков. Вместо этого можно выбрать один из предустановленных шаблонов.


Так, 10 дисков в raid5 совершенно не означают схему 9+1. А означают (4+1)+(4+1), с соответствующим падением суммарной ёмкости. А raid5 на 8 дисках означает комбинацию (4+1)+(2+1). Хорошо, если на этом рейде будут просто лежать файловые данные, а если это данные приложений, то поимеем непрогнозируемые проблемы с производительностью. Учитывая, что изначально я могу рассчитывать на 10 дисков (15 минус 4 под операционкой и минус 1 HotSpare), выбирать приходится между raid5 на 10 дисков, и raid6 на 8 дисков плюс два в зеркале. Из соображений дисковой ёмкости решено было остановиться на raid5. Итак – указываем тип рейда, указываем количество дисков, под него отведённых, имя нового пула – и ОК.

Теперь Storage > Luns. Указываем имя пула, на котором будет размещаться новосозданный LUN, его имя и размер.


И наконец, на вкладке Hosts > Storage Groops создаём новую группу хранилищ, связывая между собой LUNы и хосты:
Create, затем Connect LUNs, затем Connect Hosts. Группы хранилищ, собственно, и сопоставляют один или несколько LUNов одному или нескольким хостам. Обратите внимание – подключать к одному LUN несколько хостов можно, только если они являются будущими членами кластера. В противном случае, хосты будут повреждать данные друг друга из-за несогласованной записи на диск.


Теперь можно зайти на вкладку Hosts > Initiators и полюбоваться на зелёные галочки напротив всех инициаторов, свидетельствующие о корректном подключении.


На этом настройку дисковой полки можно считать оконченной. На каждом хосте заходим в Disk Management и переводим наши новые диски в online, не назначая букву. Форматируем в NTFS, поднимаем кластер, и цепляем диски к нему. Можно работать. Кластер я поднимал на Windows Server 2012, отличия в процессе от Server 2008 косметические. Но, если кому интересно, могу описать.

Уф. Вот вроде бы и «всё, что я хотел сказать о войне во Вьетнаме» (с)