Обзор СХД Lenovo ThinkSystem DE4000H: удачная эволюция классических СХД - THG.RU

Обзор СХД Lenovo ThinkSystem DE4000H | Введение

SSD накопитель A-DATA Ultimate SU655 с большой скидкой

Прошёл почти год с момента публикации нашего обзора системы хранения данных Lenovo DS6200. За это время портфолио СХД Lenovo претерпело ряд изменений, о которых стоит рассказать перед тем как приступить к обзору нового продукта.

Благодаря сотрудничеству Lenovo с NetApp появилась линейка All-Flash и гибридных СХД ThinkSystem DE на базе встраиваемого ПО SANtricity. Форм-факторы 2U12LFF, 2U24SFF и 4U60LFF, большой выбор хост-интерфейсов: 10/25 Gb iSCSI, 4/8/16/32 Gb FibreChannel, 12 Gb SAS. Одна из СХД этой линейки, DE4000H, является предметом данного обзора.

Вторая линейка СХД — ThinkSystem DM на базе ПО ONTAP, в которой тоже представлены All-Flash и гибридные модели. Компания NetApp накопила большой опыт в разработке программной основы для надёжных и производительных систем хранения с широким функционалом: поддерживается горизонтальное масштабирование, поддержка протокола NVMe-over-FC и быстрые интерфейсы 40GbE и 32Gb FibreChannel.

Линейка СХД начального уровня ThinkSystem DS остаётся актуальной только до конца июня 2019, она будет плавно заменяться на линейку СХД ThinkSystem DE. Об отличиях между этими двумя линейками систем хранения будет рассказано подробнее в конце статьи.

Обзор СХД Lenovo ThinkSystem DE4000H | Основные технические характеристики

Форм-фактор	2U, монтаж в стойку.
Форм-факторы	– DE4000H 2U24 SFF (высота 2U, 24 диска 2,5″) – DE4000H 2U12 LFF (высота 2U, 12 дисков 3,5″) – DE4000H 4U60 LFF (высота 4U, 60 дисков 3,5″) Полки расширения представлены в аналогичных форм-факторах. Допускается подключение полок расширения любого форм-фактора.
Контроллеры	Два контроллера, работающих в режиме active-active. Автоматическая балансировка нагрузки.
RAID	RAID 0, 1, 3, 5, 6, 10. Дисковые пулы (Dynamic Disk Pools, DDP).
Кэш-память	– 16 ГБ (по 8 ГБ на контроллер) – Содержимое кэш-памяти зеркалируется между контроллерами. – Защита кэш-памяти при аварийном отключении питания: запись на флеш-накопитель при временном питании от батареи.
Дисковые отсеки	– До 7 дополнительных дисковых полок 2U24/2U12 – До 3 дополнительных дисковых полок 4U60 – Максимум 192 диска SFF (8x2U24) или LFF (1x2U12 и 3x4U60 ). – Подключение дисковых полок — два разъёма SFF-8644 (4xSAS3) на каждый контроллер.
Диски	– 12 Гбит SAS HDD 10 и 7,2 тыс. об/мин, в том числе с шифрованием (FIPS), 12 Гбит SAS SSD – Поддерживается сочетание HDD и SSD в одной системе, но не в пределах одной группы томов или пула. – Сочетание HDD с шифрованием и обычных не поддерживается. – Максимум 120 SSD. Диски SFF (2,5″): – 1,2 ТБ и 1,8 ТБ 10 тыс. об/мин SAS HDD – 1,8 ТБ 10 тыс. об/мин SAS HDD с шифрованием – 3,84 ТБ, 7,68 ТБ и 15,36 ТБ SAS SSD (ресурс 1 DWPD) – 800 ГБ, 1,6 ТБ и 3,2 ТБ SAS SSD (ресурс 3 DWPD) – 1,6 ТБ SAS SSD (3 DWPD) с шифрованием Диски LFF (3,5″): – 4 ТБ, 8 ТБ, 10 ТБ и 12 ТБ 7200 об/мин NL SAS HDD – 6 ТБ и 10 ТБ 7200 об/мин NL SAS HDD с шифрованием – 800 ГБ SAS SSD (3 DWPD) – 1,6 ТБ SAS SSD (3 DWPD) с шифрованием
Подключение	Базовая конфигурация (на систему с двумя контроллерами): – 4 порта 10 Гбит iSCSI (DAC-кабели или 10GBASE-SR) или FibreChannel 4/8/16 Гбит SFP+ (2 порта на контроллер) Дополнительные порты на опциональных хост-платах (на систему с двумя контроллерами) – 8x SAS3 12 Гбит (SFF-8644) (4 порта на контроллер) – 8x 10/25 Гбит iSCSI SFP28 (4 порта на контроллер) – 8x 8/16/32 Гбит FibreChannel SFP+ (4 порта на контроллер) – Комбинированные порты: 8x 10 Гбит iSCSI (DAC-кабели или 10GBASE-SR) или FibreChannel 4/8/16 Гбит SFP+ (4 порта на контроллер)
Поддерживаемые операционные системы	– Microsoft Windows Server 2012 R2 и 2016 – Red Hat Enterprise Linux (RHEL) 6 и 7; SUSE Linux Enterprise Server (SLES) 11, 12 и 15 – VMware vSphere 5.5, 6.0, 6.5, 6.7.
Функционал	Стандартный: Динамические дисковые пулы, SSD-кэш на чтение, снапшоты (до 128), копирование томов, тонкое выделение ресурсов (только на дисковых пулах), шифрование (требуются диски FIPS), data assurance (сквозной контроль целостности данных). Опциональный: До 512 снапшотов, синхронная и асинхронная репликация.
Производительность	– до 300000 IOPS при случайном чтении блоками 4 КиБ – до 109000 IOPS при случайной записи блоками 4 КиБ – до 9,2 ГБ/с при последовательном чтении блоками 64 КиБ – до 2,7 ГБ/с при последовательной записи блоками 64 КиБ
Конфигурационные лимиты	– Максимальный объём: 2,3 ПБ – Максимальное число томов: 512 – Максимальный объём тома: 2 ПБ – Максимальный объём тома с тонким выделением ресурсов: 256 ТБ – Максимальное число дисков в RAID-группах: 192 для RAID 0, 1, 10; 30 для RAID 3, 5, 6 – Максимальное число дисковых пулов: 20 – Максимальное число дисков в пуле: 192 (минимум 11) – Максимальный объём SSD-кэша: 4 ТБ – Максимальное число хостов: 256 – Максимальное число снапшотов: 512 (с дополнительной лицензией) – Максимальное число томов с репликацией: 32 (с дополнительной лицензией)
Питание	Два блока питания 913 Вт (2U24 и 2U12) или 2325 Вт (4U60).
Управление	– Один порт GbE (RJ-45) на контроллер – Два порта для подключения последовательной консоли (RJ-45 и USB) – In-band управление через хост-интерфейс System Manager web-based GUI; SAN Manager standalone GUI; SSH CLI; CLI через последовательную консоль; SMI-S провайдер; SNMP, email и syslog уведомления; опционально: Lenovo XClarity.

Обзор СХД Lenovo ThinkSystem DE4000H Компоненты

Для обзора компанией Lenovo была предоставлена СХД в следующей конфигурации:

Lenovo DE4000H 2U24 7Y75
Хост-платы с 4xSFP+ (10GbE или 4/8/16Gb FibreChannel)
Четыре универсальных трансивера 10GbE/16Gb FC
Диски: 2×800 ГБ SSD (3 DWPD) и 12×1200 ГБ 10 тыс. об/мин HDD

Корпус высотой 2U практически не отличается от других подобных систем хранения, заметна разве что небольшая глубина — всего 550 мм, что позволит установить DE4000H практически в любую стойку. В правой части корпуса рядом с названием СХД напечатан серийный номер, что очень удобно — он нужен при обращении в техническую поддержку и при загрузке ПО с сайта Lenovo, и серийный номер не придётся искать на верхней/задней панели корпуса или в документах.

Слева расположены три светодиода, отображающих статус системы, и двухразрядный семисегментный индикатор, показывающий ID СХД или дисковой полки.

SSD для данной СХД были произведены компанией Toshiba — это модель PM5-V со специальной прошивкой от Lenovo. PM5 относится к последнему поколению твердотельных накопителей Toshiba на базе технологии BiCS FLASH™ TLC. Характеристики для SSD с интерфейсом SAS впечатляющие: 270/80 тыс. IOPS на чтение/запись блоками 4 КиБ при случайном доступе, 2100/1260 МБ/с на чтение/запись при последовательном доступе — более чем достаточно для СХД этого класса.

HDD объёмом 1,2 ТБ со скоростью вращения шпинделя 10000 об/мин произведён компанией Seagate. Это модель последнего поколения линейки Enterprise Performance 10K HDD. Обратите внимание, что Lenovo не предлагает для своих СХД диски на 15 тыс. об/мин. В этом нет ничего странного. Дело в том, что высокопроизводительные HDD на 10/15 тыс. об/мин постепенно уходят в прошлое под натиском твердотельных накопителей. Если диски на 10000 об/мин ещё долго будут иметь существенно более выгодное соотношение цена/объём при достаточном для многих приложений уровне производительности, то их более быстрые собратья, ограниченные объёмом в 900 ГБ во многих случаях уже не выдерживают конкуренции с SSD, так что отказ от их поддержки в новых системах хранения данных выглядит вполне разумным шагом. Конечно, All-Flash СХД по карману не всем организациям, но заполнить эту нишу помогут гибридные СХД. Благодаря большому объёму поддерживаемого SSD-кэша и снижению цен на изготовленные по 3D-технологии SSD поднять производительность до нужного предела сейчас гораздо проще.

Вид сзади. Сверху расположены два контроллерных модуля, снизу — блоки питания, объединённые с вентиляторами турбинного типа. Силовые разъёмы IEC C14 на блоках питания предусмотрительно снабжены фиксаторами для предотвращения случайного отключения кабеля.

Задняя панель контроллера крупным планом. Слева направо расположены:

Два встроенных конвергентных порта SFP+ с поддержкой 10GbE и 4/8/16 Гбит FC
Ethernet-порт P1 для удалённого управления. Расположенный рядом порт P2 не задействован. Чуть ниже находятся два семисегментных индикатора, отображающих статус загрузки контроллера.
Консольный порт RJ-45. Предназначен для подключения последовательной консоли через специальный кабель.
Консольный порт USB. В комплекте с СХД идёт специальный кабель USB-microUSB со встроенным контроллером RS232.
USB-порт. Его назначение не описано в документации. Скорее всего, предназначен для сервисных целей (сбора логов).
Под USB-портами находятся 4 порта SFP+ дополнительной хост-платы 10GbE/16Gb FibreChannel (см. список доступных хост-плат).
Два порта SFF-8644 для подключения дисковых полок. IO-модуль каждой дисковой полки тоже имеет по два SFF-8644. Для подключения цепочки дисковых полок к СХД используется по восемь линий SAS3 (каждый SFF-8644 содержит 4 линии SAS) на каждый экспандер вместо привычных четырёх, т.е. бэкенд гарантированно не станет узким местом при подключении большого числа дисков к системе.

При извлечении контроллера или блока питания соответствующее пространство закрывается подпружиненной пластиковой шторкой, чтобы не нарушить охлаждение оставшихся компонентов.

Заглянем внутрь контроллерного модуля. Крышка не опломбирована, так как производитель допускает самостоятельную замену хост-плат. Видны закрытые радиаторами контроллеры хост-интерфейсов, процессор, SAS-экспандер, Li-ion батарея, два модуля памяти DDR4 по 4 ГБ с коррекцией ошибок.

Обзор СХД Lenovo ThinkSystem DE4000H Подключение и управление

СХД подключалась к одному хосту в следующей конфигурации:

Материнская плата Supermicro X10DRi-LN4+
Один процессор Intel Xeon E5-2650 V6
16 ГБ оперативной памяти DDR4-2400 (4 модуля по 4 ГБ)
SSD Intel 710 100 ГБ
Двухпортовый 16Gb FibreChannel HBA QLogic QLE2672
Windows Server Standard 2016

Версия встроенного ПО DE4000H — 08.51.00.00.006-2000-4000.

Процедура подключения DE4000H является достаточно простой. Порт управления первого контроллера по умолчанию имеет статический адрес 192.168.128.101. Остаётся установить Lenovo SAN Manager и запустить процесс обнаружения СХД.

При первом подключении SAN Manager предложит задать пароль к СХД, затем запустится основное средство управления новыми СХД серии DE — Lenovo Thinksystem System Manager. На вкладке Home отображена сводная информация об уведомлениях, производительности и свободном дисковом пространстве. Вкладка Storage — тут расположены наиболее часто используемые инструменты для администрирования системы хранения:

Pools & Volume Groups. Здесь из одиночных дисков создаются либо пулы, либо группы томов, о различиях между которыми будет рассказано чуть позже. Твердотельные диски, которые планируется использовать в качестве кэша, тоже предварительно нужно объединить в специальную группу томов.

Volumes. Поверх пулов или групп томов создаются тома, которые могут использоваться хостами.

При создании тома система предлагает выбрать его назначение из большого списка типовых нагрузок и сервисов (медиа-стриминг, бэкап, различные СУБД), под каждый из которых будут применены оптимизирующие настройки.

Hosts. Хосты добавляются привычными способами: вручную для iSCSI и автоматически по WWN для SAS и FC.

У нас всего один хост, подключённый к DE4000H двумя линками FibreChannel. Выбираем операционную систему и подходящие WWN из списка.

Performance. Интерфейс Lenovo System Manager лишь на первый взгляд кажется простым и даже примитивным, ориентированным исключительно на начинающих пользователей. Вкладка, отвечающая за мониторинг производительности развеивает это впечатление:

Можно анализировать задержку, IOPS (количество операций ввода-вывода), поточную производительность в реальном времени, либо вести журнал, с разбивкой по отдельным томам или общую по пулам/группам томов.

Snapshots — управление снапшотами.

Обзор СХД Lenovo ThinkSystem DE4000H Пулы и группы томов

Дисковые пулы знакомы владельцам Lenovo серии DS или других СХД, но у каждой системы хранения механизм пулов свой, уникальный, но назначение одно — решение проблем традиционных RAID-групп с гибкостью организации дискового пространства путём добавления дополнительного слоя абстракции. Физические диски разбиваются на блоки (сегменты), размещение которых, в отличие от страйпов в RAID-группах, не привязано раз и навсегда к структуре массива. Сегменты в пуле используются для увеличения и уменьшения размера пула, работы со снапшотами (мгновенными снимками), тонким выделением ресурсов и для повышения производительности и отказоустойчивости. В СХД серии DS пулы работали несколько по-другому — на нижнем уровне были не отдельные физические диски, а RAID-группы.

В Lenovo Storage DE используется технология динамических дисковых пулов (DDP, Dynamic Disk Pools), появившаяся несколько лет назад в СХД на базе SANTricity (IBM DS3500 и других). Размер традиционных массивов RAID-5 и 6 в DE4000H ограничен 30 дисками, а увеличение дискового пространства возможно только путём добавления новых дисковых полок. При использовании пула диски нарезаются на сегменты объёмом 128 КиБ, доступный пользователю объём распределяется по сегментам всех дисков пула вместе с сегментами, хранящими две контрольных суммы, то есть обеспечивается уровень защиты данных, аналогичный RAID-6. Как уже было сказано, размещение сегментов в пуле не является жестко определённым. Например, в пул можно добавлять диски по одному или даже удалять их из пула при наличии свободных сегментов. Вместо выделенных hot-spare дисков в пуле резервируется определённое количество сегментов, то есть мы получаем распределённое резервное пространство, что значительно ускоряет процесс восстановления после отказа диска.

Дисковые пулы в Lenovo DE4000H можно рассматривать в качестве удобной замены RAID-6. Количество дисков ограничено лишь пределом масштабирования СХД (но нужно минимум 11 дисков), быстрый ребилд, быстрое и удобное увеличение/уменьшение объёма, поддерживается тонкое выделение ресурсов (thin provisioning). Одновременно с пулами можно использовать и классические RAID-группы, которые позволяют выбрать другой уровень RAID и в некоторых случаях обладают более высокой производительностью.

Обзор СХД Lenovo ThinkSystem DE4000H | Тестирование

Конфигурация дискового пространства самой СХД и тестового стенда была указана в предыдущих разделах («Компоненты» и «Подключение»). Осталось лишь добавить, что для генерации нагрузки использовался FIO версии 3.13. Одного хоста с одним двухпортовым HBA 16Gb Fibre Channel при небольшом количестве дисков недостаточно для тестирования производительности нескольких томов на двух контроллерах, поэтому перед проведением тестов оба линка были подключены только через один контроллер (принадлежность томов и пулов была соответствующим образом изменена).

Два SSD и 12 HDD — не так уж много по современным меркам, но некоторые выводы о производительности DE4000H такая конфигурация сделать всё равно позволит. Во-первых, мы можем протестивать работу SSD-кэша — посмотреть, как меняются показатели IOPS и задержки по мере заполнения кэша данными. Во-вторых, можно будет задействовать эти SSD напрямую и понять, что именно имеет в виду Lenovo, когда говорит о низких задержках в СХД на базе SANTricity. Последним тестом будет последовательный доступ для пула из 12 HDD.

SSD-кэш

Для оценки производительности пула с SSD-кэшем использовался следующий тест:

Размер блока: 4096 байт
Доступ: случайный
Соотношение чтение/запись: 100/0, 70/30
Глубина очереди: 6
Количество потоков: 16
Количество раундов: 180
Продолжительность раунда: 60 с
Прогревочный интервал раунда: 5 с
Пул из 12 HDD 1,2 ТБ 10k HDD + SSD-кэш из 2 SSD 800 ГБ

Размер рабочей области в 100 ГБ был выбран для более быстрого наполения SSD-кэша при незначительном влиянии RAM-кэша. Перед началом теста том последовательно заполнялся случайными данными. SSD-кэш в СХД DE4000H работает только на чтение, поэтому рассматривать нагрузку с меньшим соотношением чтение/запись не имело смысла.