Обзор СХД Lenovo ThinkSystem DE4000H | Введение
Прошёл почти год с момента публикации
Благодаря сотрудничеству Lenovo с NetApp появилась линейка All-Flash и гибридных СХД
Вторая линейка СХД —
Линейка СХД начального уровня
Обзор СХД Lenovo ThinkSystem DE4000H | Основные технические характеристики
Форм-фактор | 2U, монтаж в стойку. |
Форм-факторы | – DE4000H 2U24 SFF (высота 2U, 24 диска 2,5″) – DE4000H 2U12 LFF (высота 2U, 12 дисков 3,5″) – DE4000H 4U60 LFF (высота 4U, 60 дисков 3,5″) Полки расширения представлены в аналогичных форм-факторах. Допускается подключение полок расширения любого форм-фактора. |
Контроллеры | Два контроллера, работающих в режиме active-active. Автоматическая балансировка нагрузки. |
RAID | RAID 0, 1, 3, 5, 6, 10. Дисковые пулы (Dynamic Disk Pools, DDP). |
Кэш-память | – 16 ГБ (по 8 ГБ на контроллер) – Содержимое кэш-памяти зеркалируется между контроллерами. – Защита кэш-памяти при аварийном отключении питания: запись на флеш-накопитель при временном питании от батареи. |
Дисковые отсеки | – До 7 дополнительных дисковых полок 2U24/2U12 – До 3 дополнительных дисковых полок 4U60 – Максимум 192 диска SFF (8x2U24) или LFF (1x2U12 и 3x4U60 ). – Подключение дисковых полок — два разъёма SFF-8644 (4xSAS3) на каждый контроллер. |
Диски | – 12 Гбит SAS HDD 10 и 7,2 тыс. об/мин, в том числе с шифрованием (FIPS), 12 Гбит SAS SSD – Поддерживается сочетание HDD и SSD в одной системе, но не в пределах одной группы томов или пула. – Сочетание HDD с шифрованием и обычных не поддерживается. – Максимум 120 SSD. Диски SFF (2,5″): – 1,2 ТБ и 1,8 ТБ 10 тыс. об/мин SAS HDD – 1,8 ТБ 10 тыс. об/мин SAS HDD с шифрованием – 3,84 ТБ, 7,68 ТБ и 15,36 ТБ SAS SSD (ресурс 1 DWPD) – 800 ГБ, 1,6 ТБ и 3,2 ТБ SAS SSD (ресурс 3 DWPD) – 1,6 ТБ SAS SSD (3 DWPD) с шифрованием Диски LFF (3,5″): – 4 ТБ, 8 ТБ, 10 ТБ и 12 ТБ 7200 об/мин NL SAS HDD – 6 ТБ и 10 ТБ 7200 об/мин NL SAS HDD с шифрованием – 800 ГБ SAS SSD (3 DWPD) – 1,6 ТБ SAS SSD (3 DWPD) с шифрованием |
Подключение | Базовая конфигурация (на систему с двумя контроллерами): – 4 порта 10 Гбит iSCSI (DAC-кабели или 10GBASE-SR) или FibreChannel 4/8/16 Гбит SFP+ (2 порта на контроллер) Дополнительные порты на опциональных хост-платах (на систему с двумя контроллерами) – 8x SAS3 12 Гбит (SFF-8644) (4 порта на контроллер) – 8x 10/25 Гбит iSCSI SFP28 (4 порта на контроллер) – 8x 8/16/32 Гбит FibreChannel SFP+ (4 порта на контроллер) – Комбинированные порты: 8x 10 Гбит iSCSI (DAC-кабели или 10GBASE-SR) или FibreChannel 4/8/16 Гбит SFP+ (4 порта на контроллер) |
Поддерживаемые операционные системы | – Microsoft Windows Server 2012 R2 и 2016 – Red Hat Enterprise Linux (RHEL) 6 и 7; SUSE Linux Enterprise Server (SLES) 11, 12 и 15 – VMware vSphere 5.5, 6.0, 6.5, 6.7. |
Функционал | Стандартный: Динамические дисковые пулы, SSD-кэш на чтение, снапшоты (до 128), копирование томов, тонкое выделение ресурсов (только на дисковых пулах), шифрование (требуются диски FIPS), data assurance (сквозной контроль целостности данных). Опциональный: До 512 снапшотов, синхронная и асинхронная репликация. |
Производительность | – до 300000 IOPS при случайном чтении блоками 4 КиБ – до 109000 IOPS при случайной записи блоками 4 КиБ – до 9,2 ГБ/с при последовательном чтении блоками 64 КиБ – до 2,7 ГБ/с при последовательной записи блоками 64 КиБ |
Конфигурационные лимиты | – Максимальный объём: 2,3 ПБ – Максимальное число томов: 512 – Максимальный объём тома: 2 ПБ – Максимальный объём тома с тонким выделением ресурсов: 256 ТБ – Максимальное число дисков в RAID-группах: 192 для RAID 0, 1, 10; 30 для RAID 3, 5, 6 – Максимальное число дисковых пулов: 20 – Максимальное число дисков в пуле: 192 (минимум 11) – Максимальный объём SSD-кэша: 4 ТБ – Максимальное число хостов: 256 – Максимальное число снапшотов: 512 (с дополнительной лицензией) – Максимальное число томов с репликацией: 32 (с дополнительной лицензией) |
Питание | Два блока питания 913 Вт (2U24 и 2U12) или 2325 Вт (4U60). |
Управление | – Один порт GbE (RJ-45) на контроллер – Два порта для подключения последовательной консоли (RJ-45 и USB) – In-band управление через хост-интерфейс System Manager web-based GUI; SAN Manager standalone GUI; SSH CLI; CLI через последовательную консоль; SMI-S провайдер; SNMP, email и syslog уведомления; опционально: Lenovo XClarity. |
Обзор СХД Lenovo ThinkSystem DE4000H Компоненты
Для обзора компанией Lenovo была предоставлена СХД в следующей конфигурации:
- Lenovo DE4000H 2U24 7Y75
- Хост-платы с 4xSFP+ (10GbE или 4/8/16Gb FibreChannel)
- Четыре универсальных трансивера 10GbE/16Gb FC
- Диски: 2×800 ГБ SSD (3 DWPD) и 12×1200 ГБ 10 тыс. об/мин HDD
Корпус высотой 2U практически не отличается от других подобных систем хранения, заметна разве что небольшая глубина — всего 550 мм, что позволит установить DE4000H практически в любую стойку. В правой части корпуса рядом с названием СХД напечатан серийный номер, что очень удобно — он нужен при обращении в техническую поддержку и при загрузке ПО с сайта Lenovo, и серийный номер не придётся искать на верхней/задней панели корпуса или в документах.
Слева расположены три светодиода, отображающих статус системы, и двухразрядный семисегментный индикатор, показывающий ID СХД или дисковой полки.
SSD для данной СХД были произведены компанией Toshiba — это модель
HDD объёмом 1,2 ТБ со скоростью вращения шпинделя 10000 об/мин произведён компанией Seagate. Это модель последнего поколения линейки Enterprise Performance 10K HDD. Обратите внимание, что Lenovo не предлагает для своих СХД диски на 15 тыс. об/мин. В этом нет ничего странного. Дело в том, что высокопроизводительные HDD на 10/15 тыс. об/мин постепенно уходят в прошлое под натиском твердотельных накопителей. Если диски на 10000 об/мин ещё долго будут иметь существенно более выгодное соотношение цена/объём при достаточном для многих приложений уровне производительности, то их более быстрые собратья, ограниченные объёмом в 900 ГБ во многих случаях уже не выдерживают конкуренции с SSD, так что отказ от их поддержки в новых системах хранения данных выглядит вполне разумным шагом. Конечно, All-Flash СХД по карману не всем организациям, но заполнить эту нишу помогут гибридные СХД. Благодаря большому объёму поддерживаемого SSD-кэша и снижению цен на изготовленные по 3D-технологии SSD поднять производительность до нужного предела сейчас гораздо проще.
Вид сзади. Сверху расположены два контроллерных модуля, снизу — блоки питания, объединённые с вентиляторами турбинного типа. Силовые разъёмы IEC C14 на блоках питания предусмотрительно снабжены фиксаторами для предотвращения случайного отключения кабеля.
Задняя панель контроллера крупным планом. Слева направо расположены:
- Два встроенных конвергентных порта SFP+ с поддержкой 10GbE и 4/8/16 Гбит FC
- Ethernet-порт P1 для удалённого управления. Расположенный рядом порт P2 не задействован. Чуть ниже находятся два семисегментных индикатора, отображающих статус загрузки контроллера.
- Консольный порт RJ-45. Предназначен для подключения последовательной консоли через специальный кабель.
- Консольный порт USB. В комплекте с СХД идёт специальный кабель USB-microUSB со встроенным контроллером RS232.
- USB-порт. Его назначение не описано в документации. Скорее всего, предназначен для сервисных целей (сбора логов).
- Под USB-портами находятся 4 порта SFP+ дополнительной хост-платы 10GbE/16Gb FibreChannel (см. список доступных хост-плат).
- Два порта SFF-8644 для подключения дисковых полок. IO-модуль каждой дисковой полки тоже имеет по два SFF-8644. Для подключения цепочки дисковых полок к СХД используется по восемь линий SAS3 (каждый SFF-8644 содержит 4 линии SAS) на каждый экспандер вместо привычных четырёх, т.е. бэкенд гарантированно не станет узким местом при подключении большого числа дисков к системе.
При извлечении контроллера или блока питания соответствующее пространство закрывается подпружиненной пластиковой шторкой, чтобы не нарушить охлаждение оставшихся компонентов.
Заглянем внутрь контроллерного модуля. Крышка не опломбирована, так как производитель допускает самостоятельную замену хост-плат. Видны закрытые радиаторами контроллеры хост-интерфейсов, процессор, SAS-экспандер, Li-ion батарея, два модуля памяти DDR4 по 4 ГБ с коррекцией ошибок.
Обзор СХД Lenovo ThinkSystem DE4000H Подключение и управление
СХД подключалась к одному хосту в следующей конфигурации:
- Материнская плата Supermicro X10DRi-LN4+
- Один процессор Intel Xeon E5-2650 V6
- 16 ГБ оперативной памяти DDR4-2400 (4 модуля по 4 ГБ)
- SSD Intel 710 100 ГБ
- Двухпортовый 16Gb FibreChannel HBA QLogic QLE2672
- Windows Server Standard 2016
Версия встроенного ПО
Процедура подключения
При первом подключении SAN Manager предложит задать пароль к СХД, затем запустится основное средство управления новыми СХД серии DE — Lenovo Thinksystem System Manager. На вкладке Home отображена сводная информация об уведомлениях, производительности и свободном дисковом пространстве. Вкладка Storage — тут расположены наиболее часто используемые инструменты для администрирования системы хранения:
- Pools & Volume Groups. Здесь из одиночных дисков создаются либо пулы, либо группы томов, о различиях между которыми будет рассказано чуть позже. Твердотельные диски, которые планируется использовать в качестве кэша, тоже предварительно нужно объединить в специальную группу томов.
- Volumes. Поверх пулов или групп томов создаются тома, которые могут использоваться хостами.
При создании тома система предлагает выбрать его назначение из большого списка типовых нагрузок и сервисов (медиа-стриминг, бэкап, различные СУБД), под каждый из которых будут применены оптимизирующие настройки.
- Hosts. Хосты добавляются привычными способами: вручную для iSCSI и автоматически по WWN для SAS и FC.
У нас всего один хост, подключённый к
- Performance. Интерфейс Lenovo System Manager лишь на первый взгляд кажется простым и даже примитивным, ориентированным исключительно на начинающих пользователей. Вкладка, отвечающая за мониторинг производительности развеивает это впечатление:
Можно анализировать задержку, IOPS (количество операций ввода-вывода), поточную производительность в реальном времени, либо вести журнал, с разбивкой по отдельным томам или общую по пулам/группам томов.
Обзор СХД Lenovo ThinkSystem DE4000H Пулы и группы томов
Дисковые пулы знакомы владельцам Lenovo серии DS или других СХД, но у каждой системы хранения механизм пулов свой, уникальный, но назначение одно — решение проблем традиционных RAID-групп с гибкостью организации дискового пространства путём добавления дополнительного слоя абстракции. Физические диски разбиваются на блоки (сегменты), размещение которых, в отличие от страйпов в RAID-группах, не привязано раз и навсегда к структуре массива. Сегменты в пуле используются для увеличения и уменьшения размера пула, работы со снапшотами (мгновенными снимками), тонким выделением ресурсов и для повышения производительности и отказоустойчивости. В СХД серии DS пулы работали несколько по-другому — на нижнем уровне были не отдельные физические диски, а RAID-группы.
В Lenovo Storage DE используется технология динамических дисковых пулов (DDP, Dynamic Disk Pools), появившаяся несколько лет назад в СХД на базе SANTricity (IBM DS3500 и других). Размер традиционных массивов RAID-5 и 6 в
Дисковые пулы в
Обзор СХД Lenovo ThinkSystem DE4000H | Тестирование
Конфигурация дискового пространства самой СХД и тестового стенда была указана в предыдущих разделах («Компоненты» и «Подключение»). Осталось лишь добавить, что для генерации нагрузки использовался FIO версии 3.13. Одного хоста с одним двухпортовым HBA 16Gb Fibre Channel при небольшом количестве дисков недостаточно для тестирования производительности нескольких томов на двух контроллерах, поэтому перед проведением тестов оба линка были подключены только через один контроллер (принадлежность томов и пулов была соответствующим образом изменена).
Два SSD и 12 HDD — не так уж много по современным меркам, но некоторые выводы о производительности
SSD-кэш
Для оценки производительности пула с SSD-кэшем использовался следующий тест:
- Размер блока: 4096 байт
- Доступ: случайный
- Соотношение чтение/запись: 100/0, 70/30
- Глубина очереди: 6
- Количество потоков: 16
- Количество раундов: 180
- Продолжительность раунда: 60 с
- Прогревочный интервал раунда: 5 с
- Пул из 12 HDD 1,2 ТБ 10k HDD + SSD-кэш из 2 SSD 800 ГБ
Размер рабочей области в 100 ГБ был выбран для более быстрого наполения SSD-кэша при незначительном влиянии RAM-кэша. Перед началом теста том последовательно заполнялся случайными данными. SSD-кэш в СХД
Классический график с постепенным заполнением кэша. Производительность растёт с 2000 IOPS до 121000 IOPS. Представлены только первые 60 раундов (минут), так как заполнение кэша происходит уже к 25-й минуте.
Разумеется, производительности дисковой подсистемы измеряется не только количеством операций ввода-вывода. Важно, сколько времени операция ждёт исполнения, то есть уровень задержки. Как видим, с практически неприемлемых для использования в большинстве приложений 50 миллисекунд среднее значение задержки падает в десятки раз, до 0,8 мс — недостижимого для традиционных HDD уровня.
Среднее значение задержки тоже далеко не всё говорит о производительности. Важна ещё и стабильность значения задержки. Несовершенный алгоритм работы встроенного ПО СХД может допускать периодический рост пиковых значений задержки. Однако, тут всё в порядке — перцентиль 99% («перцентиль X% величины Y = Z» означает, что X% всех значений величины Y не превышает Z) так же существенно снижается и не выходит за границы 2 мс.
То же самое можно сказать и о перцентиле 99,99%. Он остаётся в границах 2–5 мс. Для этого графика отображены все 180 минут теста.
Посмотрим, как поведёт себя SSD-кэш при добавлении 30% нагрузки на запись. Из документации к СХД не ясен алгоритм работы SSD-кэша — write-through (запросы на запись тоже попадают в кэш, но операция подтверждается только завершения записи на HDD) или write-around (запись осуществляется в обход кэша).
Если смотреть только на IOPS, то результаты не впечатляют. Мы добавили 30% записи и от 60-кратного прироста производительности не осталось и следа. В реальных условиях нагрузка, близкая к 100% встречается, но не так уж часто. Имеет ли смысл использовать SSD-кэш на чтение?
Средняя задержка снижается в раза, так что польза от кэширования чтения в смешанных нагрузка есть. Конечно, при этом нужен тщательный мониторинг производительности, так как по мере наполнения кэша и снижении задержки на чтение может вырасти задержка на запись.
Производительность при работе с SSD
- Размер блока: 4096 байт
- Доступ: случайный
- Соотношение чтение/запись: 100/0, 70/30, 30/70, 0/100
- Глубина очереди: 1, 2, 4, 8, 16, 32, 64
- Количество потоков: 1, 2, 4
- Количество раундов: 15
- Продолжительность раунда: 60 с
- Прогревочный интервал раунда: 5 с
Данные усреднялись по четырём раундам после стабилизации значений IOPS (критерий — линейная аппроксимация не отклоняется от среднего значения больше, чем на 10%). На графика представлены зависимости значений задержки от IOPS при увеличении нагрузки (эффективной глубины очереди). Перед проведением тестов том (RAID-0 из двух SSD) дважды заполнялся случайными данными.
Результаты в целом очень похожи на тестировавшуюся ранее DS6200 (для неё показатели IOPS умножались на 2, чтобы показать производительность двух контроллеров), но есть важное отличие.
Задержка остаётся стабильной, 99% перцентиль превышает средние значения примерно в 2 раза на всём диапазоне нагрузок.
Перцентиль 99,99%: пиковые задержки при большой нагрузке на чтение начинают сильно расти (больше одной миллисекунды), но это происходит при достижении производительности в 200 тысяч IOPS на контроллер. Связано ли это с особенностью именно конкретных SSD или с приближением к лимиту производительности контроллера — не ясно, но в любом случае,
Последовательный доступ
- Размер блока: 1 МиБ
- Доступ: последовательный
- Соотношение чтение/запись: 100/0, 0/100
- Глубина очереди: 1, 2, 4, 8, 16
- Количество потоков: 1
- Количество раундов: 15
- Продолжительность раунда: 60 с
- Прогревочный интервал раунда: 5 с
Тестировалась производительность последовательного доступа на пуле из 12 дисков 1,2 ТБ 10k. Подключение — два линка 16Gb FC к одному контроллеру. Данные усреднялись по четырём раундам после стабилизации значений IOPS (критерий — линейная аппроксимация не отклоняется от среднего значения больше, чем на 10%). Для глубины очереди 8 (при этом обеспечивается задержка менее 5 мс).
- Чтение: 2496 МиБ/с
- Запись: 1857 МиБ/с
Вывод: ограничивающим фактором стали диски, достигнуть пределов производительности контроллера СХД или FC HBA. Lenovo заявляет о лимитах в 9,2 и 2,7 ГБ/с для чтения и записи соответственно. Это совокупные лимиты для двух контроллеров и использования RAID-групп вместо пулов. Если судить по отличным результатам предыдущего теста, то сомневаться в реальности этих цифр оснований нет.
Обзор СХД Lenovo ThinkSystem DE4000H | ThinkSystem DE и ThinkSystem DS
Системы хранения ThinkSystem DE и ThinkSystem DS очень похожи: форм-факторы, производительность, выбор интерфейсов подключения. На момент написания этой статьи можно сказать, что эти линейки являются прямыми конкурентами. Линейка DS появилась раньше и поддерживает ярусное хранение данных. Новая линейка DE поддерживает только SSD-кэш на чтение, но взамен предлагает быстрые интерфейсы (25GbE и 32Gb FC), более высокую производительность и более гибкий механизм дисковых пулов. Не стоит забывать и о большей гибкости при выборе конфигурации интерфейсов.
В отказе от ярусного хранения данных в системах начального уровня есть своя логика. Дело в том, что ярусное хранение требует слишком достаточно большого количества ресурсов, как вычислительных, так и внутренней пропускной способности, при этом оно не обеспечивает достаточно быстрого наращивания производительности при появлении пиковых нагрузок. Снижение стоимости твердотельных накопителей привело к тому, что тома требовательных к производительности дисковой подсистемы сервисов можно размещать непосредственно на SSD. Разумеется, это справедливо для небольших компаний, объём «горячих данных» в которых, как правило, не превышает пары десятков терабайт. В этом случае СХД начального уровня, оснащённая достаточным объёмом SSD, обеспечит более высокий уровень производительности, чем СХД класса mid-range с ярусным хранением.
Обзор СХД Lenovo ThinkSystem DE4000H | Заключение
Lenovo и NetApp создали отличный продукт, который наверняка будет пользоваться большим спросом в ближайшие несколько лет.
Обзор СХД Lenovo ThinkSystem DE4000H | Галерея