| ||||
Обзор СХД Lenovo ThinkSystem DE4000H Пулы и группы томов
Дисковые пулы знакомы владельцам Lenovo серии DS или других СХД, но у каждой системы хранения механизм пулов свой, уникальный, но назначение одно — решение проблем традиционных RAID-групп с гибкостью организации дискового пространства путём добавления дополнительного слоя абстракции. Физические диски разбиваются на блоки (сегменты), размещение которых, в отличие от страйпов в RAID-группах, не привязано раз и навсегда к структуре массива. Сегменты в пуле используются для увеличения и уменьшения размера пула, работы со снапшотами (мгновенными снимками), тонким выделением ресурсов и для повышения производительности и отказоустойчивости. В СХД серии DS пулы работали несколько по-другому — на нижнем уровне были не отдельные физические диски, а RAID-группы.
В Lenovo Storage DE используется технология динамических дисковых пулов (DDP, Dynamic Disk Pools), появившаяся несколько лет назад в СХД на базе SANTricity (IBM DS3500 и других). Размер традиционных массивов RAID-5 и 6 в ограничен 30 дисками, а увеличение дискового пространства возможно только путём добавления новых дисковых полок. При использовании пула диски нарезаются на сегменты объёмом 128 КиБ, доступный пользователю объём распределяется по сегментам всех дисков пула вместе с сегментами, хранящими две контрольных суммы, то есть обеспечивается уровень защиты данных, аналогичный RAID-6. Как уже было сказано, размещение сегментов в пуле не является жестко определённым. Например, в пул можно добавлять диски по одному или даже удалять их из пула при наличии свободных сегментов. Вместо выделенных hot-spare дисков в пуле резервируется определённое количество сегментов, то есть мы получаем распределённое резервное пространство, что значительно ускоряет процесс восстановления после отказа диска.
Дисковые пулы в можно рассматривать в качестве удобной замены RAID-6. Количество дисков ограничено лишь пределом масштабирования СХД (но нужно минимум 11 дисков), быстрый ребилд, быстрое и удобное увеличение/уменьшение объёма, поддерживается тонкое выделение ресурсов (thin provisioning). Одновременно с пулами можно использовать и классические RAID-группы, которые позволяют выбрать другой уровень RAID и в некоторых случаях обладают более высокой производительностью.
Обзор СХД Lenovo ThinkSystem DE4000H | Тестирование
Конфигурация дискового пространства самой СХД и тестового стенда была указана в предыдущих разделах («Компоненты» и «Подключение»). Осталось лишь добавить, что для генерации нагрузки использовался FIO версии 3.13. Одного хоста с одним двухпортовым HBA 16Gb Fibre Channel при небольшом количестве дисков недостаточно для тестирования производительности нескольких томов на двух контроллерах, поэтому перед проведением тестов оба линка были подключены только через один контроллер (принадлежность томов и пулов была соответствующим образом изменена).
Два SSD и 12 HDD — не так уж много по современным меркам, но некоторые выводы о производительности такая конфигурация сделать всё равно позволит. Во-первых, мы можем протестивать работу SSD-кэша — посмотреть, как меняются показатели IOPS и задержки по мере заполнения кэша данными. Во-вторых, можно будет задействовать эти SSD напрямую и понять, что именно имеет в виду Lenovo, когда говорит о низких задержках в СХД на базе SANTricity. Последним тестом будет последовательный доступ для пула из 12 HDD.
SSD-кэш
Для оценки производительности пула с SSD-кэшем использовался следующий тест:
- Размер блока: 4096 байт
- Доступ: случайный
- Соотношение чтение/запись: 100/0, 70/30
- Глубина очереди: 6
- Количество потоков: 16
- Количество раундов: 180
- Продолжительность раунда: 60 с
- Прогревочный интервал раунда: 5 с
- Пул из 12 HDD 1,2 ТБ 10k HDD + SSD-кэш из 2 SSD 800 ГБ
 |
Размер рабочей области в 100 ГБ был выбран для более быстрого наполения SSD-кэша при незначительном влиянии RAM-кэша. Перед началом теста том последовательно заполнялся случайными данными. SSD-кэш в СХД работает только на чтение, поэтому рассматривать нагрузку с меньшим соотношением чтение/запись не имело смысла.
Классический график с постепенным заполнением кэша. Производительность растёт с 2000 IOPS до 121000 IOPS. Представлены только первые 60 раундов (минут), так как заполнение кэша происходит уже к 25-й минуте.
Разумеется, производительности дисковой подсистемы измеряется не только количеством операций ввода-вывода. Важно, сколько времени операция ждёт исполнения, то есть уровень задержки. Как видим, с практически неприемлемых для использования в большинстве приложений 50 миллисекунд среднее значение задержки падает в десятки раз, до 0,8 мс — недостижимого для традиционных HDD уровня.
Среднее значение задержки тоже далеко не всё говорит о производительности. Важна ещё и стабильность значения задержки. Несовершенный алгоритм работы встроенного ПО СХД может допускать периодический рост пиковых значений задержки. Однако, тут всё в порядке — перцентиль 99% («перцентиль X% величины Y = Z» означает, что X% всех значений величины Y не превышает Z) так же существенно снижается и не выходит за границы 2 мс.
То же самое можно сказать и о перцентиле 99,99%. Он остаётся в границах 2–5 мс. Для этого графика отображены все 180 минут теста.
Посмотрим, как поведёт себя SSD-кэш при добавлении 30% нагрузки на запись. Из документации к СХД не ясен алгоритм работы SSD-кэша — write-through (запросы на запись тоже попадают в кэш, но операция подтверждается только завершения записи на HDD) или write-around (запись осуществляется в обход кэша).
Если смотреть только на IOPS, то результаты не впечатляют. Мы добавили 30% записи и от 60-кратного прироста производительности не осталось и следа. В реальных условиях нагрузка, близкая к 100% встречается, но не так уж часто. Имеет ли смысл использовать SSD-кэш на чтение?
Средняя задержка снижается в раза, так что польза от кэширования чтения в смешанных нагрузка есть. Конечно, при этом нужен тщательный мониторинг производительности, так как по мере наполнения кэша и снижении задержки на чтение может вырасти задержка на запись.
Производительность при работе с SSD
- Размер блока: 4096 байт
- Доступ: случайный
- Соотношение чтение/запись: 100/0, 70/30, 30/70, 0/100
- Глубина очереди: 1, 2, 4, 8, 16, 32, 64
- Количество потоков: 1, 2, 4
- Количество раундов: 15
- Продолжительность раунда: 60 с
- Прогревочный интервал раунда: 5 с
Данные усреднялись по четырём раундам после стабилизации значений IOPS (критерий — линейная аппроксимация не отклоняется от среднего значения больше, чем на 10%). На графика представлены зависимости значений задержки от IOPS при увеличении нагрузки (эффективной глубины очереди). Перед проведением тестов том (RAID-0 из двух SSD) дважды заполнялся случайными данными.
Результаты в целом очень похожи на тестировавшуюся ранее DS6200 (для неё показатели IOPS умножались на 2, чтобы показать производительность двух контроллеров), но есть важное отличие. действительно демонстрирует очень низкую задержку: при 100% нагрузке на чтение практически во всём диапазоне задержка не превышает 150 микросекунд (0,15 мс).
Задержка остаётся стабильной, 99% перцентиль превышает средние значения примерно в 2 раза на всём диапазоне нагрузок.
Перцентиль 99,99%: пиковые задержки при большой нагрузке на чтение начинают сильно расти (больше одной миллисекунды), но это происходит при достижении производительности в 200 тысяч IOPS на контроллер. Связано ли это с особенностью именно конкретных SSD или с приближением к лимиту производительности контроллера — не ясно, но в любом случае, вполне можно назвать выдающейся для своего класса.
Последовательный доступ
- Размер блока: 1 МиБ
- Доступ: последовательный
- Соотношение чтение/запись: 100/0, 0/100
- Глубина очереди: 1, 2, 4, 8, 16
- Количество потоков: 1
- Количество раундов: 15
- Продолжительность раунда: 60 с
- Прогревочный интервал раунда: 5 с
Тестировалась производительность последовательного доступа на пуле из 12 дисков 1,2 ТБ 10k. Подключение — два линка 16Gb FC к одному контроллеру. Данные усреднялись по четырём раундам после стабилизации значений IOPS (критерий — линейная аппроксимация не отклоняется от среднего значения больше, чем на 10%). Для глубины очереди 8 (при этом обеспечивается задержка менее 5 мс).
- Чтение: 2496 МиБ/с
- Запись: 1857 МиБ/с
Вывод: ограничивающим фактором стали диски, достигнуть пределов производительности контроллера СХД или FC HBA. Lenovo заявляет о лимитах в 9,2 и 2,7 ГБ/с для чтения и записи соответственно. Это совокупные лимиты для двух контроллеров и использования RAID-групп вместо пулов. Если судить по отличным результатам предыдущего теста, то сомневаться в реальности этих цифр оснований нет.
![Intel SSD 660p: первые потребительские SSD с памятью QLC. Отзывы в Клубе экспертов THG [ 5 отзывов]](/forum/images/icons/icon5.gif){kind=icon}