Обзор и тестирование системы хранения данных Lenovo V3700 V2 – THG.RU

Обзор СХД Lenovo V3700 V2 | Введение

Бизнес, связанный с серверами x86 IBM System x, уже достаточно давно перешёл к компании Lenovo. Согласно глобальному OEM соглашению между IBM и Lenovo, в портфеле последней доступны системы хранения данных IBM Storwize V3700, V5000 и V7000. Данные СХД поставлялись под брендом IBM, но второе поколение V3700 и V5000 — V3700 V2 и V5030 — поставляется уже под брендом Lenovo.

Данный обзор посвящён СХД Lenovo V3700 V2 в модификации XP. Об отличиях от первого поколения и других особенностях вы сможете прочитать ниже.

Обзор СХД Lenovo V3700 V2 | Основные технические характеристики

• Форм-фактор СХД и полок расширения: 2U, 24 диска SFF (2,5″) или 12 дисков LFF (3,5″)
• Габариты (В x Ш x Г): 87 x 483 x 556
• Максимальное количество дисков: 240 SFF или 120 LFF (СХД + 9 полок расширения)
• Максимальный объём дискового пространства: 960 ТБ (120 дисков 8 ТБ)
• Поддерживаемые диски:
  • Высокопроизводительные (ресурс 10 DWPD) SFF SSD: 400 ГБ, 800 ГБ, 1,6 ТБ, 3,2 ТБ
  • Оптимизированные для чтения SFF SSD: 1,92 ТБ и 3,84 ТБ
  • SFF HDD: 300 ГБ и 600 ГБ 15 тыс. об/мин; 900 ГБ, 1,2 ТБ, 1,8 ТБ 10 тыс. об/мин; 2 ТБ 7200 об/мин
  • LFF HDD: 300 ГБ и 600 ГБ 15 тыс. об/мин; 900 ГБ, 1,2 ТБ, 1,8 ТБ 10 тыс. об/мин; 4 ТБ, 6 ТБ и 8 ТБ 7200 об/мин
• Интерфейс подключения дисков и полок расширения: SAS 3.0 (12 Гбит/с)
• Число контроллеров: 2
• Режим работы контроллеров: ALUA
• Отказоустойчивость:
  • Горячая замена дисков
  • Горячая замена контроллеров
  • Горячая замена модулей питания и охлаждения
  • Защита содержимого кэш-памяти при аварийном отключении питания (аккумулятор)
  • Зеркалирование содержимого кэш-памяти между контроллерами
• Поддержка RAID: 0, 1, 5, 6, 10; распределённый RAID (DRAID) 5 и 6
• Объём памяти (на каждый контроллер): 8 ГБ, V3700 V2 XP поддерживает расширение до 16 ГБ
• Стандартные порты для подключения хостов (на каждый контроллер):
  • 2x 1 Гбит iSCSI (RJ-45)
  • 2x SAS 3.0 (SFF-8644, mini-SAS HD x4) (модель V3700 V2 XP)
• Опциональные порты для подключения хостов (на каждый контроллер, в зависимости от установленной интерфейсной платы):
  • 4x SAS 3.0 (SFF-8644, mini-SAS HD x4)
  • 4x 1 Гбит iSCSI (RJ-45)
  • 4x 10 Гбит iSCSI или FCoE (SFP+, SW)
  • 4x 16 Гбит FC (SFP+, SW или LW)
• Заявленная производительность (V3700 V2 / V3700 V2 XP, для 2-х контроллеров):
  • до 168,000 / 390,000 IOPS на чтение из кэша
  • до 51,000 / 112,000 IOPS на чтение с дисков и до 13,000 / 28,000 IOPS на запись
  • до 27,000 / 55,000 IOPS смешанный доступ (70% чтение / 30% запись)
  • до 3.4 / 6.2 ГБ/с последовательное чтение с дисков и до 0.96 / 1.7 ГБ/с запись
• Поддержка операционных систем: Microsoft Windows Server 2012 и 2012 R2; Red Hat Enterprise Linux (RHEL) 6 и 7; SUSE Linux Enterprise Server (SLES) 11 и 12; VMware vSphere 5.1, 5.5, 6.0.
• Стандартный функционал: виртуализация собственного дискового пространства (дисковые пулы), тонкое выделение ресурсов (Thin Provisioning), миграция данных, снапшоты (FlashCopy, до 64-х)
• Опциональный функционал: удалённая репликация (Remote Mirroring), многоуровневое хранение данных (Easy Tier), увеличение максимального количества снапшотов (FlashCopy) до 2048

Обзор СХД Lenovo V3700 V2 | Внешний вид и устройство

Lenovo V3700 V2 — классическая СХД начального уровня. Дизайн подобных систем за несколько лет их существования практически не меняется: 2-юнитовый форм-фактор с двумя вариантами исполнения (24 диска 2,5″ или 12 дисков 3,5″), два контроллера и два блока питания, совмещённых с системой охлаждения.

Наследие IBM — удобная система маркировки семейства продуктов и отдельных моделей внутри семейства, так называемый Machine Type и номер модели. В нашем распоряжении оказалась модификация 6535-HC5, что соответствует модификации Lenovo V3700 V2 XP SFF: диски 2,5″, исполнение XP (увеличенная производительность, 2 встроенных порта 4x SAS 3.0, возможность увеличения кэш-памяти до 16 ГБ на контроллер).

С первого взгляда Lenovo V3700 V2 сложно отличить от первого поколения. Дизайн салазок для дисков остался прежним. На передней панели слева расположены привычные три светодиода: питание, ID и статус.

Lenovo Storage V3700 V2 XP SFF, вид спереди

Задняя панель контроллеров Lenovo V3700 V2 тоже очень похожа на V3700 первого поколения: два RJ-45, слот для интерфейсных плат, над которым расположены три светодиода, отображающие состояние контроллера. Под одним из RJ-45 находится порт USB, который можно использовать для получения конфигурации контроллера. При подключении к нему флеш-накопителя система создаёт на нём файл с описанием конфигурации, в том числе — сетевые настройки для подключения к GUI.

СХД V3700 первого поколения имела 4 порта SAS SFF-8644 (несмотря на использование разъёмов SFF-8644, это были 6-гигабитные порты SAS 2), один из которых был предназначен для подключения дисковых полок и три — для подключения хостов. Lenovo V3700 V2 в обычной модификации не имеет встроенных портов SAS для подключения хостов, а в Lenovo V3700 V2 XP таких портов два.

Совмещённый блок питания и охлаждения внешне никак не изменился. В документации к Lenovo V3700 V2 пока что нет упоминаний об опциональных блоках питания под постоянное напряжение 48 В, но они наверняка появятся.

Lenovo Storage V3700 V2 XP SFF, вид сзади

Для читателей, не знакомых с устройством подобных СХД, стоит пояснить, что под “контроллером” в них подразумевается вовсе не привычная многим плата расширения, реализующая набор определённых интерфейсов, а система целиком, обеспечивающая весь функционал СХД — от работы с физическими дисками до предоставления томов хостам. То есть большинство современных устройств, которые мы называем двухконтроллерными системами хранения данных, по сути являются кластером из двух серверов и SAS JBOD’а в общем корпусе. Контроллер СХД (в терминологии СХД IBM, а теперь Lenovo V-серии — node canister) допускает горячую замену, на плате контроллера расположены процессор, память, система аварийного питания (для сохранения не записанного на диски содержимого кэш-памяти), SAS-экспандер и контроллеры внешных интерфейсов. Дополнительные дисковые полки (SAS JBOD’ы) вместо контроллеров СХД содержат только платы с SAS-экспандерами. Внутри СХД контроллеры подключены к дискам через объединительную плату. Через неё при помощи одного или нескольких интерфейсов (в современных СХД, как правило, используется PCI Express) контроллеры соединены между собой для синхронизации настроек, обеспечения работы кластера, зеркалирования кэш-памяти и т. п. При использовании дисков SAS (они являются двухпортовыми) каждый из контроллеров имеет доступ ко всем дискам системы.

Под крышкой контроллера Lenovo V3700 V2 XP SFF мы можем увидеть два модуля SODIMM регистровой памяти DDR4 по 8 ГБ (в стандартной поставке установлен один модуль), под большим радиатором — двухядерный процессор Intel Pentium D1508, большой литий-ионный аккумулятор и интерфейсную плату на 4 порта 16 Гбит FC. Снятие крышки контроллера и демонтаж интерфейсной платы осуществляются без инструментов.

Под платой можно увидеть SSD-накопитель — это Sandisk X300s объёмом 64 ГБ в форм-факторе M.2. Он используется для загрузки встроенной ОС и сохранения содержимого кэш-памяти.

Lenovo Storage V3700 V2 XP SFF, контроллер со снятой крышкой

Интерфейсная плата на 4 порта 16 Гбит FC. Напомним, что существуют варианты на 4 порта 1 Гбит iSCSI RJ-45, SAS 3.0, 10 Гбит iSCSI/FCoE SFP+.

Lenovo Storage V3700 V2 XP SFF, интерфейсная плата 4x 16 Гбит Fibre Channel

В предоставленной нам для тестрования системе Lenovo V3700 V2 XP были установлены 8 дисков 1,2 ТБ 10 тыс. об/мин и два SSD 400 ГБ. СХД использует брендированные диски с собственной прошивкой (т. е. установить не-Lenovo диски не получится). Оригинальные производители дисков в данном случае — Seagate (модель ST1200MM0088) и HGST (хорошо себя зарекомендовавшие SSD серии 1600MM с ресурсом 10 DWPD). Вы могли заметить, что салазки имеют большой запас пространства по глубине. Это сделано для возможной установки т. н. SAS-интерпозера (платы, позволяющей превратить диск SATA в двухпортовый, что позволяет использовать такие диски с двухконтроллерными СХД), но IBM и Lenovo использовали в V3700 только диски SAS.

Lenovo Storage V3700 V2 XP SFF, диски 2,5″

Обзор СХД Lenovo V3700 V2 | Отличия от первого поколения

Рассмотрим подробнее отличия от первого поколения IBM/Lenovo V3700. Стоит добавить, что семейство V5000 (более производительные и функциональные СХД) тоже обновилось — появилась СХД V5030.

• Второе поколение поддерживает SAS 3.0 как для подключения дисков (диски SAS 3.0, экспандеры SAS 3.0 в самой СХД и дисковых полках), так и для подключения хостов. Максимальное количество портов SAS стало меньше на один, но по-прежнему велико (3 встроенных + 4 опциональных в первом поколении против 2 встроенных в V3700 V2 XP + 4 опциональных), но с учётом выросшей в 2 раза пропускной способности интерфейса, превышающей возможности самой СХД, это вряд ли можно считать недостатком.
• Появление 16 Гбит Fibre Channel вместо 8 Гбит
• Одно из самых важных — производительность, на которую влияет, прежде всего, обновление аппаратной платформы. Контроллеры получили в два раза больше памяти — 8 ГБ (с возможностью апгрейда до 16 ГБ для модели XP) вместо прежних 4/8 ГБ. Вместо Celeron G530T, который согласно презентации IBM, работал в энергосберегающем режиме появились новые процессоры Intel семейства Broadwell-DE, специально разработанные для встраиваемых систем — Pentium D1508 (2 ядра, 2,2 ГГц, Hyper-Threading) в V3700 V2 XP и модель без Hyper-Threading в обычном V3700 V2 (возможно, речь идёт о Pentium D1507).

  Производительность первого поколения V3700 была дополнительно ограничена программным путём. Для снятия ограничений предлагалось приобрести недешёвую опцию Turbo Performance. Сейчас вместо программного ограничения предложено две модели (обычная и XP) с разными процессорами. Но даже обычная модель второго поколения имеет существенно более высокую производительность в сравнении с первым поколением с активированным Turbo Performance (например, лимит при последовательном чтении вырос с 2,25 до 3,4 ГБ/с).

• Диски и полки расширения от первого поколения к V2 не подойдут, но программной совместимости уделено большое внимание. Во-первых, поддерживается удалённая репликация между любыми СХД IBM/Lenovo, использующими программный стек Spectrum Virtualize: V3700, V5000, V7000 и IBM SVC. Во-вторых, есть возможность быстрого переноса данных (миграции) по интерфейсу SAS с СХД V3700 первого поколения, V5000 и даже со старых DS3200 и DS3500.

Обзор СХД Lenovo V3700 V2 | Тестирование

Обзор СХД Lenovo V3700 V2 | Стенд

Конфигурация СХД:

• Lenovo Storage V3700 V2 XP SFF (6535-HC5)
• Память: 16 ГБ на контроллер
• Интерфейсная плата: 4x 16 Гбит FC
• 2x 400 ГБ SSD, 8x 1,2 ТБ 10 тыс. об/мин HDD
• Прошивка: 7.7.1.2

Конфигурация хоста:

• Процессор: Intel Xeon E5-2643 V4 (6 ядер, 3,4 ГГц)
• Оперативная память: 32 ГБ DDR RDIMM (4x 8 ГБ)
• Материнская плата: Supermicro X10SRI-F
• SAS HBA: Broadcom (Avago/LSI) 9300-8e, 8x SAS 3 (2x SFF-8644), прошивка P13
• ОС: Microsoft Windows Server 2012 R2, Linux CentOS 7
• Средства тестирования: FIO 2.15 x64

Имеющегося количества дисков явно недостаточно для проведения полноценного тестирования производительности. Мы можем наглядно продемонстрировать работу Easy Tier, изучить скорость работы с данными при случайном доступе к дискам (производительность двух быстрых SSD HGST 1600MM больше заявленных лимитов контроллера), и при различном доступе со 100% попаданием в кэш.

Обзор СХД Lenovo V3700 V2 | Подключение

Подключение хоста к СХД осуществлялось через 2-портовый SAS 3.0 HBA Avago 9300-8e — по одному разъёму x4 SAS (SFF-8644) на каждый контроллер. После настройки IP-адресов управления можно подключиться к web-интерфейсу или использовать CLI (со стандартным для всех СХД семейства Storwize и SVC программным стеком Spectrum Virtualize) через SSH. Собственно web-GUI здесь два: сервисный Lenovo Storage V3700 V2 Service Assistant Tool, служащий для первоначальной настройки и обслуживания СХД и основной. Интерфейс практически не отличается от первого поколения, все элементы на своих местах: основные счетчики производительности (полоса, IOPS, задержка) внизу, вкладки для настройки хостов, томов, репликации и т. п. слева.

Главная страница GUI

V3700 V2 поддерживает управление через Microsoft System Center Operations Manager. Интеграция с VMware vSphere также присутствует: есть соответствующий модуль для vCenter Site Recovery Manager и VASA Storage Provider для поддержки виртуальных томов (VVols).

Как и предыдущее поколение, Lenovo Storage V3700 V2 отличается простотой подключения. Для начала, нужно настроить MPIO (многопутевой ввод-вывод). В Windows Server это делается просто: добавляем поддержку MPIO, в оснастке MPIO включаем поддержку MPIO для устройств SAS (в данном случае мы подключаем СХД через SAS) и перезагружаемся. Затем в разделе Hosts добавляем хост по адресам всех подключённых к СХД портов (в данном случае их два). Затем следует установить DSM-модуль от Lenovo/IBM (Subsystem Device Driver Device Specific Module (SDDDSM)) — он необходим для корректной работы MPIO с учётом особенностей СХД.

После создания raid-групп (MDisk в терминологии IBM/Lenovo для СХД V-серии) и добавления из в пул, из него можно выделять объём под тома и подключать тома к хостам (т. н. маппинг). После подключения тома можно проверить политику ввода-вывода в Windows:

Свойства MPIO

Политика Round Robin with Subset и наличие путей со свойствами Active/Optimized и Active/Unoptimized свидетельствуют о подключении к СХД с использованием ALUA (Asymmetric Logical Unit Access). Обработкой ввода-вывода определённого тома занимается только один контроллер, второй контроллер работает со своими томами и может перехватить управление томами первого контроллера при выходе из строя или потере подключения к нему со стороны хоста. Ввод-вывод, предназначенный для томов “соседа”, контроллер пересылает ему через внутренний интерфейс, что увеличивает задержку. На скриншоте мы видим один оптимальный путь (через “свой” контроллер) и неоптимальный (через “чужой”). При штатной эксплуатации, с использованием MPIO и ALUA, все I/O идут по Optimized пути на нужный контроллер.

Подключение хоста с ОС Linux также требует правильной настройки многопутевого ввода-вывода — политики MPIO и таймаутов в файле /etc/multipath.conf (см. руководство к IBM V3700).

Обзор СХД Lenovo V3700 V2 | Дисковое пространство

Иерархия дискового пространства в V3700 V2 выглядит так:

• Из физических дисков собираются RAID-массивы — MDisk (managed disk)
• MDisk’и добавляются в пулы. Дисковый пул — классический способ виртуализации, при котором доступное дисковое пространство разбивается на блоки определённого размера (“экстенты”, от англ. extents), которые затем используются для создания томов (см. ниже).
• Из дисковых пулов выделяется пространство под тома, которые используются хостами.

В самом простом случае дисковый пул похож на RAID-0 — блоки пула равномерно распределены по всем его элементам. Но пул отличается от RAID-0 возможностью перераспределения блоков, что позволяет реализовать множество полезных функций:

• Блоки можно выделять томам не сразу, а лишь по мере необходимости (т. е. записи на них). Получаем функционал, известный как тонкое выделение ресурсов (Thin Provisioning). Lenovo V3700 V2 в сочетании с современными ОС поддерживает и обратный процесс — блоки с невалидными данными могут быть возвращены в пул (Space Reclamation).
• Блоки могут быть представлены ссылками на блоки другого тома — получаем снапшоты.
• В зависимости от частоты обращения к блокам можно перемещать данные с блоков, физически расположенных на медленных дисках (7200 об/мин) на более быстрые диски (например, SSD) — получаем многоуровневое хранение данных (Tiering).
• Наконец, при наличии достаточного свободного пространства, можно без прерывания доступа перемещать mdisk’и между пулами (при удалении mdisk’а из пула обеспечивается прозрачная миграция блоков на другие mdisk’и).

Обзор СХД Lenovo V3700 V2 | Работа Easy Tier

Для данного теста были создан том объёмом 1 ТБ в гибридном пуле, состоящем из двух MDisk’ов: RAID-1 из двух SSD и RAID-10 из 8 HDD. Перед тестом том заполнялся случайными данными (последовательная запись блоками 1 МиБ до заполнения тома), затем нагружался серией из 180 60-секундных раундов в следующем режиме:

• 100% чтение
• 100% случайный доступ
• размер блока: 4 КиБ
• размер области: 100 ГиБ
• режим работы FIO: планировщик windowsaio, direct=1, norandommap
• количество потоков: 6
• глубина очереди на поток: 16

В отличие от простого кэширования результат работы системы, использующей многоуровневое хранение данных, бывает сложно продемонстрировать при помощи синтетических тестов. Алгоритм, отвечающий за перемещение данных между уровнями хранения, может иметь множество особенностей. Во-первых, это критерии определения “горячих” данных для каждого уровня. Во-вторых — режим перемещения данных. Слишком частая миграция данных между уровнями хранения может негативно повлиять на производительность. Для решения этой проблемы есть различные способы — например, можно ограничить скорость перемещения и запускать процесс миграции через определённые интервалы времени.

В результате теста удалось получить классическую, хоть и недостаточно ярко выраженную, “ступеньку”: в какой-то момент алгоритм на основе статистики обращений (доступ осуществляется не по всему объёму тома, а лишь к первым 100 ГиБ, которые меньше размера быстрого яруса из SSD) перемещает все блоки на быстрый уровень — мы можем увидеть рост количества операций ввода-вывода в секунду (IOPS) вместе со снижением задержки. Помимо работы алгоритма многоуровневого хранения на данный тест влияет ещё и кэширование в оперативной памяти контроллера, но весь объём памяти (16 ГиБ) был существенно меньше тестируемой области.

Результат данного синтетического теста может показаться не очень впечатляющим (т. к. он не вполне соответствует алгоритму, который перемещает данные на основе 24-часовой статистики, а весь тест длился 3 часа), но изучать Easy Tier стоит на реальной нагрузке — и тут IBM, а теперь и Lenovo, предоставляет своим заказчикам отличный способ оценить целесообразность использования Easy Tier без дополнительных затрат. Помимо демонстрационного ключа в СХД на основе Spectrum Virtualize существует “режим оценки Easy Tier”, который позволяет собрать статистику дисковой активности определённого пула, которую в дальнейшем можно изучить при помощи утилиты Storage Tier Advisor Tool. К сожалению, возможность получения подробной информации о работе Easy Tier (например, распределение данных по уровням хранения для каждого тома) в GUI не реализована.

Обзор СХД Lenovo V3700 V2 | Задержка при доступе к дискам

Данный тест проводился на томе, в пуле которого был оставлен только RAID-1 из двух 400 ГБ SSD. Предварительная нагрузка — 2-кратная последовательная запись случайных данных по всему объёму тома. Основная нагрузка (25 раундов по 60 секунд, по пяти из которых в дальнейшем производилось определение выхода на установившееся состояние и усреднение данных):

• размер блока: 4 КиБ, 8 КиБ
• 100%, 70%, 0% чтение
• 100% случайный доступ
• размер области: полный объём тома
• режим работы FIO: планировщик windowsaio, direct=1, norandommap
• количество потоков: 1, 2
• глубина очереди на поток: 1, 2, 4, 8, 16, 32

Обзор СХД Lenovo V3700 V2 | Задержка при случайном доступе и 100% попадании в кэш

Условия данного теста соответствуют предыдущему, за исключением объёма рабочей области — 1 ГиБ. В настройках томов на Lenovo Storage V3700 V2 по умолчанию включено кэширование записи. Попадание запросов в кэш легко увидеть на вкладке мониторинга производительности по отсутствию обращений к MDisk’ам:

Параметры теста:

• размер блока: 4 КиБ
• 100%, 0% чтение
• 100% случайный доступ
• размер области: 1 ГиБ
• режим работы FIO: планировщик windowsaio, direct=1, norandommap
• количество потоков: 1, 2, 4
• глубина очереди на поток: 1, 2, 4, 8, 16, 32

Lenovo Storage V3700 V2 может обеспечить задержку на чтение менее 100 мкс (на запись — менее 200 мкс) при минимальной нагрузке, и среднее значение остаётся в пределах 2 мс даже при большой глубине очереди.

Обратите внимание на графики 99,9 и 99,99 перцентилей задержки. Предельные значения задержки с увеличением нагрузки растут до приемлемых уровней, не превышая в большинстве случаев порога в 25 мс.

Обзор СХД Lenovo V3700 V2 | Последовательный доступ на чтение/запись в кэш

При определении скорости последовательного доступа к кэш-памяти основным условием было значение средней задержки, не превышающее 10 мс.

Параметры теста:

• размер блока: 1 МиБ
• 100%, 0% чтение
• 100% последовательный доступ
• размер области: 1 ГиБ
• режим работы FIO: планировщик windowsaio, direct=1, norandommap
• количество потоков: 4
• глубина очереди на поток: 1, 2, 4, 8

Пропускная способность на чтение составила 3219 МиБ/с (3,14 ГиБ/с) при задержке 9,9 мс. На запись — 1554,9 МиБ/с (1,52 ГиБ/с) при задержке 9,8 мс. Результат на чтение соответствует заявленным характеристикам (производитель указывает производительность двух контроллеров), а на запись — даже существенно выше (заявлено 1,7 ГиБ/с для двух контроллеров, но при доступе к дискам, а не для 100% попадания в кэш).

Обзор СХД Lenovo V3700 V2 | Заключение

Первая СХД серии V3700 пользовалась заслуженной популярностью благодаря низкой цене, большому количеству встроенных портов SAS, простоте настройки и хорошему сервису. Обновлённый вариант, скорее всего, тоже ждёт успех. Новая аппаратная платформа принесла ожидаемый прирост производительности, а наличие современных интерфейсов позволит Lenovo Storage V3700 V2 оставаться на рынке систем хранения данных начального уровня в течение, как минимум, следующих трёх-четырёх лет. Разделение V3700 V2 на две модификации выглядит вполне оправданным при условии наличия привлекательной цены на младшую модель — для многих применений её производительности будет вполне достаточно, а два дополнительных порта SAS не нужны.

Плюсы:

• До двенадцати хост-портов SAS на систему
• Унифицированная программная платформа со всеми другими СХД IBM и Lenovo V-серии
• Приемлемая для СХД начального уровня производительность
• Простота подключения и настройки

Минусы:

• Хотелось бы видеть отображение работы Easy Tier в GUI