QNAP ES1640dc v2: обзор системы хранения данных второго поколения – THG.RU

Обзор QNAP ES1640dc v2 | Введение

В 2017 году компания QNAP представила второе поколение системы хранения данных ES1640dc, своей корпоративной отказоустойчивой СХД на базе ZFS. Основное отличие QNAP ES1640dc v2 от системы первого поколения — 12-гигабитный SAS-бэкенд. В данном обзоре мы рассмотрим ключевые архитектурные особенности ES1640dc v2 и его отличия от других СХД корпоративного уровня производства QNAP.

Компания QNAP у многих клиентов ассоциируется с устройствами NAS для домашних пользователей и малого бизнеса. Уже несколько лет QNAP выпускает высокопроизводительные системы хранения данных в стоечном исполнении. Появление модели ES1640dc является важным этапом в развитии компании, это первая система хранения данных корпоративного класса повышенной надёжности. QNAP ES1640dc v2 — двухконтроллерная СХД в корпусе высотой 3 юнита, обеспечивающая файловый и блочный доступ. В саму СХД можно установить до 16 дисков 3,5” или 2,5”, масштабирование осуществляется подключением до семи аналогичных по габаритам дисковых полок (модификация EJ1600 v2). Аппаратная начинка контроллеров для СХД этого класса является достаточно производительной — 6-ядерный процессор Intel Xeon E5-2440 V2, 32/64 гигабайт основной оперативной памяти и 16 гигабайт NVRAM с защитой от потери данных при отключении питания, эта область памяти используется для кэширования операций записи.

Из протоколов блочного доступа QNAP ES1640dc v2 поддерживает только iSCSI, так что большого выбора портов для подключения хостов тут не нужно. В штатной конфигурации доступно большое количество 10-гигабитных портов Ethernet — четыре с разъёмами SFP+ и два RJ-45 (10GBASE-T) на каждом из контроллеров. Плату с портами RJ-45 можно заменить на 40-гигабитный Ethernet.

QNAP ES1640dc v2 позиционируется как гибридная СХД начального уровня для построения файловых серверов, резервного копирования и виртуализации на базе Microsoft Hyper-V, VMware vSphere и KVM.

Контроллер в форм-факторе SBB с трёхвентиляторным модулем охлаждения.

Архитектура систем хранения данных корпоративного уровня обязана обеспечивать высокую доступность. QNAP ES1640dc v2 имеет для этого всё необходимое: два контроллера, два блока питания и два модуля охлаждения. Охлаждение выполнено в виде отдельных трёхвентиляторных модулей на каждый контроллер. Замена контроллеров, дисков, блоков питания возможна «на горячую», без остановки работы системы.

Как и другие двухконтроллерные СХД, для подключения к дискам QNAP ES1640dc v2 использует интерфейс SAS. Каждый диск SAS имеет два физических порта, подключённых к разным SAS-экспандерам, к которым, в свою очередь, подключены SAS-адаптеры (HBA) на контроллерах. Таким образом, каждый контроллер имеет доступ ко всем дискам системы. Подключение через два порта и два экспандера обеспечивает отказоустойчивое подключение дисковых полок.

Один из модулей оперативной памяти объёмом 16 ГБ в контроллере снабжён защитой от потери данных при аварийном отключении питания. Данная область памяти, NVRAM (Non Volatile Random Access Memory), используется для кэширования операций записи (точнее — в качестве SLOG для файловой системы ZFS, о которой мы расскажем ниже). Содержимое NVRAM зеркалируется в NVRAM соседнего контроллера. При нештатном отключении питания данные из NVRAM копируются на флеш-накопитель форм-фактора M.2, питание на время копирования обеспечивает блок батарейной защиты.

Обзор QNAP ES1640dc v2 | Основные характеристики

Обзор QNAP ES1640dc v2 | Программное обеспечение

Обзор QNAP ES1640dc v2 | Операционная система QNAP QES

Главной особенностью и преимуществом QNAP ES1640dc v2 над большинством СХД аналогичного класса является выбор встроенного программного обеспечения. Операционная система QNAP QES представляет собой разработку на базе FreeBSD, известной ОС с открытым исходным кодом, в которую были добавлены механизмы кластеризации, интерфейс удалённого управления и многочисленные доработки стека хранения данных, обеспечивающие в числе прочего поддержку VAAI и ODX. QES, помимо ES1640dc v2, используется в TES-1885U и TES-3085U, но эти СХД имеют только один контроллер. Первый запуск ОС происходит с накопителей SATA DOM. При конфигурировании дискового пространства QES устанавливается на отказоустойчивый пул, занимая незначительную часть пользовательского пространства.

Для обеспечения отказоустойчивости на уровне дисков, защиты целостности данных, работы снапшотов и репликации используется файловая система ZFS. Использование ZFS — одно из основных преимуществ QNAP ES1640dc v2. При появлении любых проблем (например, при полном выходе из строя СХД и отсутствии актуальных резервных копий) пользователь сможет получить доступ к данным, подключив диски в обычный сервер с операционной системой, поддерживающей ZFS.

Для читателей, не знакомых с ZFS, стоит рассказать о ней подробнее. ZFS — гибридная файловая система, объединяющая собственно ФС и менеджер логических томов. Традиционная архитектура разделяет хранение данных на два уровня. На блочном уровне происходит управление дисковым пространством: организация томов RAID для обеспечения производительности и отказоустойчивости, объединение дисков или томов в пулы (для повышения удобства управления дисковым пространством), расширенный функционал (тонкое выделение ресурсов, снапшоты, репликация, ярусное хранение данных и т. д.). Размещение файлов осуществляется на уровне файловой системы, никак не связанной с блочным уровнем. Достоинством такого подхода является сравнительная простота реализации и наращивания функционала. Да и файловый уровень во многих системах хранения данных вовсе не используется. Недостатки двухуровневой архитектуры связаны с тем, что блочный и файловый уровень «не знают» о том, как именно размещаются данные в другом слое. Например, при перестроении RAID система вынуждена полностью считывать данные со всех дисков массива, не делая различий между данными и свободным пространством, существующим на уровне файловой системы. При использовании ZFS перестроение массива может быть значительно ускорено при неполной утилизации дискового пространства — считываются и копируются только реальные данные.

Другой пример преимущества работы ZFS с массивами — запись в массивы с использованием контрольных сумм на примере RAID-Z (аналог RAID-5). Основным недостатком традиционного RAID-5 является производительность записи. Пространство массива RAID-5 разбито на части фиксированного размера, страйпы. Их размер является фиксированным, он задаётся на этапе создания массива. Запись небольшой порции данных, не превышающей размер так называемого полного страйпа (размер полного страйпа = страйп ? (N ? 1), где N — количество дисков), приводит к необходимости выполнения нескольких дисковых операций для того, чтобы получить корректную контрольную сумму: прочитать страйп с данными, прочитать страйп с контрольной суммой, записать новый страйп с данными, записать новый страйп с контрольной суммой. Таким образом, для выполнения одной записи может понадобиться четыре дисковых операции. ZFS преодолевает эту проблему, используя переменный размер блока и стараясь по-возможности записывать только полный страйп. Во-вторых, ZFS не привязан к линейному расположению данных и для оптимизации записи в RAID-Z(Z2/Z3) использует механизм copy-on-write (копирование при записи) вместо модификации больших страйпов. Также благодаря copy-on-write ZFS обладает широкими возможностями по созданию снапшотов, мгновенных снимков состояния файловой системы.

Ещё одна возможность ZFS — предотвращение скрытого повреждения данных. Опасность повреждения данных была актуальна ещё в далёком 2005 году, когда была анонсирована ZFS. Для дисков корпоративного класса со скоростью вращения шпинделя 7200 об/мин декларируется уровень невосстановимых ошибок чтения (UER, uncorrectable error rate) в 1?10-15. Вероятность получить повреждённый бит при чтении 10-терабайтного диска составляет 8% (8?10?1012/1015). Перестроение массива RAID-5 из 12 дисков потребует полного чтения данных с 11 дисков, и вероятность повреждения данных в этом случае достигает уже 60%: 1?(1?0,08)11. Другая проблема — защита целостности данных в RAID-1 или 10, массивах, не использующих контрольные суммы. Появление таких механизмов дополнительной сквозной защиты целостности, как T10 DIF лишь частично решает эту проблему, так как не всё оборудование и программное обеспечение может использовать T10 DIF. В ZFS проблема целостности решается радикальным образом. Для каждого блока вычисляется контрольная сумма длиной 256 бит, которая хранится не рядом с защищаемыми данными, а в родительском блоке, что уменьшает вероятность одновременного повреждения данных и контрольной суммы. При каждой операции чтения выполнятся сравнение прочитанных данных с контрольной суммой.

ZFS может использовать сжатие и дедупликацию данных для экономии дискового пространства. С дедупликацией следует быть осторожным, так как она требует большого объёма оперативной памяти — от 1 до 5 ГБ на каждый терабайт дискового пространства. Для определённых сценариев дедупликация жизненно необходима — современное решение по виртуализации десктопов (VDI) сложно представить без высокопроизводительного all-flash массива, использующего дедупликацию для эффективного хранения нескольких сотен образов операционных систем. Пример реализации решения для VDI на базе VMware Horizon View на 500 рабочих мест QNAP приводит в одном из своих документов.

Конечно, у ZFS есть свои недостатки. Повышенные требования к вычислительным ресурсам сейчас уже не мешают создавать такие относительно компактные системы, как QNAP ES1640dc v2. Существуют определённые сложности с наращиванием дискового пространства. Проблема связана с иерархией хранения данных в ZFS. Пул состоит из так называемых «виртуальных устройств» (virtual device — vdev). В качестве vdev может выступать либо одиночный диск, либо массив (зеркало или RAID-Z1/Z2/Z3). Для сохранения сбалансированной конфигурации в пуле, состоящем, например, из 6-дискового RAID-Z придётся либо добавить в пул ещё один 6-дисковый массив, либо последовательно заменить в нём диски на другие, большего объёма. Похожие сложности есть и в Storage Spaces, их стоит учитывать при планировании конфигурации.

Обзор QNAP ES1640dc v2 | Поддержка стандартов

Любая система хранения данных, позиционируемая в качестве корпоративной, помимо тщательно продуманной аппаратной платформы и программного обеспечения, должна иметь определённый набор сертификаций, свидетельствующих о совместимости с со сторонними продуктами. QNAP ES1640dc v2 прошёл официальное тестирование на совместимость с Microsoft Windows Server 2016, поддерживает технологию ODX и управление через Microsoft SCVMM. С поддержкой продуктов VMware, ведущего разработчика решений для виртуализации всё также хорошо: совместимость с VMware 6, поддержка vCenter Site Recovery Manager и технологии VAAI. Поддерживаются и открытые технологии виртуализации — KVM и облачная платформа OpenStack. Помимо обычного OpenStack поддерживается облачная платформа HPE Helion.

Обзор QNAP ES1640dc v2 | Заключение

Первая модификация QNAP ES1640dc была достаточно удачным продуктом, модернизированная ES1640dc v2 также будет пользоваться успехом среди клиентов, которым необходимо надёжная, но при этом не слишком дорогая система хранения данных с широким функционалом. Переход на SAS3 с пропускной способностью 12 гигабит на линию снял потенциальное ограничение производительности для конфигураций с большим количеством дисков. Компания QNAP сделала правильный выбор, решив использовать FreeBSD и ZFS в качестве основы для своей программной платформы. ZFS требовательна к ресурсам, но современный процессор и достаточно большой объём NVRAM позволяют добиться хорошего уровня производительности, а открытость и надёжность этой файловой системы могут послужить в качестве основного довода в пользу QNAP ES1640dc v2 при выборе бюджетной СХД корпоративного класса.

Задняя панель СХД QNAP ES1640dc v2. Видны блоки питания, батарейные модули, порты Ethernet и SAS.

QNAP предлагает единственный форм-фактор СХД и дисковых полок (3 юнита и 16 дисков) и только iSCSI в качестве интерфейса блочного доступа. FC/FCoE, SAS и различные протоколы блочного доступа, работающие поверх Infiniband, не поддерживаются. Но в таком виде СХД соответствует потребностям 90% клиентов, которые остановят свой выбор на ES1640dc v2 благодаря отличной производительности и функционалу при сравнительно небольшой цене. Дополнительный фактор, влияющий на цену — QNAP не заставляет клиентов покупать брендированные диски, подойдут любые HDD и SSD с интерфейсом SAS из списка совместимости. Большим плюсом для современного продукта является открытость, существенно упрощающая задачу восстановления данных — ES1640dc v2 использует файловую систему ZFS, поддержка которой есть во многих операционных системах.