Обзор QNAP ES1640dc v2 | Введение
В 2017 году компания QNAP представила второе поколение системы хранения данных ES1640dc, своей корпоративной отказоустойчивой СХД на базе ZFS. Основное отличие QNAP ES1640dc v2 от системы первого поколения — 12-гигабитный SAS-бэкенд. В данном обзоре мы рассмотрим ключевые архитектурные особенности ES1640dc v2 и его отличия от других СХД корпоративного уровня производства QNAP.
Компания QNAP у многих клиентов ассоциируется с устройствами NAS для домашних пользователей и малого бизнеса. Уже несколько лет QNAP выпускает высокопроизводительные системы хранения данных в стоечном исполнении. Появление модели ES1640dc является важным этапом в развитии компании, это первая система хранения данных корпоративного класса повышенной надёжности. QNAP ES1640dc v2 — двухконтроллерная СХД в корпусе высотой 3 юнита, обеспечивающая файловый и блочный доступ. В саму СХД можно установить до 16 дисков 3,5” или 2,5”, масштабирование осуществляется подключением до семи аналогичных по габаритам дисковых полок (модификация EJ1600 v2). Аппаратная начинка контроллеров для СХД этого класса является достаточно производительной — 6-ядерный процессор Intel Xeon E5-2440 V2, 32/64 гигабайт основной оперативной памяти и 16 гигабайт NVRAM с защитой от потери данных при отключении питания, эта область памяти используется для кэширования операций записи.
Из протоколов блочного доступа QNAP ES1640dc v2 поддерживает только iSCSI, так что большого выбора портов для подключения хостов тут не нужно. В штатной конфигурации доступно большое количество 10-гигабитных портов Ethernet — четыре с разъёмами SFP+ и два RJ-45 (10GBASE-T) на каждом из контроллеров. Плату с портами RJ-45 можно заменить на 40-гигабитный Ethernet.
QNAP ES1640dc v2 позиционируется как гибридная СХД начального уровня для построения файловых серверов, резервного копирования и виртуализации на базе Microsoft Hyper-V, VMware vSphere и KVM.
Контроллер в форм-факторе SBB с трёхвентиляторным модулем охлаждения.
Архитектура систем хранения данных корпоративного уровня обязана обеспечивать высокую доступность. QNAP ES1640dc v2 имеет для этого всё необходимое: два контроллера, два блока питания и два модуля охлаждения. Охлаждение выполнено в виде отдельных трёхвентиляторных модулей на каждый контроллер. Замена контроллеров, дисков, блоков питания возможна «на горячую», без остановки работы системы.
Как и другие двухконтроллерные СХД, для подключения к дискам QNAP ES1640dc v2 использует интерфейс SAS. Каждый диск SAS имеет два физических порта, подключённых к разным SAS-экспандерам, к которым, в свою очередь, подключены SAS-адаптеры (HBA) на контроллерах. Таким образом, каждый контроллер имеет доступ ко всем дискам системы. Подключение через два порта и два экспандера обеспечивает отказоустойчивое подключение дисковых полок.
Один из модулей оперативной памяти объёмом 16 ГБ в контроллере снабжён защитой от потери данных при аварийном отключении питания. Данная область памяти, NVRAM (Non Volatile Random Access Memory), используется для кэширования операций записи (точнее — в качестве SLOG для файловой системы ZFS, о которой мы расскажем ниже). Содержимое NVRAM зеркалируется в NVRAM соседнего контроллера. При нештатном отключении питания данные из NVRAM копируются на флеш-накопитель форм-фактора M.2, питание на время копирования обеспечивает блок батарейной защиты.
Обзор QNAP ES1640dc v2 | Основные характеристики
Форм-фактор | монтаж в стойку, 3U |
Количество контроллеров | 2 |
Процессор | 6-ядерный Intel Xeon E5-2440 V2 (2,2 ГГц) |
Память | Тип памяти: DDR3 RDIMM Слоты: два слота под основную память, один под NVRAM для кэширования записи 32/64 ГБ основой памяти + 16 ГБ NVRAM на контроллер |
Флеш-память | 2 ГБ DOM |
USB | 2 порта USB 3.0 (для разработки/отладки) |
Количество дисков | 16 х 3,5”/2,5” SAS 12/6 Гбит, максимум — 128 дисков при подключении 7 дополнительных дисковых полок |
Максимальный объём | 160 ТБ (16 х 10 ТБ), максимум — 1 петабайт |
Порты управления | 10/100/1000 Мбит Ethernet (на контроллер) |
Порты данных | 4 х SFP+ (Intel XL710-AM1) и 2 х RJ-45 (LAN-10G2T-X550) на контроллер |
Слоты PCIe | PCIe 3.0 х8: предустановлен контроллер LAN-10G2T-X550 NIC (2 х 10GbE RJ45), возможна замена на 40GbE PCIe 2.0 х4: предустановлен SAS HBA |
Габариты | 618х446,2х132 (ГхШхВ) |
Вес | 26,75 кг (без дисков) 36,94 кг (с упаковкой и аксессуарами) |
Питание | Отказоустойчивое питание, два БП по 770 Вт |
Охлаждение | Модуль с горячей заменой, три вентилятора 60х60х38 мм, 15000 об/мин (на контроллер) |
Ссылки | Описание QNAP ES1640dc v2 на сайте производителя Спецификации QNAP ES1640dc v2 на сайте производителя |
Обзор QNAP ES1640dc v2 | Программное обеспечение
Операционная система | QES (основана на FreeBSD) |
Отказоустойчивость | Два контроллера, режим работы active/active или active/stanby для NAS и iSCSI Два SAS-экспандера для отказоусточивого подключения дисковых полок Автоматическое переключение на другой контроллер в случае обнаружения аппаратных сбоев Резервирование портов управления Обратное переключение после устранения сбоев Поддержка MPIO и ALUA для iSCSI Поддержка агрегации портов отказоустойчивости NAS Поддержка режима непрерывной отказоустойчивости для SMB3 ( Continuous Availability) |
Поддерживаемые клиентские ОС | Windows 7 (32/64-бит), Windows 8 (32/64-бит), Windows 10 (32/64-бит, Windows Server 2008 R2/2012/2012 R2/2016 Apple Mac OS X Linux, Unix |
Управление правами доступа | Экспорт/импорт пользователей Пользовательские квоты Локальное управление правами для CIFS и FTP Контроль доступа к подкаталогам для CIFS, FTP и File Station |
Поддержка авторизации через домен | Поддержка Microsoft Active Directory Клиент LDAP Доменная авторизация для CIFS, FTP и File Station |
Администрирование | Многооконный, многозадачный графический интерфейс Управление охлаждением SNMP (v2 и v3) Монитор ресурсов Клиент Syslog Сохранение/восстановление системных настроек Интерфейс командной строки (CLI) |
Файловый сервер | CIFS, NFS, FTP Доступ к файлам с Windows, Linux/Unix, Mac Windows ACL Расширенные права доступа для CIFS и FTP |
Безопасность | Контроль доступа через сеть: SSH, HTTP(S), FTP, CIFS/SMB Контроль доступа к CIFS/SMB на уровне хостов Импортируемые SSL-сертификаты Уведомления через e-mail и SMS |
Управление хранением | Мониторинг свободного дискового пространства Пулы хранения с RAID 0, 1, 5, 6, 10, 50, 60, RAID-TP (тройное зеркало) Назначение hot-spare дисков Кэширование чтения на SSD Кэширование записи в NVRAM (с батарейной защитой) Тонкое выделение ресурсов (thin provisioning) для файловых ресурсов и томов iSCSI Снапшоты: для файловых ресурсов и томов iSCSI, клонирование снапшотов, агенты для Microsoft VSS и Vmware Поддержка сжатия, шифрования, дедупликации для файловых ресурсов и томов iSCSI |
Резервное копирование | Сервер Rsync Сервер Snapsync Резерное копирование по расписанию Снапшоты для Rsync Резервное копирование настольных ОС при помощи QNAP NetBak Replicator for Windows Поддержка стороннего ПО: Veeam Backup & Replication, Acronis True Image, Arcserve Backup, EMC2 Retrospect, Symantec Backup Exec и др. |
Обзор QNAP ES1640dc v2 | Операционная система QNAP QES
Главной особенностью и преимуществом QNAP ES1640dc v2 над большинством СХД аналогичного класса является выбор встроенного программного обеспечения. Операционная система QNAP QES представляет собой разработку на базе FreeBSD, известной ОС с открытым исходным кодом, в которую были добавлены механизмы кластеризации, интерфейс удалённого управления и многочисленные доработки стека хранения данных, обеспечивающие в числе прочего поддержку VAAI и ODX. QES, помимо ES1640dc v2, используется в TES-1885U и TES-3085U, но эти СХД имеют только один контроллер. Первый запуск ОС происходит с накопителей SATA DOM. При конфигурировании дискового пространства QES устанавливается на отказоустойчивый пул, занимая незначительную часть пользовательского пространства.
Для обеспечения отказоустойчивости на уровне дисков, защиты целостности данных, работы снапшотов и репликации используется файловая система ZFS. Использование ZFS — одно из основных преимуществ QNAP ES1640dc v2. При появлении любых проблем (например, при полном выходе из строя СХД и отсутствии актуальных резервных копий) пользователь сможет получить доступ к данным, подключив диски в обычный сервер с операционной системой, поддерживающей ZFS.
Для читателей, не знакомых с ZFS, стоит рассказать о ней подробнее. ZFS — гибридная файловая система, объединяющая собственно ФС и менеджер логических томов. Традиционная архитектура разделяет хранение данных на два уровня. На блочном уровне происходит управление дисковым пространством: организация томов RAID для обеспечения производительности и отказоустойчивости, объединение дисков или томов в пулы (для повышения удобства управления дисковым пространством), расширенный функционал (тонкое выделение ресурсов, снапшоты, репликация, ярусное хранение данных и т. д.). Размещение файлов осуществляется на уровне файловой системы, никак не связанной с блочным уровнем. Достоинством такого подхода является сравнительная простота реализации и наращивания функционала. Да и файловый уровень во многих системах хранения данных вовсе не используется. Недостатки двухуровневой архитектуры связаны с тем, что блочный и файловый уровень «не знают» о том, как именно размещаются данные в другом слое. Например, при перестроении RAID система вынуждена полностью считывать данные со всех дисков массива, не делая различий между данными и свободным пространством, существующим на уровне файловой системы. При использовании ZFS перестроение массива может быть значительно ускорено при неполной утилизации дискового пространства — считываются и копируются только реальные данные.
Другой пример преимущества работы ZFS с массивами — запись в массивы с использованием контрольных сумм на примере RAID-Z (аналог RAID-5). Основным недостатком традиционного RAID-5 является производительность записи. Пространство массива RAID-5 разбито на части фиксированного размера, страйпы. Их размер является фиксированным, он задаётся на этапе создания массива. Запись небольшой порции данных, не превышающей размер так называемого полного страйпа (размер полного страйпа = страйп ? (N ? 1), где N — количество дисков), приводит к необходимости выполнения нескольких дисковых операций для того, чтобы получить корректную контрольную сумму: прочитать страйп с данными, прочитать страйп с контрольной суммой, записать новый страйп с данными, записать новый страйп с контрольной суммой. Таким образом, для выполнения одной записи может понадобиться четыре дисковых операции. ZFS преодолевает эту проблему, используя переменный размер блока и стараясь по-возможности записывать только полный страйп. Во-вторых, ZFS не привязан к линейному расположению данных и для оптимизации записи в RAID-Z(Z2/Z3) использует механизм copy-on-write (копирование при записи) вместо модификации больших страйпов. Также благодаря copy-on-write ZFS обладает широкими возможностями по созданию снапшотов, мгновенных снимков состояния файловой системы.
Ещё одна возможность ZFS — предотвращение скрытого повреждения данных. Опасность повреждения данных была актуальна ещё в далёком 2005 году, когда была анонсирована ZFS. Для дисков корпоративного класса со скоростью вращения шпинделя 7200 об/мин декларируется уровень невосстановимых ошибок чтения (UER, uncorrectable error rate) в 1?10-15. Вероятность получить повреждённый бит при чтении 10-терабайтного диска составляет 8% (8?10?1012/1015). Перестроение массива RAID-5 из 12 дисков потребует полного чтения данных с 11 дисков, и вероятность повреждения данных в этом случае достигает уже 60%: 1?(1?0,08)11. Другая проблема — защита целостности данных в RAID-1 или 10, массивах, не использующих контрольные суммы. Появление таких механизмов дополнительной сквозной защиты целостности, как T10 DIF лишь частично решает эту проблему, так как не всё оборудование и программное обеспечение может использовать T10 DIF. В ZFS проблема целостности решается радикальным образом. Для каждого блока вычисляется контрольная сумма длиной 256 бит, которая хранится не рядом с защищаемыми данными, а в родительском блоке, что уменьшает вероятность одновременного повреждения данных и контрольной суммы. При каждой операции чтения выполнятся сравнение прочитанных данных с контрольной суммой.
ZFS может использовать сжатие и дедупликацию данных для экономии дискового пространства. С дедупликацией следует быть осторожным, так как она требует большого объёма оперативной памяти — от 1 до 5 ГБ на каждый терабайт дискового пространства. Для определённых сценариев дедупликация жизненно необходима — современное решение по виртуализации десктопов (VDI) сложно представить без высокопроизводительного all-flash массива, использующего дедупликацию для эффективного хранения нескольких сотен образов операционных систем. Пример реализации решения для VDI на базе VMware Horizon View на 500 рабочих мест QNAP приводит в одном из своих документов.
Конечно, у ZFS есть свои недостатки. Повышенные требования к вычислительным ресурсам сейчас уже не мешают создавать такие относительно компактные системы, как QNAP ES1640dc v2. Существуют определённые сложности с наращиванием дискового пространства. Проблема связана с иерархией хранения данных в ZFS. Пул состоит из так называемых «виртуальных устройств» (virtual device — vdev). В качестве vdev может выступать либо одиночный диск, либо массив (зеркало или RAID-Z1/Z2/Z3). Для сохранения сбалансированной конфигурации в пуле, состоящем, например, из 6-дискового RAID-Z придётся либо добавить в пул ещё один 6-дисковый массив, либо последовательно заменить в нём диски на другие, большего объёма. Похожие сложности есть и в Storage Spaces, их стоит учитывать при планировании конфигурации.
Обзор QNAP ES1640dc v2 | Поддержка стандартов
Любая система хранения данных, позиционируемая в качестве корпоративной, помимо тщательно продуманной аппаратной платформы и программного обеспечения, должна иметь определённый набор сертификаций, свидетельствующих о совместимости с со сторонними продуктами. QNAP ES1640dc v2 прошёл официальное тестирование на совместимость с Microsoft Windows Server 2016, поддерживает технологию ODX и управление через Microsoft SCVMM. С поддержкой продуктов VMware, ведущего разработчика решений для виртуализации всё также хорошо: совместимость с VMware 6, поддержка vCenter Site Recovery Manager и технологии VAAI. Поддерживаются и открытые технологии виртуализации — KVM и облачная платформа OpenStack. Помимо обычного OpenStack поддерживается облачная платформа HPE Helion.
Обзор QNAP ES1640dc v2 | Заключение
Первая модификация QNAP ES1640dc была достаточно удачным продуктом, модернизированная ES1640dc v2 также будет пользоваться успехом среди клиентов, которым необходимо надёжная, но при этом не слишком дорогая система хранения данных с широким функционалом. Переход на SAS3 с пропускной способностью 12 гигабит на линию снял потенциальное ограничение производительности для конфигураций с большим количеством дисков. Компания QNAP сделала правильный выбор, решив использовать FreeBSD и ZFS в качестве основы для своей программной платформы. ZFS требовательна к ресурсам, но современный процессор и достаточно большой объём NVRAM позволяют добиться хорошего уровня производительности, а открытость и надёжность этой файловой системы могут послужить в качестве основного довода в пользу QNAP ES1640dc v2 при выборе бюджетной СХД корпоративного класса.
Задняя панель СХД QNAP ES1640dc v2. Видны блоки питания, батарейные модули, порты Ethernet и SAS.
QNAP предлагает единственный форм-фактор СХД и дисковых полок (3 юнита и 16 дисков) и только iSCSI в качестве интерфейса блочного доступа. FC/FCoE, SAS и различные протоколы блочного доступа, работающие поверх Infiniband, не поддерживаются. Но в таком виде СХД соответствует потребностям 90% клиентов, которые остановят свой выбор на ES1640dc v2 благодаря отличной производительности и функционалу при сравнительно небольшой цене. Дополнительный фактор, влияющий на цену — QNAP не заставляет клиентов покупать брендированные диски, подойдут любые HDD и SSD с интерфейсом SAS из списка совместимости. Большим плюсом для современного продукта является открытость, существенно упрощающая задачу восстановления данных — ES1640dc v2 использует файловую систему ZFS, поддержка которой есть во многих операционных системах.