RAID-контроллеры SAS/SATA: тест трёх моделей для PCI Express – THG.RU

Введение

Честно говоря, обзоры RAID-контроллеров не являются самыми читаемыми, особенно среди тех, кто далёк от темы ИТ. Однако RAID-массивы являются платформой практически для любого сервера или рабочей станции, да и список доступных контроллеров для массового рынка впечатляет. Мы уже тестировали четыре 8-портовых контроллера RAID в сентябре прошлого года, и с тех пор мы получили ещё три модели. Посмотрим, как контроллеры от AMCC, Areca и LSI Corporation сравнятся с моделями Adaptec, Atto, ICP и Ciprico/Raidcore.

RAID-контроллеры с четырьмя-восемью портами SAS или SATA относятся к начальному уровню. Они обычно продаются по доступным ценам, довольно гибкие и при этом обеспечивают достаточную производительность для многих распространённых приложений среднего и малого бизнеса.

SAS-контроллеры более гибкие, чем продукты только-SATA, поскольку к подобному контроллеру можно подключить жёсткие диски SAS и SATA, а SATA-контроллеры могут работать только с SATA-винчестерами. По этой причине SAS-контроллеры часто называют унифицированными (Unified Serial Controller), и они обычно поддерживают функции управления предшественников SCSI. В результате можно подключать как высокопроизводительные жёсткие диски SAS, так и ёмкие SATA к одному контроллеру.

Замена параллельной шины SCSI последовательным интерфейсом “точка-точка” SAS/SATA облегчила создание и поддержку массивов RAID с физической точки зрения: кабели SAS и SATA состоят из небольшого числа проводов, поэтому они дешевле и надёжнее, чем шлейфы SCSI из 68 проводов. Да и интерфейс SAS/SATA предотвратил потенциальное “узкое место”: в случае такой параллельной шины, как Ultra320 SCSI, суммарная пропускная способность 320 Мбайт/с разделяется между всеми устройствами, а у SATA/300 или SAS она составляет 300 Мбайт/с для каждого устройства.

В сегменте RAID-контроллеров для массового рынка сегодня работает много производителей. Adaptec и LSI Corporation известны больше других, поскольку две этих компании стали экспертами в области организации хранилищ ещё в бизнес-секторе. Такие производители, как ICP и AMCC/3Ware, тоже существуют довольно давно. Raidcore немало потрясла рынок, выпустив наиболее гибкое RAID-решение. Areca и Atto тоже пытаются закрепиться на этом рынке. Но какая технология победит?

SAS и SATA под одним зонтиком

SAS (слева) против SATA: разъём SAS цельный, у него нет зазора между контактами данных (слева) и питания.

Когда интерфейсы накопителей IDE (Integrated Drive Electronics) и SCSI (Small Computer System Interface) широко использовались, IDE считался медленным и дешёвым, а SCSI – дорогим и непомерно быстрым. Первый применялся в домашних и корпоративных ПК, а SCSI стал стандартом подсистем хранения серверов и рабочих станций. Но не только: ещё и такой высокоскоростной периферии, как high-end сканеры. Потребительские материнские платы содержали IDE-контроллер на основе стандарта ATA с двумя раздельными каналами, которые поддерживали по два устройства каждый.

Стандарты ATA начались с ATA-1 с пропускной способностью 8,3 Мбайт/с в 1989 году и закончились на 133 Мбайт/с у UltraATA/133 ATA-7 (2005 год). Первые стандарты ATA имели некоторые проблемы с совместимостью, поскольку два винчестера не всегда надёжно работали вместе на одном канале в конфигурации master/slave. SCSI, с другой стороны, всегда был более надёжным интерфейсом, хотя и более сложным в настройке. SCSI требует терминирования шины, чтобы предотвратить отражение сигнала, а для каждого устройства пользователь должен задать свой SCSI ID. Часто использовался механизм автоматической конфигурации SCAM (SCSI Configured Automatically), но он так и не стал успешным. В итоге всем пользователям с небольшим бюджетом приходилось выбирать винчестеры IDE/ATA, а в корпоративном сегменте стандартом стал SCSI из-за надёжности и производительности.

С появлением Serial ATA ситуация стала меняться, поскольку этот стандарт смог решить проблемы параллельного интерфейса ATA без удорожания, предоставив последовательное соединение “точка-точка” для каждого винчестера. Это позволило упростить схему прокладки кабелей (несколько проводников вместо 40-контактного шлейфа), да и каждый винчестер получил максимальную пропускную способность 150 или 300 Мбайт/с. Были реализованы некоторые профессиональные функции, такие, как “родная” очередь команд (NCQ), которая появилась после первых обновлений стандарта Serial ATA. Для SATA не требуется никакой настройки.

Стандарт SAS, расшифровывающийся как Serial Attached SCSI, является последовательной версией параллельной шины SCSI. Интерфейсы SATA и SAS построены на кодировании 8/10 битов (передаётся 10 битов для 8 битов данных). Тактовые частоты 3, 6 и 12 ГГц переходят в 2,4, 4,8 и 9,6 Гбит/с, что даёт 300, 600 и 1 200 Мбайт/с пропускной способности (интерфейсы на 600 и 1200 Мбайт/с появятся в будущем). SAS поддерживает так называемые расширители (expanders), которые можно сравнить с сетевыми коммутаторами, а винчестеры SAS поставляются с двумя портами для данных; их можно использовать в качестве резервных или для повышения скорости обмена.

Приятно у SAS и то, что он использует не только собственный протокол SSP (SAS SCSI Protocol), но и поддерживает STP (SATA Tunneling Protocol). Последний позволяет всем SAS-контроллерам работать с винчестерами Serial ATA. Используя профессиональные контроллеры, такие, как в нашем тестировании, можно создавать как ёмкие RAID-массивы на SATA-винчестерах с объёмом до 1 Тбайт, так и высокопроизводительные RAID-массивы на жёстких дисках SAS со скоростью вращения шпинделя до 15 000 об/мин. Можно создавать массивы двух типов, если контроллер обеспечивает достаточное число портов SAS.

Эволюция RAID-контроллеров

Ещё до появления SATA такие компании, как 3Ware, Highpoint и Promise, поняли, что RAID вне пределов профессионального мира SCSI тоже имеет смысл. Особенно, если строить массивы на недорогих жёстких дисках ATA. Highpoint и Promise оказались первыми компаниями, которые предложили дополнительный чип, устанавливавшийся на топовые материнские платы. Но они предложили и карты расширения PCI, позволявшие организовывать ATA RAID на серверах начального уровня. Конечно, производительность и надёжность подобных решений не дотягивала до уровня профессиональных комплектующих, но с учётом цены и возможностей они всё ещё оставались весьма привлекательными для клиентов малого бизнеса. Всегда можно было установить дополнительный сервер на дешёвых комплектующих ATA с простым RAID-контроллером, который поддерживал только RAID 1.

С появлением SAS и SATA жёсткие диски для массового и профессионального рынков перешли на одну и ту же инфраструктуру (хотя вы не сможете запустить жёсткий диск SAS на SATA-контроллере). В результате бизнес-пользователи получили значительное улучшение гибкости, поскольку теперь им не приходилось выбирать между недорогими решениями ATA или сложными профессиональными продуктами. Всё, что потребуется, – приличный RAID-контроллер, после чего можно выбирать накопители из обоих миров. Большинство RAID-контроллеров работает под всеми популярными операционными системами, включая, конечно, Windows и Linux, иногда Solaris и Novell Netware, да и поддержка ОС Mac становится шире. Кроме того, неважно, клиентскую или серверную ОС вы используете: большинство карт работает под обеими.

Карты RAID-контроллеров выпускались для всех основных стандартов шины расширения, начиная с EISA (32 бита, 8 МГц) и VESA Local Bus (32 бита, 33+ МГц), затем PCI (32 бита , 33 МГц) и вплоть до PCI-X (64 бита, до 266 МГц), которая используется и по сей день. Последовательная шина PCI Express сегодня завоевала практически все сегменты рынка, так как она обеспечивает пропускную способность до 4 Гбайт/с в обоих направлениях (стандарт PCI Express 1.x, x16 линий) для каждого устройства. Кроме того, большая степень интеграции и кабели с поддержкой нескольких линий позволили картам RAID-контроллеров снизить свои габариты и даже способствовали появлению более мощных карт начального уровня. Их можно установить в стоечные серверы 2U, то есть создать специализированные серверы хранения данных с очень компактными габаритами. Кроме того, у SAS есть как внутренние, так и внешние разъёмы. В случае SATA вам приходится использовать либо оснащение SAS, либо eSATA, но последний стандарт поддерживает только одиночные накопители.

Совершенствование технологий производства позволило не только увеличить плотность памяти и производительность процессоров, но и выпустить более скоростные XOR-движки на аппаратных RAID-контроллерах, улучшающих производительность. Многие функции RAID-контроллеров, которые мы рассматриваем, часто заимствованы из решений управления, предназначавшихся для RAID-контроллеров SCSI. Если вы знакомы с ними, то с лёгкостью справитесь и с унифицированным RAID-контроллером SAS и SATA.

AMCC 3Ware 9690SA-8I

3Ware приобрела популярность, предложив первый RAID-контроллер ATA с несколькими каналами и приличной производительностью. Сегодня 3Ware является частью компании AMCC и по-прежнему предлагает весьма мощные линейки RAID-контроллеров SATA для шин PCI-X (9550SXU) и PCI Express (9650SE). Последние поддерживают RAID 6 с двойной избыточностью.

Для данного обзора мы получили контроллер 3Ware 9690SA – низкопрофильную карту x8 PCI Express на основе восьмого поколения архитектуры StorSwitch. AMCC впервые представила контроллер SAS. Он включает встроенный аппаратный XOR-движок, детали которого AMCC не раскрывает, а также 512 Мбайт памяти DDR2-533 с ECC. Большинство других пользователей предоставляют слоты DIMM, позволяющие пользователям устанавливать память по своему выбору. Скорость памяти в данном отношении значит мало, поскольку даже старая память DDR1 будет достаточно быстрой.

Карта обеспечивает два порта на несколько линий, каждый из которых способен подключить четыре накопителя SAS или SATA напрямую или до 64 винчестеров с помощью расширителей SAS. Пропускная способность интерфейса составляет 2 Гбайт/с в обоих направлениях, чего достаточно для массивов RAID с большим количеством жёстких дисков. Мы получили модель 9690SA-8I, предоставляющую восемь портов для внутреннего использования. У модели 9690SA-8E есть два внешних разъёма по четыре порта на каждый, а у 9690SA-4I4E есть один внешний (4 порта) и один внутренний (4 порта) разъём.

Все карты 9690SA поддерживают RAID 0 и 1, RAID 10, RAID 5 и 6, а также “гнездовой” режим RAID 60. Есть возможность подключения опционального аккумулятора (BBU, battery backup unit), что мы настоятельно рекомендуем, поскольку он сможет сохранить содержимое кэша в случае перебоев с питанием компьютера. Хотя, конечно, разумно установить и UPS (блок бесперебойного питания).

Данный контроллер обеспечил высокую производительность ввода/вывода во всех тестовых сценариях и легко превзошёл порог 400 Мбайт/с. Измерения с помощью тестов Atto и h2benchw отличались плохой повторяемостью, скорее всего, из-за кэш-памяти, поэтому мы их не включили. Конечно, многие контроллеры дают схожую производительность в RAID 0, но карта 3Ware смогла работать чуть быстрее остальных в большинстве тестов RAID 5 и, в особенности, в RAID 6.

Набор функций полный и включает поддержку нескольких массивов, журналирование записи, “горячую” замену, аварийное восстановление с флэш-памяти в случае сбоя обновления прошивки, оповещение по электронной почте, индикатор активности жёстких дисков, функции управления оснасткой I2C или SES 2.0, а также функции RAID, такие, как миграция уровней RAID или онлайновое расширение ёмкости.

Программное обеспечение: 3DM2

Нажмите на картинку для увеличения.

Areca ARC-1680ML

Areca ARC-1680ML оснащён Ethernet-портом, который можно использовать для управления и настройки карты без установки специального ПО. Карта включает полноценный web-сервер и автоматически получает IP-адрес, если в вашей сети есть DHCP. Эта опция смогла спасти тестирование, поскольку управляющее приложение не работало должным образом ни на одной из двух тестовых систем. В то же время, старые версии программного обеспечения Areca, состоящие из сервера и клиента, выдавали ошибки и “вылетали”. Мы смогли запустить последнюю версию, но она отказывалась обновлять информацию, что не позволило создать RAID-массив или обновить прошивку. Впрочем, в новой версии Areca RAID Storage Manger подобные ошибки наверняка будут исправлены. Благодаря клиенту web-конфигурации мы смогли получить доступ к карте и настроить её для нашего тестирования.

Areca предлагает две карты с поддержкой SAS: ARC-1680 для PCI Express x8 и ARC-1681 для PCI-X. Есть и три модели PCI Express для низкопрофильных серверов: 1680LP, 1680i и 1680x. Первая предлагает один внешний и один внутренний разъём на несколько линий, у “i” есть два внутренних, а у “x” – два внешних разъёма. Разъёмы обеспечивают четыре порта на 300 Мбайт/с, но их число можно увеличить с помощью расширителей SAS. Все карты оснащены 800-МГц процессором Intel IOP348 для расчётов XOR.

Areca оснастила карту 240-контактным слотом DDR2 DIMM, который поддерживает любую память с ECC от 512 Мбайт до 2 Гбайт. Однако низкопрофильные карты поставляются с интегрированными 256 Мбайт памяти DDR2-533 ECC, и её нельзя модернизировать. Areca подчёркивает поддержку нескольких RAID-контроллеров, что позволяет разносить массивы RAID между несколькими контроллерами для целей повышения ёмкости или производительности. Подобно другим производителям, Areca предлагает опциональный аккумулятор резервного питания (BBU).

Среди функций есть онлайновое расширение ёмкости и миграция уровней RAID, поддержка массивов выше 2 Тбайт и функции управления оснасткой SES 2.0 и SGPIO. Areca поддерживает больше вариантов RAID, чем другие производители; вы можете выбрать RAID 0, 1, 1+, 3, 5, 6 и “гнездовые” режимы RAID 30, 50 и 60, а также JBOD. Вы можете настроить несколько массивов RAID на одном или нескольких контроллерах Areca. Винчестеры автоматически будут связаны в массив, независимо от того, к какому порту вы их подключите (эта функция встречается уже повсеместно, но упомянуть её стоит).

При увеличении глубины очереди команд больше восьми производительность больше не возрастает (хотя должна бы…). Так как контроллер использует последний XOR-процессор Intel, он должен обеспечивать лучшую производительность при росте глубины очереди команд. Возможно, следует дождаться новых версий прошивки и ПО, так как аппаратное обеспечение обладает лучшим потенциалом.

Программное обеспечение: Software: RAID Storage Manager

Нажмите на картинку для увеличения.

LSI Corporation MegaRAID SAS8888ELP

Третий кандидат в наших тестах – RAID-контроллер LSI Corporation MegaRAID SAS8888ELP. Он построен на основе собственного процессора LSI Corporation LSISAS1078 “RAID on Chip”. В отличие от других продуктов, карта использует не RISC-процессор Intel IOP, а 500-МГц чип PowerPC. Результат великолепен, поскольку он позволяет SAS8888ELP работать на том же уровне, что и 3Ware 9690SA.

LSI очень тщательно относится к потенциально сбойным винчестерам. Когда мы удалили жёсткий диск, симулируя его сбой, контроллер затем распознал его как “несконфигурированный и плохой”, как только мы подключили жёсткий диск. В итоге вы больше не сможете использовать этот винчестер, поскольку программа посчитала его ненадёжным. В принципе, хорошая функция, предотвращающая установку сбойного винчестера, но она несколько досаждает, если случайно снять не тот винчестер. Придётся войти в BIOS контроллера и снять соответствующую отметку, прежде чем вы сможете интегрировать винчестер в какой-либо массив. Затем начнётся процесс перестройки массива.

Хотя карта низкопрофильная и подходит для стоечных серверов 2U, она оснащена двумя внутренними и двумя внешними разъёмами SAS на несколько линий, каждый из которых обеспечивает четыре порта SAS. Однако вы можете использовать только два из них в одно время, зато любые два. LSI Corporation использует интерфейс x8 PCI Express, но оснастила карту более скоростной кэш-памятью. Контроллер оснащён 256- или 512 Мбайт памятью DDR2-667 ECC. Есть возможность установки опционального аккумулятора для резервного питания, а также и поддержка всех распространённых RAID-массивов, включая “гнездовые” версии RAID 10, 50 и 60. Поддерживается миграция уровней RAID и онлайновое расширение ёмкости.

Программное обеспечение: MegaRAID Storage Manager

Нажмите на картинку для увеличения.

Сравнительная таблица функций

Тестовая конфигурация

Для тестов мы взяли восемь 2,5″ винчестеров Seagate Savvio.

Результаты тестов

Тесты RAID 0

Тесты RAID 5

Тесты RAID 6

Заключение

Если посмотреть на наш начальный тест RAID-контроллеров SAS, то только у одного продукта производительность нас не удовлетворила при настройках по умолчанию. Atto Express SAS R348 требовал определённой настройки, чтобы обеспечить в приложениях более высокую производительность, чем в наших тестах. ICP тогда дал самую лучшую производительность ввода/вывода, Ciprico смог обеспечить наилучший набор функций, но для работы ему требовался мощный компьютер. К сожалению, Raidcore не поддерживал RAID 6 (собственно, как и сейчас).

Два явных победителя по производительности в нашем обзоре – это AMCC с контроллером 3Ware 9690SA и LSI Corporation с MegaRAID 8888ELP. Оба контроллера обеспечивают высокую производительность ввода/вывода во всех четырёх сценариях. Areca предлагает мощный контроллер с хорошим набором функций, но наш тестовый образец оказался проблемным. Мы уверены, что дальнейшие обновления ПО и прошивки смогут решить проблемы, поскольку SATA-версия ARC-1220 себя прекрасно зарекомендовала.

Карты Raidcore от Ciprico по-прежнему являются лидерами по набору возможностей RAID (если вы сможете обойтись без RAID 6), но AMCC/3Ware буквально “дышит в затылок”. Контроллеры AMCC и LSI Corporation обеспечат лучшую производительность на не самых мощных компьютерах.