Битва южных мостов: массивы RAID на Intel ICH10, nVidia 780a и AMD SB750 – THG.RU

Анализ производительности южных мостов AMD, Intel и Nvidia

Все современные чипсеты предлагают интегрированную поддержку Serial ATA (SATA), да и все жёсткие диски для массового рынка сегодня используют этот быстрый последовательный интерфейс. Даже чипсеты начального уровня сегодня поддерживают создание массивов с чередованием (RAID 0) или зеркалированием (RAID 1) в целях улучшения производительности подсистемы хранения или улучшения надёжности хранения данных.

Нажмите на картинку для увеличения.

Продукты для верхнего сегмента массового рынка и high-end решения сегодня не только предоставляют больше портов SATA, но и добавляют такую программную функциональность, как поддержка массивов RAID 5. Конечно, немногие пользователи будут собирать на своих настольных ПК массивы RAID 5 (поскольку требуется, как минимум, три жёстких диска), да и данный режим требует немало вычислительной мощности для расчёта информации избыточности, которая необходима для перестройки массива с хранящимися данными в случае выхода из строя одного жёсткого диска. Конечно, при этом основную вычислительную мощность обеспечивает CPU, но южный мост всё равно работает в качестве контроллера для операций RAID, и мы обнаружили существенные различия между настольными чипсетами с поддержкой RAID 5 в этой связи.

AMD: южный мост SB750 чипсета 790FX

Нажмите на картинку для увеличения.

SB750 с прошлого года остаётся флагманским южным мостом AMD, когда он был выпущен вместе с чипсетами линейки 700. Данное семейство состоит из чипсетов с поддержкой дискретной видеокарты 740, 770, 790X и 790FX, а также моделей с интегрированным графическим ядром 740G, 780G, 785G и 790GX, которые поддерживают выделенную графическую память Side Port.

Все чипсеты с поддержкой дискретной видеокарты производятся по 65-нм техпроцессу, а решения с интегрированной графикой уровня DirectX 10 (и DX10.1) – по 55-нм техпроцессу. Low-end конфигурации чипсетов обычно используют старые южные мосты SB600 или SB700/SB710, поэтому мы рекомендуем брать решения на SB750 при возможности. SB750 предлагает шесть портов SATA/300 с поддержкой AHCI и технологией AMD RAIDXpert, которая поддерживает режимы RAID 0, 1, 1+0, 5 и JBOD. Утилитой RAIDXpert можно пользоваться через интерфейс на основе браузера, который позволяет управлять и отслеживать состояние массива RAID. Расширять массив через дополнительные контроллеры нельзя.

Скорее всего, вместе со следующим поколением платформы на основе чипсетов AMD 800 будет объявлен и южный мост SB800.

Gigabyte MA790FXT-UD5F

Нажмите на картинку для увеличения.

Мы использовали материнскую плату Gigabyte MA790FXT-UD5P для энтузиастов. Она построена на чипсете AMD 790FX/SB750 и поддерживает все процессоры Socket AM3 и память DDR3.

Хотя чипсет поддерживает шесть портов SATA/300, Gigabyte решила увеличить возможности установки накопителей, добавив контроллер JMicron JM322. Он даёт четыре дополнительных порта SATA/300 (белые разъёмы), которые полностью независимы от портов SATA чипсета. Порты JMicron поддерживают только RAID 0 и 1, но их можно использовать для функции Gigabyte Smart Backup.

На панели ввода/вывода материнской платы довольно много портов, включая восемь USB 2.0, два порта Gigabit Ethernet, звуковые разъёмы, порты PS/2 для клавиатуры и мыши. Однако порты eSATA отсутствуют. Впрочем, в комплект поставки Gigabyte вложила “косичку” eSATA, обеспечивающую два порта eSATA, если они вам понадобятся.

Нажмите на картинку для увеличения.

Нажмите на картинку для увеличения.

Создание массива RAID

Нажмите на картинку для увеличения.

Консоль управления RAIDXpert простая и понятная. Навигационная панель располагается слева, а все действия выполняются в центральной области. На скриншоте показано окно, описывающее функции утилиты в целом.

Нажмите на картинку для увеличения.

Сначала нужно выбрать требуемый уровень RAID. Помните, что для RAID 0 или 1 потребуется минимум два жёстких диска, а для RAID 5 – три.

Нажмите на картинку для увеличения.

Нажмите на картинку для увеличения.

Мы подключили шесть накопителей Intel X25-E SSD к шести порта SB750 SATA, при этом все их мы включили в наш массив.

Нажмите на картинку для увеличения.

Выберите название, идентифицирующее массив RAID.

Нажмите на картинку для увеличения.

Окно финальных настроек позволяет выбрать размер блока, стратегию кэширования и другие параметры.

Нажмите на картинку для увеличения.

Затем начинается инициализация, на которую на нашей тестовой системе ушло 23 минуты. Перестройка RAID занимает всего 20 минут. Важно знать, что процесс перестройки не запускается автоматически. После замены сбойного накопителя нужно зайти в утилиту RAIDXpert и начать процесс перестройки. Впрочем, утилита RAIDXpert напомнит вам о необходимости этого шага.

Нажмите на картинку для увеличения.

Intel: южный мост ICH10R чипсета X58 Express

Южный мост ICH10 сегодня можно назвать самым популярным, поскольку он является частью всех современных чипсетов Intel, его можно встретить на большом количестве материнских плат и компьютеров с процессорами Intel. Южный мост ICH10R является наиболее функциональной версией, он также поддерживает RAID 5.

Intel одной из первых поддержала интерфейс SATA/300 с “родной” очередью команд (NCQ) в контроллере AHCI ещё с южным мостом ICH8. Впрочем, только модели RAID и Digital Office (DO) поддерживают AHCI и RAID 5 – версии чипсета для массового рынка такой поддержкой не обладают. В данном отношении сложно понять, почему Intel решила оснастить свой современный чипсет G41, нацеленный на корпоративный рынок, устаревшим южным мостом ICH7, поскольку он не поддерживает AHCI.

Утилита управления RAID Intel названа Matrix Storage Manager, она поддерживает несколько разных режимов RAID, включая матричный режим. Он позволяет распределять несколько массивов RAID по одному набору жёстких дисков. Приведём простой пример: вы можете использовать два жёстких диска и отдать 50% ёмкости каждого под массив RAID 0 с чередованием. Этот массив станет идеальным местом для установки операционной системы, поскольку он обеспечивает лучшую производительность. Оставшиеся 50% каждого накопителя можно использовать для массива RAID 1, то есть данные будут зеркалироваться на два жёстких диска. Если один накопитель выйдет из строя, то вы потеряете массив с операционной системой, но ваши данные будут сохранены на оставшемся жёстком диске RAID 1.

Asus Rampage II Gene: X58 с ICH10R

Нажмите на картинку для увеличения.

Материнская плата MicroATX Asus Rampage II Gene является очень компактным решением для энтузиастов, предпочитающих процессоры Core i7, она построена на чипсете с комбинацией X58/ICH10R. Asus упаковала немало функций на плату, включая дополнительный контроллер накопителей от JMicron – JMB363. Через него Asus обеспечивает порт UltraATA/133 для двух устройств, один внутренний порт SATA/300 и один порт eSATA, выведенный на панель ввода/вывода материнской платы.

Там же присутствуют шесть портов USB 2.0, звуковые разъёмы, сеть 1 Гбит/с, FireWire 1394a и кнопка очистки CMOS. Последняя будет полезна для восстановления в случае неудачных попыток разгона, которые привели к отказу в загрузке системы. Отметим и наличие звуковой карты SupremeFX и мощного стабилизатора напряжения CPU, который обеспечивает экстремальный разгон.

Нажмите на картинку для увеличения.

Нажмите на картинку для увеличения.

Создание массива Intel RAID

Консоль Matrix Storage Manager позволяет управлять массивами ICH RAID.

Нажмите на картинку для увеличения.

В информационном окне перечислены все доступные накопители.

На второй странице нужно выбрать название массива и режим.

На странице три нужно указать накопители, которые станут частью вашего нового массива.

Функция ограничения массива RAID определённой ёмкостью по всем выбранным жёстким дискам возможна только на системе Intel. Если вы решите выбрать часть ёмкости, то сможете создать второй массив RAID на её оставшейся части.

Нажмите на картинку для увеличения.

Все опции можно установить щелчком по правой клавише мыши.

На нашей платформе Intel на основе Asus ушло 25 минут на инициализацию массива, и такое же время на перестройку массива после замены накопителя.

Nvidia: интегрированный чипсет 780a SLI MCP

nForce 780a SLI MCP является чипсетом nVidia для современной платформы AMD. Есть также чипсет 980a SLI, который наследует все функции 780a, но добавляет поддержку Socket AM3 и памяти DDR3. Во время написания статьи в нашем распоряжении не было материнской платы на основе 980a SLI, что не принципиально, поскольку производительность RAID южного моста должна быть всё равно идентична.

Поскольку nForce 780a является одночиповым решением с интегрированной графикой, nVidia использует чип nForce 200 для обеспечения поддержки 3-way SLI. Но возможности накопителей обеспечиваются чипом 780a. Доступны шесть портов SATA/300 с поддержкой NCQ и один канал UltraATA/133 для наследственных устройств. Технология nVidia MediaShield поддерживает все распространённые массивы RAID, включая RAID 0, 1, 0+1 и 5.

MSI K9N2 Diamond: интегрированный чипсет 780a SLI

Нажмите на картинку для увеличения.

Материнская плата MSI K9N2 Diamond является флагманской моделью компании для платформ AMD на чипсете nVidia. Плата использует 780a SLI MCP, но подобно двум другим производителям MSI решила добавить внешний контроллер накопителей. Шесть портов SATA/300 и интерфейс UltraATA/133 являются частью 780a, но дополнительный контроллер JMicron даёт ещё два порта eSATA.

Они расположены на панели ввода/вывода материнской платы по соседству с четырьмя портами USB 2.0 и двумя портами Gigabit Ethernet, а также выходом DVI и портами FireWire. Шесть внутренних портов платы подключены к чипсету nVidia 780a SLI. Два порта из них можно использовать только если вы не будете устанавливать длинную видеокарту PCI Express. Кабели SATA к ним подключаются перпендикулярно поверхности платы, а четыре других порта повёрнуты на 90°.

Нажмите на картинку для увеличения.

Нажмите на картинку для увеличения.

Создание массива Nvidia RAID

nVidia встраивает свою утилиту в “Панель управления” Windows, через неё можно управлять всеми настройками.

Нажмите на картинку для увеличения.

Пункт “View storage configuration” позволяет просмотреть все доступные накопители.

Мастер настройки помогает в создании массива RAID. Все режимы RAID поясняются понятными для пользователей терминами.

• RAID 0 = чередование (striping);
• RAID 1 = зекалирование (mirroring);
• RAID 1+0 = чередование с зеркалированием (striped mirroring);
• RAID 5 = чередование с информацией избыточности (striping with rotating parity);
• JBOD = простое последовательное объединение дисков в один массив (spanning).

На третьем экране нужно выбрать все накопители, которые вы хотите включить в новый массив RAID.

По умолчанию используются крупные размеры блоков. Так рекомендует nVidia.

Перестройка RAID

Нажмите на картинку для увеличения.

Мастер позволяет начать процесс перестройки как только вы замените сбойный жёсткий диск. Утилита nVidia оповестит пользователя об изменениях и запустит Мастер, который укажет испорченный массив.

Для перестройки к повреждённому массиву нужно добавить накопитель.

Профессиональный RAID: LSI MegaRAID SAS9260-8i

Нажмите на картинку для увеличения.

Поскольку мы хотели узнать, как интегрированные RAID-движки чипсетов для энтузиастов покажут себя по сравнению с профессиональным решением RAID, мы добавили результаты современного контроллера HBA (host bus adapter). LSI MegaRAID SAS9260-8i – одна из первых карт SAS/600, хотя она обратно совместима с интерфейсами Serial ATA на 150 и 300 Мбайт/с благодаря протоколу SATA Tunelling Protocol (STP). Вскоре мы планируем выпустить отдельную статью про интерфейс SAS/600.

Карта LSI совсем новая, она лишь недавно появилась на web-сайте LSI. Перед нами решение “RAID-на-чипе”, а также одна из первых карт, использующих интерфейс x8 PCI Express 2.0.

Карта содержит 512 Мбайт памяти DDR2-800 ECC для кэширования, которая позволяет ускорить производительность массивов RAID уровней 0, 1, 5, 6 или гнездовых массивов RAID 10, 50 и 60. На карте есть восемь внутренних портов SAS 6 Гбит/с, которые также поддерживают SATA. Порты используют разъёмы MiniSAS (SFF8087), так что для подключения внутренних приводов вам потребуется соответствующий кабель. Можно докупить опциональный аккумулятор, который сохранит содержимое кэш-памяти в случае отказа питания системы.

Нажмите на картинку для увеличения.

В качестве тестовой платформы для контроллера LSI мы взяли материнскую плату Gigabyte MA790FXT-UD5P.

Тестовая конфигурация

Тесты и настройки

Тестовые накопители: 6x Intel X25-E

Нажмите на картинку для увеличения.

Профессиональные флэш-накопители SSD Intel X25-E уже некоторое время являются оптимальным выбором для high-end ПК и рабочих станций из-за впечатляюще высокой производительности, причём как по пропускной способности, так и по операциям ввода/вывода. Многие другие SSD справляются с поддержкой такого же (или даже большего) уровня 200 Мбайт/с по пропускной способности чтения, но не могут состязаться с Intel по высокой скорости записи, низким задержкам и производительности ввода/вывода, где у Intel по-прежнему нет равных. Впрочем, у X25-E есть недостаток: вам придётся выложить несколько сотен долларов за нынешние 32- или 64-Гбайт модели. Да и высокая производительность даётся в ущерб доступной ёмкости.

Результаты тестов

Время доступа

Мы вывели время доступа чтения в микросекундах, поскольку у SSD время доступа достаточно низкое, чтобы изменить шкалу. Контроллер LSI требует максимальное время для доступа к данным на всех трёх массивах RAID, но мы по-прежнему получаем время доступа всего от 0,25 до 0,36 мс. AMD SB750 оказался самым быстрым по времени доступа с SSD X25-E, которое составило всего от 0,11 до 0,13 мс.

Результаты времени доступа записи выглядят иначе. Intel здесь находится на первом месте, затем следует южный мост nVidia или AMD, в зависимости от режима RAID. Интересно видеть, что контроллер LSI здесь даёт намного меньшее время доступа записи, поскольку он может сохранять данные в свой кэш с минимальными задержками.

Производительность ввода/вывода

RAID 0 явно даёт самую высокую пропускную способность в сценарии сервера баз данных. Лидирует южный мост Intel, за ним следуют контроллеры nVidia и AMD. Контроллер LSI занимает последнее место, хотя и не очень сильно проигрывает AMD. Новый контроллер LSI не обеспечивает более высокую производительность в сценарии сервера баз данных по сравнению с конкурентами, но его производительность ввода/вывода слабо зависит от мощности CPU, особенно при перестройке массива. В этом отношении LSI явно лидирует.

Если вам нужна высокая производительность файлового сервера, то вы получите лучшие результаты RAID 0 на контроллере Intel ICH10R, за которым следуют решения Nvidia, AMD и LSI. После переключения в RAID 5 диспозиция меняется. Intel ICH10R вновь в лидерах, за ним находится профессиональный контроллер LSI и южный мост Nvidia. AMD в данном случае занимаем последнее место.

Intel обходит всех других в сценарии ввода/вывода web-сервера на 80 процентов. Контроллер может выдавать такую же производительность при работе с повреждённым массивом RAID, какая у других контроллеров наблюдается в обычных массивах RAID 0 или RAID 5.

В сценарии ввода/вывода рабочей станции южный мост ICH10R обеспечивает самую высокую производительность ввода/вывода в массивах RAID 0 и RAID 5. LSI идёт следующим после Intel, при этом профессиональный контроллер оказывается в два раза быстрее решений Intel и AMD при работе с повреждённым массивом RAID 5.

Пропускная способность интерфейса и потоковое чтение

А здесь мы начинаем наблюдать “узкое место”: самым быстрым интегрированным контроллером по пропускной способности интерфейса оказывается Intel ICH10R, который даёт до 688 Мбайт/с в RAID 5 и до 616 Мбайт/с в RAID 0. Однако LSI доказывает превосходство MegaRAID SAS9260-8i, который обеспечивает более 1 Гбайт/с на всего шести SSD-накопителях Intel X25-E.

Впрочем, результаты пропускной способности интерфейса оказались выше, чем мы получим в реальности, так что не стоит относиться к ним слишком серьёзно.

По пропускной способности потокового чтения контролер LSI вновь побеждает, поскольку даёт великолепные 922 Мбайт/с в режиме RAID 0 и 761 Мбайт/с в RAID 5. Другие контроллеры работают медленнее, но ни одна модель не дала пропускную способность ниже 520 Мбайт/с (AMD 780a в RAID 5) за исключением повреждённых массивов.

Вот это результат! Производительность потоковой записи оказалась серьёзной проблемой для систем AMD и nVidia в RAID 5 и при работе с повреждённым массивом. С обычным массивом RAID 5 пропускная способность снизилась на Nvidia 780a SLI MCP до 77 Мбайт/с и до 186 Мбайт/с на AMD SB750. Контроллер Intel смог обеспечить 440 Мбайт/с, а для высокой скорости 511 Мбайт/с (RAID 5) вам потребуется профессиональный контроллер LSI.

Проблемы с производительностью становятся более острыми, когда один жёсткий диск выходит из строя. В случае повреждённого массива все решения дали производительность намного ниже отдельного жёсткого диска на 7200 об/мин. У AMD и Intel скорость записи была особенно низкой: 29 и 28 Мбайт/с, соответственно. nVidia смогла обеспечить производительность на уровне обычного массива RAID 5 – 78 Мбайт/с. Не очень быстро, но хоть что-то.

Контроллер LSI вновь показал высокий результат из-за 512 Мбайт кэш-памяти DDR2-800, которая буферизует большое количество данных, даже если массив повреждён.

Пропускная способность чтения/записи

Эффективная пропускная способность чтения серьёзно меняется. В RAID 0 доминирует Intel, обеспечивая минимальную пропускную способность более 600 Мбайт/с, что близко к максимуму интерфейса. Контроллер LSI идёт следующим, поддерживая минимальную скорость 474 Мбайт/с. AMD даёт от 191 до 230 Мбайт/с, а nVidia – от 178 до 194 Мбайт/с. Для получения подобной производительности вам не нужны шесть дорогих SSD; три обычных жёстких диска за $70, как нам кажется, дадут такую же пропускную способность. Результаты схожи в RAID 5, производительность немного снижается при работе с повреждённым массивом.

Вам не следует копировать большие объёмы информации на повреждённый RAID-массив. Все интегрированные контроллеры дают очень низкую производительность при перестройке массива “на лету”. Если Intel ICH10R оказался единственным контроллером, обеспечивающим действительно быструю пропускную способность записи, новая карта LSI SAS 9260-8i побеждает в тестах пропускной способности благодаря высокой и постоянной производительности в любых условиях.

Нагрузка на CPU

Если интегрированные контроллеры материнской платы столь хороши, то почему производители, подобные LSI, по-прежнему остаются в деле, продавая раздельные контроллеры, такие как 6-Гбит/с SAS-контроллер, который мы использовали? Комбинация отдельного процессора для расчёта информации избыточности и большого количества памяти позволяет снять нагрузку с CPU по вычислению информации избыточности, а интегрированным контроллерам для этого приходится обращаться к host-процессору. На диаграмме выше можно явно видеть уровень нагрузки на CPU, когда контроллер LSI смог снять с CPU большую часть расчётов, а nVidia 780a SLI нагружает центральный процессор сильнее всего.

Заключение

Единственное заключение, которое легко сделать по результатам наших тестов, будет таким: вам нужен профессиональный RAID-контроллер, такой как LSI MegaRAID SAS 9260-8i, который мы использовали для тестов, только если вам нужно выжать максимум из сложных массивов RAID. Контроллер SAS/SATA оказался единственным, способным дать высокую (или, по крайней мере, сбалансированную) производительность во всех тестовых дисциплинах за некоторым исключением Intel ICH10R. LSI – единственный контроллер, способный выдать пропускную способность до 1 Гбайт/с на шести накопителях Intel X25-E SSD, которые мы тестировали; он обеспечивает высокую производительность записи, причём даже в случае повреждённого массива, а также поддерживает резервный аккумулятор и профессиональные функции управления RAID. Поэтому данную карту или похожие продукты можно считать единственным решением для критически важных серверов. Тот факт, что встроенные контроллеры обычно обходят LSI по производительности ввода/вывода, может быть связан с SSD, которые очень сильно зависят от производительности CPU (см. статью: “Влияние технологий энергосбережения на производительность SSD“).

Производительность ввода/вывода

Все интегрированные решения дают впечатляюще высокую производительность ввода/вывода, но результаты меняются в зависимости от тестового сценария, то есть от типа доступа и размера блоков. Intel находится на первом месте в большинстве наших тестов ввода/вывода. Запуск нагрузок ввода/вывода на повреждённом массиве RAID 5 приводит к падению производительности около 30-60%, что кажется приемлемым.

Пропускная способность

Если вам нужен RAID-массив с максимальной пропускной способностью чтения, то можно порекомендовать собрать быструю систему на ICH10R, поскольку контроллер Intel даёт пропускную способность больше 650 Мбайт/с в RAID 5 и больше 600 Мбайт/с в RAID 0. LSI остаётся в диапазоне от 460 до 480 Мбайт/с, а AMD и Nvidia существенно отстают, с трудом достигая даже 200 Мбайт/с.

Помните, что всё сказанное касается только чтения. Если вы переключитесь на операции записи, то результаты AMD и nVidia будут выглядеть ещё хуже, их производительность даже упоминать стыдно. Контроллер Intel ICH10R вполне хорош по пропускной способности записи, его можно считать конкурентом профессиональной карте LSI – пока вы не посмотрите не производительность повреждённого массива RAID 5. Единственным решением, которое даёт не меньше 390 Мбайт/с и вместе с этим достигает 680 Мбайт/с, будет LSI MegaRAID 9260-8i с архитектурой “RAID-на-чипе”.

Встроенные контроллеры RAID хороши для временного высокопроизводительного хранилища

Южные мосты, которые мы рассмотрели в нашем обзоре, нацеливаются на мощные настольные ПК. Эти чипы не предназначены для серверов или рабочих станций, поэтому мы не рекомендуем создавать мощные и сложные массивы RAID на настольных ПК. Производительность RAID 0 и RAID 5 вполне хорошая по операциям чтения, но по операциям записи результаты ниже приемлемых за исключением контроллера Intel ICH10. RAID-контроллеры AMD и nVidia можно назвать удовлетворительными, если вам не требуется выполнять операций записи… вообще. Мы рекомендуем использовать встроенные решения RAID 0 или 1 для создания временных высокопроизводительных хранилищ, но для массивов RAID 5 всё же лучше брать профессиональные продукты.