|
Введение
Нужна большая ёмкость? Требуется высокая производительность дисковой подсистемы? Скоро цены на жёсткие диски упадут до уровня $80 за 1 Тбайт, поэтому мы решили создать экстремальный RAID-массив, который способен хранить многие годы все ваши данные, а также обеспечит производительность на уровне, превосходящем любые одиночные винчестеры. Мы взяли двенадцать 1-Тбайт жёстких дисков Samsung, которые помогли установить новый рекорд скорости и обеспечили впечатляющую ёмкость 10 Тбайт.
Нажмите на картинку для увеличения.
Некоторые из вас наверняка будут спорить с нами насчёт производительности. Действительно, наши читатели прекрасно осведомлены о том, что жёсткие диски уже не выдерживают конкуренции со стороны твёрдотельных накопителей (SSD). Это так. Всё больше high-end SSD превосходят уровень 200 Мбайт/с по чтению и 100 Мбайт/с по записи с практически нулевым временем доступа. Подобные характеристики уже становятся стандартом для high-end SSD. Однако твёрдотельные накопители по-прежнему стоят очень дорого, и в этом отношении они значительно проигрывают старым добрым жёстким дискам.
Если жёсткие диски и не могут потягаться с SSD по быстрому времени доступа, высокой пропускной способности можно достигнуть путём объединения нескольких винчестеров в массив RAID с чередованием - а пропускная способность является ключевой характеристикой для многих пользователей настольных ПК. Кроме того, ёмкости жёстких дисков намного превышают возможности SSD, да и цена в расчёте на гигабайт у винчестеров значительно ниже. Например, за $1000 вы не купите больше 1 Тбайт ёмкости на SSD, и даже для приближения к этому уровню вам придётся спуститься на ступеньку или на две по производительности. Между тем за ту же сумму мы купили 12 1-Тбайт жёстких дисков. Единственная причина, по которой мы не взяли винчестеры с большей ёмкостью, это отсутствие их в наличии в количестве десять накопителей или больше.
Идея: хранилище на жёстких дисках с бюджетом $1000
Конечно, идея использования 12 3,5" винчестеров в RAID-массиве вряд ли хороша для настольных ПК. Двенадцать жёстких дисков занимают немало места, для них требуется подходящий RAID-контроллер SATA, да и тепла, шума и вибрации они выделяют немало. Но идея всё равно весьма интересна, и мы достаточно скоро увидим, на что способен большой RAID-массив на обычных жёстких дисках.
Тестовые жёсткие диски: 12 x Samsung Spinpoint F1 HD103UJ (1 Тбайт)
Нажмите на картинку для увеличения.
Для нашего массива мы взяли двенадцать терабайтных жёстких дисков Samsung первого поколения -
В скором будущем Samsung выпустит новые высокопроизводительные жёсткие диски Spinpoint F2. Линейка F2 EcoGreen доступна в ёмкости до 1,5 Тбайт уже несколько месяцев, однако новые модели F2, которые выйдут во второй половине 2009 года, будут иметь скорость вращения 7200 об/мин и ёмкость до 2 Тбайт. Hitachi и Seagate наверняка скоро представят и свои модели по мере необходимости, поскольку жёсткие диски с максимальной ёмкостью продаются не в таких больших количествах и составляют маленькую долю рынка.
Нажмите на картинку для увеличения.
Нажмите на картинку для увеличения.
Ёмкость в 1,0 Тбайт уже не так впечатляет, но данный уровень близок к тому, чтобы обеспечить максимальную ёмкость в расчёте на доллар. Кроме того, высокопроизводительные жёсткие диски на 7200 об/мин по-прежнему обеспечивают более высокую пропускную способность, чем экономичные 1,5-Тбайт модели от Samsung, Seagate или WD. Переход на 2,0-Тбайт жёсткие диски позволил бы увеличить общую ёмкость массива с 12 до впечатляющих 24 Тбайт, но это увеличило бы цену накопителей более чем в два раза. Вы можете купить 1,0-Тбайт жёсткий диск по цене, начиная от $85, в то время как 2,0-Тбайт накопители стоят почти в три раза дороже.
Массив и контроллер в деталях
Нажмите на картинку для увеличения.
Мы хотели построить массив с ёмкостью не менее 10 Тбайт, а с 12 накопителями мы могли бы достичь чистой ёмкости 12 Тбайт. Мы решили протестировать RAID 0 для максимальной производительности и RAID 5 в качестве сбалансированного решения с высокой производительностью и защитой данных. Если конфигурация RAID 0 распределяет данные по всем жёстким дискам с помощью чередования, то RAID 5 добавляет информацию избыточности в размере, равном ёмкости одного из накопителей. Информация избыточности распределяется по всем жёстким дискам, чтобы один накопитель не стал "узким местом".
RAID 0
В массиве RAID 0 общая ёмкость равняется ёмкости одного накопителя Spinpoint F1, умноженной на количество жёстких дисков. Каждый винчестер предоставляет чистую ёмкость 1000 Гбайт с учётом того, что один килобайт равняется 1000 байтам, что даёт 931,32 Гбайт, если один килобайт составляет 1024 байта. Последняя характеристика правильная, именно её и использует Windows для оценки доступной ёмкости. В результаты мы получаем ёмкость массива 11 175,87 Гбайт.
RAID 5
Массив RAID 5 требует, как минимум, трёх жёстких дисков, при этом вы получите суммарную ёмкость всех накопителей минус ёмкость одного винчестера. Она расходуется на информацию избыточности, которая сохранит данные, если один жёсткий диск выйдет из строя. Если вы хотите, чтобы массив сохранял данные в случае выхода из строя двух винчестеров, то тогда потребуется массив RAID 6. В нашем случае ёмкость массива RAID 5 составила 10 244,54 Гбайт.
Контроллер: Areca ARC-1680iX-20
Нажмите на картинку для увеличения.
Мы выбрали комбинированный контроллер SAS/SATA от Areca, 20-портовый ARC-1680iX. Карта с полной высотой использует интерфейс x8 PCI Express и содержит процессор Intel IOP348, работающий на частоте 1200 МГц и обеспечивающий серьёзное ускорение расчёта операций XOR для RAID 5. Карта содержит слот DDR2 DIMM, в который можно устанавливать модули ёмкостью от 512 Мбайт до 4 Гбайт; мы выбрали модуль 512 Мбайт по умолчанию. Если вы планируете устанавливать большой массив, то мы рекомендуем брать память с ECC. Контроллер Areca один из немногих, поддерживающих RAID 6.
Контроллер содержит порт LAN, который служит исключительно для управления. Вы можете конфигурировать карту с помощью встроенного web-сервера независимо от операционной системы host-компьютера. 20 портов SAS доступны через многоканальные разъёмы (4 внутренних, 1 внешний), именно поэтому мы использовали кабели 4-to-1 SAS для подключения жёстких дисков Samsung. Как вы наверняка помните, стандарт SAS полностью совместим с SATA благодаря STP (SATA Tunneling Protocol).
Тестовая конфигурация
Системное аппаратное обеспечение | |
CPU | Intel Core i7-920 (45 нм, 2,66 ГГц, кэш L2 8 Мбайт) |
Материнская плата (Socket 1366) | Supermicro X8SAX, Revision: 1.0, чипсет: Intel X58 + ICH10R, BIOS: 1.0B |
Память | 2 Гбайт DDR3-1333 Corsair CM3X1024-1333C9DHX |
Системный HDD | Seagate NL35 400 Гбайт, ST3400832NS, 7200 об/мин, SATA/150, кэш 8 Мбайт |
Блок питания | OCZ EliteXstream 800 Вт, OCZ800EXS-EU |
Тесты | |
Измерение производительности | h2benchw 3.12 PCMark Vantage 1.0 |
Производительность ввода/вывода | IOMeter 2006.07.27 Fileserver-Benchmark Webserver-Benchmark Database-Benchmark Workstation-Benchmark Streaming Reads Streaming Writes |
Системное ПО и драйверы | |
Операционная система | Windows Vista Ultimate SP1 |
Драйверы чипсета Intel | INF Chipset Installation Utility 9.1.0.1007 |
Графические драйверы AMD | Catalyst 8.12 |
Intel Matrix Storage Drivers | 8.7.0.1007 |
Время доступа
Оба RAID-массива весьма существенно снижают время доступа. На отдельном 1-Тбайт жёстком диске Samsung Spinpoint F1 время доступа составляет, в среднем, 13,8 мс, но у конфигураций RAID 0 и RAID 5 оно снижается до 10,1 и 10,4 мс.
Пропускная способность
Поскольку ни одна из наших стандартных тестовых утилит не позволяет провести серьёзные тесты на разделах больше 2 Тбайт, нам пришлось перейти на HD Tach и IOmeter, чтобы получить результат. HD Tach можно пользоваться, только если у раздела нет записи GPT или MBR.
Как упоминалось выше, 115 Мбайт/с - это максимальная пропускная способность чтения одного жёсткого диска F1. С 12 накопителями, подключёнными к контроллеру Areca ARC-1680iX, наш массив RAID 0 обеспечил почти 1 Гбайт/с в среднем. Даже с массивом RAID 5 мы получили среднюю пропускную способность 910 Мбайт/с!
Пропускная способность записи оказалась чуть меньше, но мы всё равно получили 800 Мбайт/с или выше. Помните, что это средняя пропускная способность. Пиковая скорость выше, минимальная - ниже.
RAID 0
Нажмите на картинку для увеличения.
В массиве RAID 0 12 накопителей поддерживают пропускную способность чтения почти 900 Мбайт/с, но есть довольно неприятные падения. Пропускная способность записи более равномерная, на уровне 600-700 Мбайт/с.
RAID 5
Нажмите на картинку для увеличения.
Производительность RAID 5 чуть меньше, мы получаем падение ниже уровня 600 Мбайт после заполнения большей части из 11 Тбайт ёмкости массива.
Производительность ввода/вывода
Поскольку расчёты информации избыточности XOR отнимают существенную долю производительности, скорость операций ввода/вывода у массива RAID 0, где не рассчитывается избыточность, существенно выше. Впрочем, любой приличный SSD, такой как Intel X25-E (корпоративный уровень) или X25-M (потребительский уровень), может обойти наш 12-дисковый массив RAID по операциям ввода/вывода.
Производительность сценария файлового сервера оценивает скорость работы с блоками крупного размера, в результате чего разница между отдельным винчестером и массивом становится не такой существенной, но всё равно довольно ощутимой.
Сценарий web-сервера использует, по большей части, операции чтения, при этом он запрашивает множество мелких файлов, распространённых на web-страницах. Используя 12 накопителей, мы смогли более чем в четыре раза обойти производительность одного жёсткого диска. Впрочем, с помощью быстрого SSD мы смогли бы получить результаты почти в десять раз больше.
Заключение
Большинство пользователей вряд ли будут устанавливать много жёстких дисков в свой компьютер, поскольку это требует массивного корпуса с достаточной вентиляцией, а также приличного блока питания. Поэтому наш проект нацелен, в основном, на энтузиастов. Мы попытались проанализировать уровень производительности хранилища, который вы получите, если потратите столько же денег, сколько на процессор уровня энтузиастов - Core i7-975 Extreme за $1000. Примерно за ту же цену вы можете купить 12 1-Тбайт жёстких дисков Samsung Spinpoint F1. Конечно, при этом потребуется многопортовый контроллер, именно поэтому мы и взяли Areca ARC-1680iX-20.
Ниже представлены некоторые любопытные факты, которые мы обнаружили. Итак, 12 жёстких дисков...
- по-прежнему не могут достигнуть производительности ввода/вывода и времени доступа одного SSD Intel X25-E (тысяча операций в секунду);
- требуют аккуратной продуманной конфигурации системы (отложенного запуска шпинделя);
- требуют мощного RAID-контроллера с достаточным числом портов;
- не очень удобны для пользователей настольных ПК;
- подвержены проблемам с разделами больше 2 Тбайт;
- дают в 6-8 раз больше пропускной способности, чем один жёсткий диск: почти 1000 Мбайт/с;
- дают в 3-7 раз больше производительности ввода/вывода, чем один жёсткий диск;
- дают чистую ёмкость 11 Тбайт в RAID 5 или 10 Тбайт в RAID 6;
- обеспечивают прекрасную стоимость хранения на гигабайт, особенно с 1-Тбайт жёсткими дисками Samsung, которые мы использовали (2-Тбайт накопители по-прежнему слишком дорогие);
- всё равно обходят массив на SSD-накопителях по пропускной способности, даже если вы оставите два или три жёстких диска в качестве горячей замены.