Мир iSCSI от Open-E
Open-E iSCSI можно назвать “iSCSI-на-чипе”, поскольку перед нами интерфейс UltraATA, программная оболочка на основе Linux, хранящаяся на флэш-модуле.
Компании-производители подсистем хранения вот уже три года твердят: непосредственно подключённым системам хранения (DAS) не хватает гибкости, они создают “узкие места”, и, вместе с тем, затраты времени на их администрирование довольно большие. Будущее за сетевыми системами хранения, которые позволят располагать хранилище данных в любом месте вашей сети. И технология iSCSI как раз и призвана перевести системы хранения на новый уровень.
Но если iSCSI столь выгодна, почему мы не видим повсеместного её применения? Дело в том, что кроме весьма дорогой инфраструктуры Fibre Channel, которая требуется для высокоскоростных решений, есть ещё и технический барьер. Чтобы понять причины столь медленного распространения iSCSI, следует детально рассмотреть сам протокол и его эволюцию.
iSCSI расшифровывается как “Internet SCSI”, где SCSI, в свою очередь, обозначает “интерфейс малых вычислительных систем” (small computer system interface), возвышающийся над другими интерфейсами накопителей DAS в профессиональной области.
Протокол iSCSI предусматривает инкапсуляцию данных в IP-пакеты, позволяющую передавать информацию по существующим сетям точно так же, как и в случае обычного локально подключённого накопителя, например, по UltraSCSI. Из-за широкого разнообразия сетей IP (PAN, WLAN, LAN через Ethernet или Fibre Channel, WAN, MAN и Интернет) сеть хранения данных (storage area network, SAN) на основе протокола iSCSI может с лёгкостью преодолевать любые расстояния, поскольку она ограничена только производительностью используемых сетей.
С учётом этого вполне понятно, что SAN обычно не простирается дальше пределов быстрых сетей, что и даёт упомянутые технические барьеры. Накопители, обслуживающие множество клиентов, должны обладать необходимой для этого пропускной способностью. Сеть Ethernet на 100 Мбит/с, например, вполне может справиться со iSCSI технически, но её производительности будет слишком мало. Fibre Channel, напротив, является слишком дорогой технологией для малого и среднего бизнеса.
Быстрое развитие гигабитного Ethernet, фактически, создаёт фундамент для приложений iSCSI. Хотя самые мощные и современные гигабитные сети используют оптику, гигабитный Ethernet по медному кабелю сможет ускорить переход с напрямую подключённых накопителей к сетям хранения данных. Данная инфраструктура обратно совместима, да и приятно радует своей ценой.
Между Fibre Channel и Ethernet
Концепция iSCSI возникла благодаря тому, что интерфейсы вроде ATA или SCSI ограничены одним компьютером и максимальной длиной кабеля. Так что гибкость бизнес-приложений, а также задач корпоративного уровня весьма ограничена. В идеальном случае подсистему хранения лучше отвести от конкретных серверов, чтобы повысить гибкость и избежать “узких мест”. В результате администраторы смогут добавлять, переносить, резервировать, восстанавливать и переконфигурировать систему хранения без привязки к каким-либо серверам. И использование существующей сетевой инфраструктуры для подобных хранилищ – очень даже неплохая идея.
Конечно, можно потратить несколько сотен долларов на кабели SCSI или, что ещё хуже, много денег на кабели и аксессуары Fibre Channel. Сегодня Fibre Channel стал основным интерфейсом для профессиональных приложений и SAN по причине высокой пропускной способности и большого рабочего расстояния. Действительно, соединение Fibre Channel может простираться до 30 метров в длину при использовании витой медной пары, либо достигать 10 км при переходе на волоконно-оптический кабель, а скорость передачи может составлять 2 Гбит/с или 4 Гбит/с. Так что сети Fibre Channel вполне по силам связать несколько корпусов, обеспечив при этом очень высокую скорость и производительность.
Кроме того, Fibre Channel может соединять два устройства по технологии “точка-точка”, использоваться вместе с коммутаторами или работать в управляемых топологиях, напоминающих Token Ring. Наконец, технология успешно справляется с ячейками (cell) ATM, пакетами IP или SCSI, используя собственные кадры (они не совместимы с Ethernet). По этим причинам Fibre Channel и доминирует в корпоративном секторе.
Но компоненты Fibre Channel имеет смысл приобретать только для high-end окружений: обработки данных или больших баз данных. Инфрастуктуру можно использовать в качестве интерфейса между жёсткими дисками и контроллерами, либо для связи систем и модулей накопителей внутри SAN (или то и другое сразу). Впрочем, если ваше корпоративное окружение не требует экстремальных скоростей, то дополнительные траты теряют смысл. Почему бы в таком случае не выбрать комплектующие Serial ATA, а в качестве инфраструктуры не остановиться на гигабитном Ethernet?
Хранение данных мало отличается от печати
Сегодня профессиональные системы хранения развиваются в том же направлении, что и принтеры несколько лет назад. Раньше мы подключали принтеры напрямую к компьютерам, через параллельный порт или интерфейс USB. В корпоративном окружении принтеры располагаются в наиболее удобных местах. Скажем, рядом с группами работников, которые часто печатают, либо рядом с компьютером, выделенным для печати.
Затем, когда появились принтеры с сетевым интерфейсом (те же HP LaserJet с интерфейсом JetDirect), стало возможным более гибкое расположение и управление. И принтеры стали независимы от компьютеров.
Системы хранения движутся в том же направлении. Сегодня, если пользователю начинает не хватать дискового пространства, он добавляет жёсткие диски. Но при этом возникают и проблемы с расположением хранимых данных, доступной ёмкостью или с ситуациями, связанными с простоем файлового сервера.
Действительно, сегодня даже малому бизнесу следует рассмотреть вопрос о переходе с файловых серверов на сетевые устройства хранения (NAS) или гибкие системы накопителей внутри сети хранения (SAN). Подобные сетевые решения увеличивают гибкость, масштабируемость, доступность. Возрастают и возможности резервирования, а физическое расположение сервера уже не играет роли.
Цели и задачи iSCSI
iSCSI предусматривает сервер/target и множество клиентов-инициаторов. Сервер (цель/target iSCSI) представляет собой либо выделенный под хранение данных компьютер, либо сервер, имеющий доступ к напрямую подключённому хранилищу. Программное обеспечение, управляющее хранилищем, может быть либо частью операционной системы (как в случае Open-E iSCSI), либо просто устанавливаться на существующую ОС. Для сравнения системы Open-E iSCSI с high-end конкурентами мы использовали программный пакет DataCore SANmelody iSCSI.
Клиенты называются инициаторами/initiator iSCSI. Если у вас есть пользовательская учётная запись с правами доступа к требуемому серверу/target iSCSI, можно использовать инициатора Microsoft iSCSI Initiator: его можно скачать бесплатно на сервере Microsoft. Для входа на сервер/target iSCSI он использует протокол CHAP (Challenge Handshake Authentication Protocol). Достаточно просто указать IP-адрес сервера iSCSI и учётные данные. После входа накопитель iSCSI появится в виде обычного диска под Windows, поскольку инициатор iSCSI работает как обычный накопитель (в принципе, он таковым и является). И хотя сервер хранения iSCSI может быть очень далеко, вы получите к нему такой же доступ, как и к локальному жёсткому диску.
Open-E iSCSI Enterprise 1.51 в деталях
Возможно, вам знакомы модули NAS, которые Open-E предлагает с начала 2004 года. Они представляют собой специальные системы Linux, хранящиеся на флэш-памяти, подключаемой к системе по интерфейсу UltraATA. После подключения модуля Open-E NAS к порту UltraATA компьютер можно загружать со специальной операционной системы, превращающей его в мощный и гибкий сервер NAS. Аппаратная конфигурация зависит от ваших требований: можно установить как один жёсткий диск, так и несколько контроллеров RAID (в версии Enterprise edition). Вся настройка выполняется через web-браузер.
Вполне понятно, что Open-E выполнила несколько модификаций ядра и системы. Open-E iSCSI точно так же устанавливается и работает на большинстве серверов, но вместо сервера NAS вы получаете сервер/target iSCSI. Большим преимуществом решения Open-E можно считать то, что в комплекте поставки вы получите собственный системный “диск” и операционную систему. Не нужно ничего докупать, либо выделять существующие ресурсы.
Есть и другая приятная особенность: потребитель может добавлять к системе хранения iSCSI (или серверу NAS) новые функции, просто обновляя программное обеспечение Open-E. Впрочем, установка обновлений оказалась не такой простой. После завершения регистрации продукта, которая необходима, нам не удалось провести модернизацию на материнской плате Gigabyte GA-955X Royal. Программа модернизации не смогла распаковать ядро. Пришлось перейти на материнскую плату MSI K8N Diamond Plus, после чего обновление успешно установилось.
Но поскольку большинство пользователей вряд ли захотят создавать high-end подсистему хранения на материнской плате потребительского уровня, мы всё же перешли на Asus MT4: серверную материнскую плату под Socket 775 со слотами PCI-X, встроенной графикой и двумя портами гигабитного Ethernet. Мы выбрали контролер AMCC 9550SX SATA II RAID (он входит в список совместимых устройств Open-E) и решили создать массив RAID 0 на четырёх приводах Seagate NL35 (по 400 Гбайт каждый). RAID 0, конечно, не является надёжным массивом, но он позволяет найти “узкие места” в нашей системе.
Для загрузки системы придётся ввести пароль по умолчанию. Open-E поддерживает английский и немецкий языки, так как компания находится в Германии. Для настройки к системе Open-E iSCSI можно обращаться из любого места сети через защищённый протокол HTTP web-браузера.
Настройка
Система Open-E iSCSI во многом основывается на Open-E NAS, поэтому мы без удивления встретили поддержку образов системы (Snapshots), адаптеров Fibre Channel и многочисленных сетевых карт. Последние могут обеспечивать большую пропускную способность по сравнению с одним сетевым соединением благодаря функции iSCSI multi-path. Она поддерживается инициатором Microsoft iSCSI Initiator, но, конечно, не всеми существующими решениями. Впрочем, можно использовать несколько сетевых карт для разделения сервера iSCSI между разными подсетями.
Статус системы
Конфигурация сервера/target
Напомним, что мы использовали мощный SATA RAID-контроллер и четыре жёстких диска. Все важные настройки, включая физическое создание массива, можно выполнить через весьма удобный web-интерфейс. Единственное, что придётся выполнять локально, – удаление RAID-массивов. По соображениям безопасности эту операцию можно выполнить только через локальный интерфейс RAID-контроллера. Мы использовали локальный интерфейс для создания одного большого массива RAID 0 ещё до загрузки Open-E iSCSI.
Наши четыре жёстких диска на 400 Гбайт дали массив ёмкостью 1490 Гбайт, поскольку на самом деле объём каждого диска составлял 372 Гбайт, а не 400. Килобайт на самом деле всё же 1024 байта, а не 1000, как думают производители винчестеров.
Для выбора размера хранилища iSCSI можно использовать движок (см. иллюстрацию выше). Кроме того, можно выделить пространство для создания образов, которые позволяют резервировать данные основного хранилища.
Следующим шагом в создании сервера iSCSI можно считать ввод имени цели/target.
Не забывайте поставить галочку, чтобы включить доступ учётной записи, которую вы только что указали. Кроме того, для усиления безопасности можно ограничить доступ по IP.
Datacore SANmelody 2.0
SANmelody можно интегрировать в консоль Microsoft Storage Management.
SANmelody существует на рынке дольше, чем Open-E iSCSI, и является более мощным решением iSCSI. Впрочем, для реализации SANmelody необходим полнофункциональный сервер, включающий системный жёсткий диск и лицензию на операционную систему. Кроме того, цены на SANmelody начинются с $1178, что примерно в два раза выше, чем Open-E iSCSI Enterprise edition. Кроме того, $864 можно потратить на модернизацию, которая обеспечит функции создания образов и автоматической инициализации (она будет выделять доступную ёмкость динамически). Приятные функции. Но за поддержку многотерабайтных массивов и нескольких процессоров придётся ещё доплачивать.
За исключением версии начального уровня, SANmelody поддерживает Fibre Channel и предлагает ряд функций, до которых Open-E ещё далеко: можно указать автоматическую обработку сбоев (auto failover) и асинхронную репликацию IP (asynchronous IP replication), которая позволяет автоматически реплицировать данные по Интернету, то есть создавать всегда доступные зеркальные хранилища. Неплохая идея для приложений, где необходима максимальная отказоустойчивость. На следующей странице можно посмотреть список доступных версий. Кстати, если SANmelody не сможет удовлетворить ваши нужды, то обратите внимание на SANsymphony. Данное приложение нацелено на предприятия большого масштаба.
Недостатком можно считать более сложный интерфейс. Если с настройкой Open-E iSCSI справится даже новичок, то для настройки SANmelody необходимо обладать определённым запасом знаний.
Приложение DataCore хорошо масштабируется, но и стоит немало.
Серверы SANmelody Storage Server появляются внутри консоли Microsoft Management Console.
Можно посмотреть список доступных томов.
Создаём виртуальные диски
Чтобы инициаторы iSCSI (клиенты) получили доступное пространство, необходимо создать виртуальные диски.
Следует выделить и сетевые каналы. Можно выбрать и несколько сетевых адаптеров.
Наконец, доступные каналы следует связать с виртуальными дисками.
Microsoft iSCSI Initiator
Каждый инициатор iSCSI имеет своё имя и ряд настроек, касающихся аутентификации (через CHAP) и безопасности связи (IPsec).
Здесь следует указать сервер/target iSCSI. Серверы iSNS (Internet Storage Name Service) помогают найти серверы iSCSI. Впрочем, серверы iSNS используются только на крупных предприятиях.
Конечно, можно подключаться к нескольким серверам/target iSCSI одновременно. Можно использовать как одно сетевое соединение, так и несколько сетевых карт. Мы рекомендуем осуществлять доступ к производительным серверам iSCSI через разные сети, что позволяет сохранять производительность на высоком уровне.
Обратите внимание на опцию “Local adapter”: здесь вы можете указать карты с ускоренной обработкой iSCSI вместо клиента Microsoft. Здесь же следует ввести учётную запись CHAP.
Во время тестирования мы выбрали хранилище с небольшой ёмкостью, чтобы быстрее провести тесты.
Тестовая конфигурация
Система I (для DataCore SANmelody 2.0) | |
Процессоры | 2x Intel Xeon (ядро Nocona), 3,6 ГГц, FSB800, 1 Мбайт кэша L2 |
Платформа | Asus NCL-DS (Socket 604), чипсет Intel E7520, BIOS 1005 |
Память | Corsair CM72DD512AR-400 (DDR2-400 ECC, reg.), 2x 512 Мбайт, CL3-3-3-10 |
Системный жёсткий диск | Western Digital Caviar WD1200JB, 120 Гбайт, 7200 об/мин, кэш 8 Мбайт, UltraATA/100 |
Контролер накопителей | Intel 82801EB UltraATA/100 (ICH5), Adaptec AIC-7902 Ultra320 |
Сеть | Broadcom BCM5721, встроенный контроллер гигабитного Ethernet |
Видеокарта | Встроенная ATi RageXL, 8 Мбайт |
Система II (для Open-E iSCSI Enterprise 1.51) | |
Процессор | Intel Pentium 4 560 (ядро Prescott), 3,6 ГГц, FSB800, 1 Мбайт кэша L2 |
Платформа | Asus P5MT (Socket 775) Rev. 1.04, чипсет Intel E7230, BIOS 1001 |
Память | Corsair CM2X512A-5400UL (XMS5400 V1.2), 2x 512 Мбайт, DDR2-667 (266 МГц, CL4) |
Системный жёсткий диск | Samsung SpinPoint P120 P620JJ, 120 Гбайт, 7200 об/мин, кэш 8 Мбайт, SATA/300 |
Контроллер накопителей | Intel 82801UltraATA/100 (ICH7R), AMCC 3Ware 9550SX |
Сеть | Broadcom BCM5721 PCI-E Gb LAN |
Видеокарта | Встроенная ATi RageXL, 8 Мбайт |
Тесты | |
Измерение производительности | c’t h2benchw 3.6 |
Производительность ввода/вывода | IOMeter 2003.05.10 Fileserver-Benchmark Webserver-Benchmark Database-Benchmark Workstation-Benchmark |
Системное ПО и драйверы | |
ОС | Microsoft Windows Server 2003 Standard Edition, Service Pack 1 |
Драйвер платформы | Intel Matrix Storage Manager 5.1.0.1022 |
Графический драйвер | Драйвер Windows по умолчанию |
Жёсткие диски Seagate NL35
Open-E iSCSI Enterprise Edition 1.51
Скорость Open-E iSCSI Enterprise не ограничена. 90 Мбайт/с – близко к максимуму, который гигабитный Ethernet может обеспечить для iSCSI.
DataCore SANmelody 2.0
Скорость чтения данных решения DataCore SANmelody несколько ограничена, поскольку она не превышает 70 Мбайт/с.
Время доступа
Здесь Open-E iSCSI Enterprise обеспечивает определённо лучший результат. Действительно, время доступа 8,1 мс против 10,2 мс – разница есть. Конечно, может возникнуть логичный вопрос: как такое время доступа возможно с приводами на 7200 об/мин, которые обладают собственным временем доступа 12-14 мс. Всё дело в интеллектуальных алгоритмах кэширования решений iSCSI, которые и снижают время доступа. И хотя преимущество здесь есть, но оно не отражает среднее реальное время доступа сервера/target iSCSI.
Пропускная способность
Здесь результат отображает максимальную пропускную способность между сервером/target iSCSI и инициатором. Как видим, у Open-E iSCSI Enterprise пропускная способность упирается в ограничение гигабитного Ethernet.
Скорость передачи данных
Open-E лидирует по скорости передачи данных, хотя решение DataCore даёт лучшую минимальную скорость.
Время старта Windows XP в PCMark05
Хотя мы не встречали решение, которое загружало бы систему через накопитель iSCSI, мы решили добавить этот тест. Как видим, между DataCore и Open-E разница невелика. Open-E немного выходит вперёд.
Скорость записи файла в PCMark05
Опять же, система Open-E ненамного обгоняет конкурента.
Производительность ввода/вывода
Если вы пожелаете запускать через инфраструктуру iSCSI приложения, чувствительные ко времени доступа, то SANmelody от DataCore является определённо лучшим решением. В зависимости от длины очереди, оно способно обработать на 10-100% больше операций ввода/вывода в секунду по сравнению с Open-E iSCSI Enterprise.
Заключение
Хотя компания DataCore находится на рынке iSCSI ещё с 1998 года (дольше, чем Open-E), оба решения оставили очень хорошее впечатление. SANmelody от DataCore является полноценным программным решением для Windows Server. Оно масштабируемое, функциональное и мощное, но за любое добавление функций придётся доплачивать. В то же время, следует подчеркнуть, что SANmelody нацеливается на корпоративных потребителей.
Модули Open-E iSCSI поставляются с собственным программным обеспечением, которое вполне может потягаться с оболочкой SANmelody под Windows и широкой поддержкой драйверами от Microsoft. Но Open-E iSCSI может превратить практически любой компьютер в мощное решение iSCSI без покупки лицензии Windows, дорогого “железа” или сложного администрирования.
Будучи топовым решением в линейке продуктов, Open-E iSCSI Enterprise стоит в два раза меньше самого простого комплекта SANmelody. Последний, конечно, более мощный, но Open-E отличается лучшим соотношением цена/производительность для малого и среднего бизнеса. Доказательством могут служить наши тесты: Open-E iSCSI выходит вперёд во всех тестах, за исключением производительности ввода/вывода.
Сравнительная таблица функций
DataCore SANmelody 2.0 | Open-E iSCSI Enterprise 1.51 | |
Решение | Программное решение. Требует Windows XP или Windows Server и .net Framework | Решение на основе Linux, находящееся на флэш-модуле с интерфейсом UltraATA/100 |
Приложение | Выделенный или объединённый (shared) сервер хранения данных | Выделенный сервер хранения данных |
Инфраструктура | Ethernet, Fibre Channel | Ethernet, Fibre Channel |
Поддержка ускорителей iSCSI, сетей 10 GbE | Любые ускорители с драйверами под Windows | Chelsio 10 GbE |
Поддержка RAID | Любые массивы RAID с драйверами под Windows, программные массивы RAID под Windows | Большинство карт от AMCC/3Ware, Adaptec, ICP Vortex, Intel, LSI Logic. Программные массивы RAID |
Поддержка сетевых карт | Любые сетевые карты с драйверами под Windows | Множество карт |
Поддержка Fibre Channel HBA | Любые карты с драйверами под Windows | Emulex, Qlogic |
Поддержка нескольких линий/ балансировка нагрузки | Microsoft Multipath I/O | Да |
Безопасность данных | IPsec, Secure LUN allocation, iSCSI CHAP, asynchronous IP replication | IPsec, iSCSI target passwords, iSCSI CHAP |
Отказоустойчивость | Опция “Auto failover” SANmelody | Secondary HBA takeover |
Создание образов (Snapshot) | Полный образ, обновление образа, обновление источника. Может использовать Windows Volume Shadow Copy | Полный образ с возможностью задания расписания |
Возможности томов | Все возможности Windows Server 2003 Storage Services. Virtual Disks, Volume Shadow Copies, Multipath I/O Auto provisioning (динамическое выделение ёмкости) | Группировка нескольких томов, онлайновое расширение ёмкости |
Улучшение производительности | Кэширование операций ввода/вывода с помощью оперативной памяти | Нет информации |
Администрирование | Microsoft Management Console, права контролируются ОС | Web-интерфейс SSL, несколько уровней доступа |
Поддержка UPS | Да, на основе ОС | Да, с поддержкой SNMP |
Оповещение по Email | Да | Да |
Журналирование | Да | Да |
Поддержка нескольких процессоров | 1, 2 или 4 (в зависимости от версии пакета) | До восьми логических процессоров |
Аппаратные требования | x86 PC, 300+ МГц, 512 Мбайт памяти, 65-Мбайт дисковое пространство, сетевая карта | x86 PC, рекомендуется 1,4+ ГГц, 512 Мбайт памяти, рекомендуется RAID-контроллер, сетевая карта |
Программные требования | Windows XP Home/Pro или Windows Server 2003 с .net Framework | Нет |