Обзор и тест серверного твердотельного накопителя Kioxia CD6-V – THG.RU

Обзор Kioxia CD6-V | Введение

Интерфейс NVMe за последние несколько лет серьёзно потеснил в серверах SAS, а тем более SATA. Производительность контроллеров твердотельных накопителей росла с каждым годом, и теперь инженеры столкнулись с необходимостью увеличить пропускную способность интерфейса. Большая часть стандартных NVMe-накопителей использует всего четыре линии PCIe, и со временем этого стало не хватать.

Появление нового поколения шины — PCIe 4.0 – позволило удвоить пропускную способность и устранить ограничения производительности накопителей при последовательном доступе. Kioxia CD6-V принадлежит к линейке новых серверных твердотельных накопителей от Kioxia, и это один из первых накопителей на рынке с поддержкой PCIe 4.0.

Данные накопители рассчитаны на круглосуточную эксплуатацию в центрах обработки данных. Они обеспечивают стабильный уровень производительности при различных нагрузках. Помимо поддержки нового поколения PCIe в Kioxia CD6 появилась поддержка стандарта SFF-TA-1001, известного так же как U.3. Новый стандарт позволяет решить проблему совместимости кабелей, бэкплейнов и контроллеров от разных производителей в системах с универсальными дисковыми слотами, рассчитанными на подключение накопителей SATA, SAS и PCIe. Контактные группы для двух из четырёх линий PCI-e в новом стандарте перемещены на те же контакты, которые использует SAS. Предусматривает стандарт и обратную совместимость – накопители U.3 должны работать в разъёмах U.2.

Но главное нововведение U.3 — вовсе не перемещение нескольких контактов, а управление подключением устройств с различными интерфейсами. Данный процесс будет существенно упрощён за счёт UBM (Universal Backplane Manager), который предусматривает наличие на бэкплейне дополнительного контроллера. Контроллер UBM может менять конфигурацию интерфейсов на входе и выходе бэкплейна в зависимости от подключаемых накопителей и инициаторов. Наконец, решается проблема подключения большого количества накопителей NVMe к универсальным бэкплейнам, так как на бэкплейне с UBM можно разместить коммутатор PCIe и SAS-экспандер.

Обзор Kioxia CD6-V | Технические характеристики

Семейство накопителей Kioxia CD6 делится на две линейки: CD6-R и CD6-V. Они отличаются уровнем заводского over-provisioning’а (размером резервной области) и ресурсом — 1 или 3 цикла перезаписи всего объёма накопителя в день на 5 лет. Накопители используют хорошо зарекомендовавшую себя 96-слойную 3D TLC память KIOXIA BiCS FLASH, которая позволила создать достаточно производительные модели объёмом до 15,36 ТБ. Все накопители CD6 имеют встроенную защиту от аварийного отключения питания (PLP, Power Loss Protection).

Обзор Kioxia CD6-V | Конструкция

Накопитель Kioxia CD6-V заключён в металлический корпус толщиной 15 мм и по внешнему виду неотличим от предыдущего поколения CM5/CD5. Под тонкой верхней крышкой находится штампованный теплоотвод. Торцы крышки имеют перфорацию для обеспечения хорошего обдува накопителя, ведь по стандарту NVMe SSD этого форм-фактора могут потреблять до 25 Вт.

Для поддержания высокого уровня производительности серверным накопителям большого объёма нужно много оперативной памяти. В данном случае мы видим шесть чипов Samsung K4A8G085WB-BCTD по 8 гигабит DDR4-2666.

При аварийном отключении питания накопителю нужно обеспечить достаточно время работы для записи метаданных и содержимого кэша записи из DRAM в NAND. За это отвечает специальная схема, которая получает питание от шести электролитических конденсаторов ёмкостью по 220 мкФ производства японской компании Chemi-Con.

Контроллер вместе с чипами DRAM и NAND через теплопроводящие прокладки контактируют с радиатором верхней крышки и с массивной нижней крышкой. Тестирование накопителя проводилось на открытом стенде с охлаждением относительно медленным 80-мм вентилятором. Показания термодатчика не превысили 55 °C.

Сердце накопителя — контроллер Kioxia TC58NC1132GTC. Дополнительная маркировка указывает на то, что в разработке контроллера принимала участие компания Marvell.

Обзор Kioxia CD6-V | Тестирование

Для тестирования современных быстрых твердотельных накопителей крайне желательно использовать процессор с не менее чем 8 ядрами с частотой от 2,4 ГГц. В данном случае необходимо было также проверить тестируемое устройство с подключением к PCIe 4.0. Так что мы собрали стенд на базе материнской платы Supermicro H12SSL-i, поддерживающей процессоры AMD EPYC второго поколения (Rome) и шину PCIe 4.0. Плата имеет встроенный ретаймер на 8 линий PCIe, но выведены они на разъём Slimline х8, и так как в нашем распоряжении не было ни нужного бэкплейна, ни кабеля для прямого подключения накопителя U.3, то Kioxia CD6-V был установлен в простой переходник, позволяющий подключить накопитель 2,5″ к стандартному слоту расширения PCIe.

Все тесты выполнялись после обязательной предварительной нагрузки (preconditioning’а) в виде двукратного заполнения накопителя.

Тест 1: IOPS

Первый тест — относительно простой, он заключает в получении количества операций ввода-вывода в секунду (IOPS) при случайном доступе с разными размерами блока и соотношениями чтение/запись. Тест запускался в 16 потоков с глубиной очереди 32 каждый.

Kioxia CD6-V действительно может преодолеть порог в один миллион IOPS на чтение блоками 4 КиБ. При смещении нагрузки в сторону увеличения доли записи производительность плавно снижается. Kioxia заявляет уровень в 160 тысяч IOPS, это устоявшаяся производительность после продолжительной нагрузки на запись. Наш тест показал 329 тысяч, но он не предусматривает предельной нагрузки на запись — такой режим будет проверен в четвёртом тесте.

Табличные данные теста:

Тест 2: Последовательный доступ

После усреднения результатов по 5 из 10 тестовых раундов с последовательной нагрузкой блоками по 128 КиБ мы получили следующие цифры:

• чтение: 5687 МиБ/с
• запись: 2327 МиБ/с

Здесь мы наглядно видим, зачем нужен переход на PCIe 4.0. Практическая пропускная способность PCIe 3.0 (с учётом накладных расходов) составляет около 985 МиБ/с, то есть для 4 линий получается 3940 МиБ/с. Как видите, производительность современных накопителей PCIe уже превышает этот порог.

Тест 3: Задержка

Разумеется, IOPS не является единственной метрикой. Важно выяснить, при каком уровне задержки достигается полученное количество IOPS и насколько велика дисперсия этой задержки.

Для этого теста мы использовали случайный доступ блоками 4 КиБ с различными соотношениями чтение/запись и постепенно увеличивали эффективную глубину очереди — от 1 потока с глубиной очереди 1 до 16 потоков с глубиной очереди 64. На графиках видна зависимость задержки (в микросекундах) от IOPS.

Мы видим, что Kioxia CD6-V отлично справляется с нагрузкой на чтение и смешанной нагрузкой: для чтения средняя задержка во всём диапазоне не превышает типичные для высокопроизводительных современных накопителей 200 мкс. При добавлении 30% записи задержка растёт, но её можно считать достаточно низкой примерно до 350 тысяч IOPS. Если обратить внимание на чистую запись, то видно, что дальше 160 тысяч IOPS накопитель не масштабируется — в полном соответствии с официально заявленными характеристиками.

Значение задержки остаётся достаточно стабильным. 99-й перцентиль для непростой нагрузки 70/30 чтение/запись начинает выходить за пределы 3 мс (задержки, сопоставимой по уровню с дисками на 15 тыс. об/мин) лишь после 350 тысяч IOPS.

Тест 4: Write Saturation (предельная нагрузка на запись)

Что произойдёт с накопителем после непрерывной нагрузки на запись со случайным доступом в течение шести часов? Запас подготовленных для записи блоков будет исчерпан, контроллеру придётся непрерывно освобождать место под новую запись, то есть, по сути, параллельно заниматься перемещением данных, «сборкой мусора». Естественно, это влияет на производительность — для всех твердотельных накопителей она резко снижается при достижении определённого порога.

Приблизительно после 60 минут производительность падает с более чем полумиллиона до заявленных 160 тысяч IOPS. Посмотрим, как ведёт себя задержка (эффективная глубина очереди для данного теста составляет 4х32=128):

Даже при такой экстремальной нагрузке Kioxia CD6-V обеспечивает достаточно стабильный уровень задержек. Мы не обнаружили никаких высоких пиковых значений задержки даже для значения в «четыре девятки» (перцентиль 99,99%).

Обзор Kioxia CD6-V | Заключение

Компании Kioxia удалось значительно улучшить результат очень удачной предыдущей линейки CD5. Увеличение производительности контроллеров, совершенствование технологии производства NAND BiCS FLASH и появление поддержки PCIe последнего поколения привели к значительному росту общей производительности новых накопителей. Для того чтобы полностью реализовать потенциал Kioxia CD6-V, мы рекомендуем использовать серверы с поддержкой PCIe 4.0 и U.3.

Обзор Kioxia CD6-V | Галерея