Seagate 10 Тбайт, HGST Ultrastar He10, WD Gold 8 Тбайт: обзор и тест HDD высокой ёмкости – THG.RU

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | Жёсткие диски с гелиевым наполнением

HGST, дочерняя фирма WD, первой добилась прогресса с гелиевыми HDD и начала поставлять модели He6 Ultrastar ёмкостью 6 Тбайт некоторым партнёрам ещё в 2013 году. Сначала гелиевые HDD стоили заметно дороже обычных дисков, но технология быстро получила широкое распространение и цена постепенно снижалась. HGST не остановилась на достигнутом и развивает свою платформу. После He6 появились жёсткие диски Ultrastar He8 8 Тбайт, которые более года считались лучшими винчестерами для корпоративного сегмента, а теперь череду побед HGST намерен продолжить Ultrastar He10 10 Тбайт.

Возможно, Seagate и опоздала с выпуском гелиевых HDD, но представила весьма многообещающие диски ёмкостью 10 Тбайт, не забыв про настольные ПК (англ.).

Министерство коммерции КНР на несколько лет задержало полную интеграцию WD и HGST, поэтому WD не участвовала в разработке и развитии гелиевых HDD, пока её дочерняя фирма завоёвывала лидерство на этом рынке. Недавно министерство ослабило ограничения (англ.) позволив WD использовать технологии HGST в своих продуктах, и в скором времени WD выпустила свой первый гелиевый жёсткий диск. WD Gold ёмкостью 8 Тбайт построена на основе лучших технологий HGST, но это лишь промежуточная модель новой линейки гелиевых жёстких дисков WD. Недавно компания анонсировала серию HDD ёмкостью 10 Тбайт.

Диски Seagate и WD/HGST, участвующие в сегодняшнем обзоре, используют инновационные системы кэширования, повышающие скорость передачи данных произвольного типа. Однако для достижения близких показателей компании используют разные подходы.

SSD – модные, но по-прежнему дорогие

Проблема хранения постоянно растущих объёмов данных сегодня решается как в традиционных локальных корпоративных приложениях, так и в гипермасштабируемых ЦОДах, на базе которых реализованы облачные технологии. Поток новых данных никогда не заканчивается, но выделяемая на их хранение сумма денег остаётся на одном уровне. Другими словами, необходимо найти способ хранить больше данных при неизменной сумме денег. Этого прозе всего добиться путём увеличения плотности диска – это снижает стоимость сразу по нескольким направлениям.

Многие десятилетия жёсткие диски являлись основой дата-центров, но новые продукты на базе флеш-памяти вынудили крупных производителей наращивать ёмкость своих HDD, чтобы выжить на рынке. SSD легко обходят HDD по многим ключевым показателям, включая скорость, потребляемую мощность и плотность. Благодаря этим преимуществам они вытесняют HDD во многих чувствительных к производительности задачах. Но к счастью для производителей HDD, SSD пока не могут конкурировать по стоимости. На сегодняшний день цена за гигабайт ёмкости самых дешёвых SSD потребительского класса находится в диапазоне $0,25-$0,30 за Гбайт, но отрасль сейчас страдает от нехватки NAND-памяти, что может привести к повышению цен. Самые простые модели SSD стоят в пять раз дороже HDD аналогичной ёмкости – это неприемлемо для больших систем хранения данных.

По показателю цены за гигабайт ёмкости HDD имеют значительное преимущество, но по мере развития технологий флеш-память становится более конкурентоспособной по стоимости. Чтобы увеличить плотность и снизить стоимость жёстких дисков, производители исследовали несколько новых методов записи, но только несколько из них оказались экономически выгодными для массового производства. К сожалению, популярность как минимум одного из этих методов оказывается не так высока, как хотели бы производители.

Технологии записи

Технология Shingled Magnetic Recording (SMR) или так называемая черепичная запись кажется самым многообещающим решением ближайшего будущего, она увеличивает плотность посредством частичного наложения записанных дорожек друг на друга. Стоимость гигабайта ёмкости при таком методе записи составляет всего $0,03/Гбайт, но он имеет побочные эффекты, сказывающиеся на скорости диска, а для полноценной реализации требуется специализированная вычислительная архитектура. На потребительском рынке появились несколько дисков с технологией SMR, но более широкий сегмент, похоже, не сильно приветствует SMR. По аналогии с технологией SSHD, внедрение SMR произошло без особой огласки.

Современная технология перпендикулярной записи (PMR) быстро приближается к своему пределу плотности, который составляет приблизительно ~1,25 Тбит/кв. дюйм, но в долгосрочной перспективе есть другие многообещающие методы (англ.). Метод Heat Assisted Magnetic Recording (HAMR) (Метод тепловой магнитной записи) использует ~50 нанометровый лазер для увеличения плотности записи до 5 Тбайт/кв. дюйм. Метод Heated-Dot Magnetic Recording (HDMR) использует комбинацию лазеров и структурированной нанолитографии, где каждая ячейка соответствует одному биту информации, что позволяет повысить плотность записи до 10 Тбит/кв.дюйм.

Использование лазеров при записи воодушевляет, но пока эта технология далёкого будущего. Чтобы закрыть образовавшийся пробел, индустрии нужны краткосрочные решения, и несколько десятилетий назад производители HDD начали экспериментировать с гелием. К сожалению, использование гелия преподносит производственные и экономические трудности, ограничивающие его техническую применимость, не говоря уже о рисках утечки газа.

Преимущества гелиевого наполнения

Идея заполнения внутреннего пространства HDD гелием вместо воздуха достаточно привлекательна, поскольку его плотность составляет 1/7 от плотности воздуха. Пониженное сопротивление снижает воздушную турбулентность, уменьшая дрожание и вибрацию головки. Более устойчивая внутренняя среда позволяет производителям HDD использовать более тонкие и лёгкие пластины, и как следствие устанавливать больше пластин для увеличения плотности. Пониженное сопротивление и вес снижают усилие, необходимое электродвигателю для раскрутки пластин, что в свою очередь положительно сказывается на энергопотреблении. Кроме того, инженерам не приходится жертвовать скоростью вращения шпинделя.

В обычных жёстких дисках с воздушным наполнением есть вентиляционное отверстие для компенсации давления, но гелиевые HDD полностью запечатаны, благодаря этому их можно использовать во влажной или пыльной среде без специальных средств. Привлекательным качеством для дата-центров с открытой системой воздушного охлаждения является повышенная устойчивость к деформации. Благодаря пониженной вибрации и герметичному корпусу среднее время наработки на отказ составляет 2,5 миллиона часов. К тому же, гелиевые HDD вырабатывают меньше тепла, поэтому имеют более низкие требования к охлаждению и увеличенный срок службы.

HGST и WD используют процесс лазерной сварки, которая герметично запечатывает корпус, а Seagate применяет метод широкого сварного шва. Оба метода снижают вес жёсткого диска с гелием и необходимость в соединительном крепеже. На первый взгляд, вес жёсткого диска не кажется серьёезной проблемой, однако серверы и ЦОДы часто ограничены максимальной нагрузкой на пол, особенного, когда они развернуты в многоэтажных зданиях.

Гелий решает три основных проблемы современных дата-центров: снижает энергопотребление и требования к охлаждению, повышает эффективность занимаемого пространства за счёт увеличения плотности. Производители HDD также могут использовать гелиевую архитектуру в сочетании с другими методами записи, которые появятся в будущем, например TDMR (использует несколько считывающих головок для улучшения чтения более тонких дорожек с данными), SMR, HAMR и HDMR. Движение в этом направлении позволит компаниям получить долгосрочную отдачу от расходов на НИОКР.

Участники тестирования

Сегодня мы тестируем флагманские жёсткие диски с гелиевым наполнением ёмкостью 10 Тбайт от HGST и Seagate, а также гелиевый HDD WD Gold на 10 Тбайт. У Toshiba пока нет гелиевых HDD, поэтому в тестах она не участвует, хотя компании заявляет, что в скором времени они появятся.

Далее мы подробнее рассмотрим выбранные диски, а затем проверим их на нашем тестовом стенде.

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | HGST Ultrastar He10 10 Тбайт

В HGST Ultrastar He10 ёмкостью 10 Тбайт используется третье поколение архитектуры HelioSeal – это фирменный метод герметизации дисков. Модель He10 представлена в версиях SAS 12 Гбит/с и SATA 6 Гбит/с. Также существует версия ёмкостью 8 Тбайт, которая приходит на смену дискам He8 предыдущего поколения. HGST по-прежнему использует PMR и технологию кэширования носителя для повышения скорости произвольной записи.

В состав HDD на 10 Тбайт входят 7 пластин и 14 головок, скорость вращения шпинделя – 7200 об/мин. Такую конфигурацию в компании называют “архитектурой 7Stac “. Модель ёмкостью 8 Тбайт имеет 7 дисков и 12 головок. У версии 10 Тбайт постоянная скорость передачи данных существенно выше по сравнению с версией 8 Тбайт. По расчетам HGST, количество циклов перемещения блока магнитных головок в парковочную зону/рабочее положение составляет 600000 – это критически важный показатель для условий с интенсивным режимом работы. Наработка на отказ диска He10 составляет 2,5 миллиона часов (новый стандарт для гелиевых дисков) а гарантия – пять лет. Диск оснащается функциями Instant Secure Erase (ISE) и Self-Encrypting Drive (SED), плотность записи составляет 816 Гбит/кв. дюйм.

Модель на 10 Тбайт с подключением SAS 12 Гбит/с потребляет больше мощности, чем версия с подключением SATA 6 ГБит/с, однако это обычное явление для двухпортового соединения SAS.

Компания HGST первой представила на рынке новую технологию кэширования носителя, которая дебютировала в жёстких дисках серии 10K и 15K, а затем была перенесена на модели большей емкости. Seagate представила свой собственный метод, он отличается с точки зрения архитектуры, но конечный результат получается таким же.

HDD используют DRAM для кэширования входящих данных, но эта память энергозависима, и в случае потери мощности информация, находящаяся в DRAM, может быть утеряна. Энергозависимость ограничивает безопасный объём кэша, но технология кэширования носителя HGST обеспечивает защищённое от сбоев питания кэширование операций произвольной записи, сохраняя данные на зарезервированных разделах диска.

Инженеры HGST создали на HDD небольшие зоны кэширования, благодаря которым головкам приходится меньше двигаться и скорость повышается. HDD дублирует данные в DRAM-буфере в эти зоны и в случае отключения питания копия всех данных в кэше будет находится на диске. Эта технология позволяет HDD производить более эффективную конкатенацию множества маленьких операций записи, прежде чем отправить данные на постоянное хранение. Данный метод значительно повышает скорость произвольной записи жёсткого диска, обеспечив один из самых больших скачков скорости выполнения смешанных задач за последнее время. В отличие от некоторых других методов кэширования, здесь кэш никогда не заполнится, поэтому диск постоянно работает с высокой скоростью. По этой ссылке (англ.) можно найти более подробное описание метода кэширования диска HGST.

Компания HGST стала первым производителем гелиевых жёстких дисков и сейчас лидирует на рынке: число проданных накопителей на декабрь 2015 года составило более 4,25 млн. штук. Количество моделей с гелиевым наполнением по сравнению с обычными воздушными дисками пока остается маленьким, но благодаря высокой плотности их совокупная ёмкость составляет более 25% от всех экзабайт, проданных в прошлом году (согласно данным HGST).

Корпус HE10 герметично запечатан, поэтому остаётся только догадываться, какая начинка спрятана внутри, хотя после извлечения PCB из корпуса диска нам удалось установить некоторые элементы устройства. Синяя пенополиуретановая подкладка уменьшает вибрацию между двумя компонентами, а маленькая теплопроводящая прокладка сверху контроллера передаёт тепло на корпус диска, который действует как большой радиатор. Для соединения с печатной платой используются плоские контактные площадки, хотя в He8 применялись пины.

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | Seagate Enterprise Capacity 10 Тбайт HDD

Жёсткий диск Seagate HDD Enterprise Capacity на 10 Тбайт построен на базе архитектуры шестого поколения, включающей много вариантов ёмкости, но только 10-терабайтная модель имеет гелиевое наполнение. Seagate не раскрывает деталей своей конструкции так, как конкуренты, но нам известно, что в нём используется основание из кованого алюминия и газонепроницаемый корпус. Для спаивания корпуса применяет техника широкого сварного шва.

Гелиевые HDD Seagate с технологией PMR имеют ёмкость 10 Тбайт и могут подключаться через интерфейс SAS 12 Гбит/с и SATA 6 Гбит/с. На бумаге также существует 8-теребайтная версия, но пока она недоступна. По сравнению с диском HGST, SATA-версия накопителя Seagate имеет более высокую среднюю операционную мощность 1,5 Вт, но по сравнению с воздушным HDD на 8 Тбайт предыдущего поколения, этот показатель снизился на 3 Вт. Кроме того, накопитель потерял 160 граммов веса (650г, на 10 г легче диска HGST). В Seagate 10 Тбайт также установлены 7 пластин и 14 головок, но он имеет более высокую поверхностную плотность записи 867 Гбит/кв. дюйм.

В Seagate утверждают, что скорость произвольного чтения и записи блоками 4 Кбайт при глубине очереди равной 16 командам на её диске может достигать 170/370 IOPS, что сильно отличается от списков характеристик других HDD, в которых нередко вообще избегают указывать данные о скорости произвольных операций. HDD Seagate достигает таких внушительных показателей произвольной записи за счёт функции Advanced Write Caching.

Свою новую технологию кэширования Seagate представила в жёстких дисках емкостью 8 Тбайт (англ.), но в нём реализован уникальный механизм кэширования. Если HGST отдаёт часть диска под энергонезависимый кэш, то Seagate использует постоянный буфер NOR-памяти для кэширования произвольных операций записи, а затем быстро переносит эти данные обратно на диск. В модели ёмкостью 10 Тбайт объём NOR-памяти был удвоен до 4 Мбайт, и она никогда не переполняется.

Seagate 10 Тбайт HDD имеет пятилетнюю гарантию. Среднее время наработки на отказ составляет 2,5 миллиона часов при номинальной рабочей нагрузке 550 Тбайт в год или 600000 циклов. Новая серия оснащается функциями диагностики и Secure Download (безопасная загрузка), кроме того Seagate предлагает модели с поддержкой технологии шифрования Secure Self-Encrypted Drive (SED), соответствующие стандартам FIPS.

Маленькая печатная платf подключается к основной части диска посредством контактных площадок. На снимках также виден чип DRAM Micron на 256 Мбайт и контроллер моторчика SMOOTH. Противоположные углы платы занимают два датчика ускорения, которые позволяют обнаруживать вибрацию и противодействовать ей. HDD управляется контроллером Avago.

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | WD Gold 8 Тбайт HDD

WD Gold ёмкостью 8 Тбайт является первым гелиевым HDD этого производителя, при том, что WD владеет компанией HGST, которая в настоящий момент является лидером в производстве гелиевых дисков. Из-за трудностей с поглощением WD пришлось ждать возможности использовать технологию HGST HelioStack. Министерство торговли КНР лишь недавно сняло ограничения на обмен технологиями, и сейчас WD увеличивает производство HDD с гелием. Модели высокой плотности уже на подходе.

WD любит использовать фирменные цвета в оформлении потребительских продуктов, и эта черта стала проявляться в решениях корпоративного класса. Похоже, серия Gold заменяет марку Re, в под которой в последние годы продавались жёсткие диски WD высокой ёмкости. В серию Gold также входят модели на 4 и 6 Тбайт, но это стандартные воздушные модели.

По многим параметрам WD Gold похож на He8 от HGST. Он использует технологию кэширования носителя от HGST для ускорения произвольной записи до 30% по сравнению с дисками WD предыдущего поколения. Кроме того, у HGST была позаимствована архитектура 7Stac на 7 пластин и 14 головок. По заявлениям представителей WD, переход к использованию гелия, наряду с новой электроникой, снижает энергопотребление до 26% (по сравнению с моделью ёмкостью 6 Тбайт).

По сравнению с конкурирующими дисками на 10 Тбайт, у WD Gold 8 Тбайт более низкая постоянная скорость передачи данных и вдвое меньший объём кэша (128 Мбайт, как у HDD HGST HE8). Мы рассчитываем, что этот накопитель тоже покажет высокую скорость произвольной записи и смешанных операций с произвольным доступом.

Заявленное количество циклов парковки/выгрузки головки составляет 600000, а гарантийный срок – пять лет. Диск весит 650 г, что подозрительно близко к He8. Серия Gold доступна только с интерфейсом SATA и использует стандартный PMR.

Печатная плата диска WD Gold имеет идентичную компоновку с PCB диска He 8 и также использует пины для подключения. При этом в версии WD применяются контроллер LSI TNN2683421 и DRAM-память Nanya.

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | Произвольное чтение и запись блоками 4 Кбайт

Чтобы узнать больше о нашей методике тестирования, ознакомьтесь со статьёй “How We Test Enterprise HDDs” (англ.), в которой объясняется, как интерпретировать графики с результатами. Измерения произвольных операций блоками 4 Кбайт описаны на второй странице, задержек – на пятой странице, а энергопотребления – на шестой.

Наш тестовая выборка состоит из жёстких дисков различной ёмкости со скоростью вращения шпинделя 7200 об/мин. HGST Ultrastar He10 подключается по интерфейсу SAS, что приводит к повышенному энергопотреблению по сравнению с другими моделями 10 Тбайт с подключением SATA. Эти факторы необходимо учитывать, поскольку они влияют на показатель цены за гигабайт ёмкости и параметры энергопотребления. Мы протестировали He10 в режиме одного порта, но модели с интерфейсами SAS и SATA обладают одинаковыми характеристиками производительности.

Сегодня мы тестируем и сравниваем жёсткие диски Seagate Enterprise Capacity v6 10 Тбайт, HGST Ultrastar He10 10 Тбайт, WD Gold 8 Тбайт, Seagate Enterprise Capacity v5 8 Тбайт и HGST Ultrastar He8 8 Тбайт. Тестирование проводилось в CentOS 7.2 (диспетчер CFQ) с HBA Avago 9305-16e. Все перечисленные диски разработаны для систем на 8+ отсеков в корпоративных приложениях RAID, SAN, NAS и DAS.

Произвольная запись блоками 4 Кбайт: динамика IOPS (Y) – секунды (X)

Произвольная запись блоками 4 Кбайт: динамика IOPS (Y) – секунды (X)

Произвольная запись блоками 4 Кбайт: динамика IOPS (Y) – секунды (X)

Задержка к IOPS – произвольная запись блоками 4 Кбайт: мс (Y) к IOPS (X)

QoS к IOPS- произвольная запись блоками 4 Кбайт, 90-й перцентиль: мс (Y) к IOPS (X)

Гистограмма – произвольная запись блоками 4 Кбайт, глубина очереди 32: % IOPS (Y) к диапазону задержки (мс)(X)

Стандартные отклонения к IOPS- произвольная запись блоками 4 Кбайт: станд. отклон. в мс (Y) к IOPS (X)

QoS – произвольная запись блоками 4 Кбайт, глубина очереди 32: мс (Y) к QoS (X)

Потребляемая мощность – произвольная запись блоками 4 Кбайт, глубина очереди 256: Вт (Y) на время (X)

IOPS на ватт – произвольная запись блоками 4 Кбайт, глубина очереди 256: тысяч IOPS (Y) на время (с)(X)

В большинстве тестов на произвольную запись блоками 4 Кбайт лидирует HGST He10 с внушительным средним показателем 405 IOPS, а Seagate 10 Тбайт и модель на 8 Тбайт дают приблизительно 380 IOPS. Seagate 10 Тбайт и HGST He10 страдают от снижения скорости при очень высокой глубине очереди: Seagate сдаётся на QD128, а He10 после QD256. Падение скорости, вероятно, связано с алгоритмами кэширования, хотя другие три диска используют похожие методы кэширования, но демонстрируют более высокую скорость. В реальных условиях эксплуатации диски редко работают при глубине очереди больше 16 команд, так что в большинстве случаев падение производительности не проявится.

HGST He8 и WD Gold 8 Тбайт показали почти идентичную скорость в 315 IOPS, налицо результат применения одной и той же технологии. WD недавно признала, что “упустила долю” на рынке накопителей ёмкостью 8 Тбайт, причиной тому мог стать большой разрыв в скорости между Seagate 8 Тбайт и WD Gold и He8.

Во время тестирования Seagate 10 Тбайт продемонстрировал рассеянный профиль производительности, но если более глубоко изучить графики задержки к IOPS и QoS, можно увидеть, что с ростом интенсивности рабочей нагрузки диск предлагает более высокую скорость, чем He10, а Seagate 8 Тбайт предыдущего поколения наглядно демонстрирует, почему он так популярен. HGST He10 сталкивается со скачками задержки при высокой глубине очереди, однако при QD32 он обеспечивает лучший показатель QoS.

Из-за своих особенностей (более высокая скорость, два порта) интерфейс SAS 12 Гбит/с всегда приводит к более высокому энергопотреблению по сравнению с SATA 6Гбит/с, поэтому конкурирующие диски с подключением SATA имеют преимущество перед He10 в тестах энергопотребления. Модель He10 с SATA в среднем потребляет на 2,7 Вт меньше, чем модель SAS (согласно спецификациям HGST).

По сравнению с воздушным HDD Seagate 8 Тбайт предыдущего поколения, новый Seagate 10 Тбайт имеет существенно меньшие аппетиты, однако SATA He10 потребляет примерно на один ватт меньше, чем Seagate 10 Тбайт. В любом случае, He10 производит хорошее впечатление, поскольку потребляет столько же энергии, как SATA He8 и WD Gold 8 Тбайт – это говорит о том, что даже с подключением SAS он обеспечивает более высокое соотношение потребляемой мощности на Тбайт ёмкости (благодаря разнице в 2 Тбайт).

Seagate лидирует по показателю IOPS и опережает соперников ёмкостью 8 Тбайт. Показатели энергоэффективности у SATA He10 также могут быть выше.

Произвольное чтение блоками 4 Кбайт: динамика IOPS (Y) – секунды (X)

Произвольное чтение блоками 4 Кбайт: динамика IOPS (Y) – секунды (X)

Произвольное чтение блоками 4 Кбайт: динамика IOPS (Y) – секунды (X)

Задержка к IOPS – произвольное чтение блоками 4 Кбайт: мс (Y) к IOPS (X)

QoS к IOPS- произвольное чтение блоками 4 Кбайт, 90-й перцентиль: мс (Y) к IOPS (X)

Гистограмма – произвольное чтение блоками 4 Кбайт, глубина очереди 32: % IOPS (Y) к диапазону задержки (мс)(X)

Стандартные отклонения к IOPS – произвольное чтение блоками 4 Кбайт: станд. отклон. в мс (Y) к IOPS (X)

QoS – произвольное чтение блоками 4 Кбайт, глубина очереди 32: мс (Y) к QoS (X)

HGST He10 лидирует в тестах на произвольное чтение и обходит Seagate 10 Тбайт, показав пиковую скорость 252 IOPS при QD256. Seagate с результатом 245 IOPS при QD256 может показаться чуть медленней, но после более детального изучения результатов становится очевидно, что на глубине очереди от 1 до 64 он имеет преимущество по скорости. Жёсткие диски класса nearline часто объединены в большие RAID-массивы или объектные хранилища, которые распределяют рабочую нагрузку на множество накопителей, поэтому скорость на низких глубинах очереди для них особенно актуальна. Seagate 10 Тбайт лидирует в лёгких нагрузках, а его единственный соперник – это его ёмкостью 8 Тбайт.

Обычно мы не учитываем рассеянные результаты в тестах произвольного чтения HDD, поскольку разница между конкурирующими продуктами небольшая и графики очень трудно интерпретировать либо они просто нечитаемые. Но сегодня при более детальном изучении мы получили интересные результаты от WD Gold 8 Тбайт и HGST He8. Оба диска демонстрируют самую низкую скорость в диапазоне QD64 – QD256, и этим они отличаются от остальных участников. Однако их будет трудно отличить друг от друга, поскольку во время тестов их профили производительности почти одинаковые, то есть графики точно накладываются друг на друга. Нам известно, что накопители WD и HGST базируются на одной и той же технологии, но результаты испытаний во время этой рабочей нагрузки наводят на мысль, что это фактически один и тот же диск.

Похожие результаты наблюдаются в тестах задержки к IOPS, QoS на гистогаммах. Кроме того, эти графики показывают, что He10 обеспечивает более высокую производительность при тяжёлых нагрузках, а конкуренты от Seagate быстрее справляются с лёгкими задачами.

Произвольное чтение и запись блоками 4 Кбайт: динамика IOPS (Y) – секунды (X), смешанные операции чтения/записи при QD32

Произвольное чтение и запись блоками 4 Кбайт: динамика IOPS (Y) – секунды (X), смешанные операции чтения/записи при QD32

QoS – произвольное чтение и запись блоками 4 Кбайт, 90-й перцентиль: мс (Y) к смешанным операциям чтения/записи при QD32 (X)

Момент истины наступает в тестах со смешанными типами нагрузки. Обычно производители накопителей хвастаются высокими показателями при чистых нагрузках на чтение или запись, чего добиться проще всего, но большинство реальных задач включают смесь операций чтения и записи. Этот тест состоит из чистых операций чтения (100/0) и записи (0/100) с левой и правой стороны графика соответственно. Начиная с чистого чтения, мы постепенно мы подмешиваем всё больше операций записи, чтобы проверить диск в более реалистичных условиях.

Seagate проявляет склонность к произвольным операциям чтения, поскольку он лидирует на левой стороне графика, но HDD He10 предлагает больше скорости начиная с соотношения чтение/запись 70/30 и заканчивая 30/70.

Диски He10 и WD Gold 8 испытывают существенное снижение скорости при соотношении 20/80 и 90/10. Мы уже наблюдали нечто подобное, когда HGST представила революционную технологию кэширования носителя в HDD 15K, но тенденция прекратилась на вышедших позже моделях, например, 10K и дисках со скоростью вращения шпинделя 7200 об/мин. Проблема возникла вновь, хотя и проблемой её назвать трудно, поскольку такие ситуации встречаются чрезвычайно редко, особенно в свете преобладания в приложениях большой ёмкости последовательных операций.

В этом тесте мы также заметили одно из немногих отличий между He8 и WD Gold 8 Тбайт. При выполнении интенсивных операций смешанного типа He8 предлагает устойчивый уровень производительности, в то время как WD Gold проседает.

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | Произвольное чтение и запись блоками 8 Кбайт

Чтобы узнать больше о нашей методике тестирования, ознакомьтесь со статьёй “How We Test Enterprise HDDs” (англ.), в которой объясняется, как интерпретировать графики с результатами. Измерения произвольных операций блоками 8 Кбайт описаны на второй странице, задержки – на пятой странице, а энергопотребления – на шестой.

Произвольная запись блоками 8 Кбайт: динамика IOPS (Y) – секунды (X)

Произвольная запись блоками 8 Кбайт: динамика IOPS (Y) – секунды (X)

Произвольная запись блоками 8 Кбайт: динамика IOPS (Y) – секунды (X)

Задержка к IOPS – произвольная запись блоками 8 Кбайт: мс (Y) к IOPS (X)

QoS к IOPS – произвольная запись блоками 8 Кбайт, 90-й перцентиль: мс (Y) к IOPS (X)

Гистограмма – произвольная запись блоками 8 Кбайт, глубина очереди 32: % IOPS (Y) к диапазону задержки (мс)(X)

Стандартные отклонения к IOPS – произвольная запись блоками 8 Кбайт: станд. отклон. в мс (Y) к IOPS (X)

QoS – произвольная запись блоками 8 Кбайт, глубина очереди 32: мс (Y) к QoS (X)

Потребляемая мощность – произвольная запись блоками 8 Кбайт, глубина очереди 256: Вт (Y) на время (X)

IOPS на ватт – произвольная запись блоками 8 Кбайт, глубина очереди 256: тысяч IOPS (Y) на время (с)(X)

Показатели скорости произвольной записи блоками 8 Кбайт соответствуют тем же тенденциям, которые мы наблюдали в тестах с данными по 4 Кбайт. Судя по графику задержки к IOPS, He10 обеспечивает лучшую среднюю скорость при задержке 2,5 мс. Однако графики QoS и стандартного отклонения показывают, что диск страдает от более высоких колебаний скорости при лёгкой нагрузке (QD1-QD4). График QoS при глубине очереди 32QD демонстрирует, что диск He10 предлагает лучший уровень производительности при средних нагрузках. Снижение скорости Seagate 10 Тбайт и HGST He10 вновь проявляется при высокой глубине очереди, но такая высокая нагрузка редко возникает в условиях целевого рынка этих жёстких дисков.

На рассеянном графике скорости выполнения операций блоками данных 8 Кбайт показатели WD Gold и He8 выглядят очень похожими, это говорит о том, что сходства в тестах произвольной записи проявляются и в тестах чтения.

Графики измерений энергопотребления ничего нового не показали, результаты похожи на те, что мы видели в тестах с блоками 4 Кбайт.

Произвольное чтение блоками 8 Кбайт: динамика IOPS (Y) – секунды (X)

Произвольное чтение блоками 8 Кбайт: динамика IOPS (Y) – секунды (X)

Произвольное чтение блоками 8 Кбайт: динамика IOPS (Y) – секунды (X)

Задержка к IOPS – произвольное чтение блоками 8 Кбайт: мс (Y) к IOPS (X)

QoS к IOPS- произвольное чтение блоками 8 Кбайт, 90-й перцентиль: мс (Y) к IOPS (X)

Гистограмма – произвольное чтение блоками 8 Кбайт, глубина очереди 32: % IOPS (Y) к диапазону задержки (мс)(X)

Стандартные отклонения к IOPS – произвольное чтение блоками 8 Кбайт: станд. отклон. в мс (Y) к IOPS (X)

QoS – произвольное чтение блоками 8 Кбайт, глубина очереди 32: мс (Y) к QoS (X)

Очевидно, что Seagate настроила свой HDD ёмкостью 10 Тбайт на высокое масштабирование при работе с лёгкими операциями произвольного чтения, поскольку наибольшее преимущество вновь проявляется в диапазоне глубины очереди от 1 до 64 больших команд. WD Gold и He8 имеют в этих тестах пугающе близкие результаты. График QoS при QD32 показывает очень маленькую разницу между дисками на глубине очереди равной 32 с точки зрения скачков производительности. Гистограмма демонстрирует, что по сравнению с конкурирующими устройствами у дисков Seagate на 10 Тбайт и 8 Тбайт больше запросов попадают в диапазоны 1-2 мс и 4-10 мс. Такое распределение является прямым результатом повышенной скорости при измерениях на QD32.

Произвольное чтение и запись блоками 8 Кбайт: динамика IOPS (Y) – секунды (X), смешанные операции чтения/записи при QD32

Произвольное чтение и запись блоками 8 Кбайт: динамика IOPS (Y) – секунды (X), смешанные операции чтения/записи при QD32

QoS – произвольное чтение и запись блоками 8 Кбайт, 90-й перцентиль: мс (Y) к смешанным операциям чтения/записи при QD32 (X)

Здесь мы видим примерно те же результаты, что и в тестах со смешанными операциями блоками 4 Кбайт, только скорость ввода-вывода ниже из-за увеличенного размера файла. Создаётся впечатление, что He10 не кэширует операции произвольной записи блоками 8 Кбайт, поскольку он не обходит Seagate 10 Тбайт при соотношении чтение/запись 60/40%, как это было в тестах с блоками 4 Кбайт, хотя они пересекаются в точке 40/60%. Seagate 10 показывает преимущество в задачах с соотношением 80/20-60/40, которые являются наиболее распространёнными. Кроме того Seagate 10 Тбайт предлагает улучшенный профиль QoS в тестах со смешанными операциями ввода-вывода блоками 8 Кбайт.

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | Последовательное чтение и запись блоками 128 Кбайт

Чтобы узнать больше о нашей методике тестирования, ознакомьтесь со статьёй “How We Test Enterprise HDDs” (англ.), в которой объясняется, как интерпретировать графики с результатами. Измерения произвольных операций блоками 8 Кбайт описаны на второй странице, задержки – на пятой странице, а энергопотребления – на шестой.

Последовательная запись всей области LBA блоками 128 Кбайт: 32 OIO, динамика МиБ/с (Y) – секунды (X)

Последовательные операции ввода/вывода – это один из самых важных параметров для HDD класса nearline, поскольку он показывает скорость передачи больших файлов или перестроения RAID-массива. Мы начинаем тестирование с записи всей ёмкости диска от начала до конца области LBA, которая представляет собой непрерывный поток данных, заполняющих весь диск. С перемещением записывающих головок от края диска (слева) к внутренней части (справа) скорость устойчиво снижается. Она падает до тех пор, пока головка не вернётся к внешнему краю диска, это обозначается как большой скачок производительности на графике в конце теста.

Seagate 10 Тбайт записал всю поверхность дисков приблизительно за 14 часов. HGST He10 потребовалось на 30 минут больше. WD Gold 8 Тбайт и HGST He8 демонстрируют разные профили производительности, хотя в тестах произвольных операций ввода-вывода они были очень похожи. Seagate 8 Тбайт записал всю область LBA быстрее конкурентов.

Последовательная запись блоками 128 Кбайт: динамика МиБ/с (Y) – секунды (X)

Последовательная запись блоками 128 Кбайт: динамика МиБ/с (Y) – секунды (X)

Задержка к МиБ/с – последовательная запись блоками 128 Кбайт: мс (Y) к Мбайт/с (X)

QoS к Мбайт/с – последовательная запись блоками 128 Кбайт, 90-й перцентиль: мс (Y) к Мбайт/с (X)

Гистограмма – последовательная запись блоками 128 Кбайт, глубина очереди 32: % IOPS (Y) к диапазону задержки (мс)(X)

Стандартные отклонения к Мбайт/с – последовательная запись блоками 128 Кбайт: станд. отклон. в мс (Y) к Мбайт/с (X)

QoS – последовательная запись блоками 128 Кбайт, глубина очереди 32: мс (Y) к QoS (X)

Потребляемая мощность – последовательная запись блоками 128 Кбайт, глубина очереди 256: Вт (Y) на время (X)

Мбайт/с на ватт – последовательная запись блоками 128 Кбайт, глубина очереди 256: тысяч IOPS (Y) на время (с)(X)

HGST He10 опережает других участников в тесте последовательной записи блоками 128 Кбайт, но страдает от падения скорости в диапазоне QD128 – QD256. Диски Seagate, напротив, обеспечивают устойчивый уровень производительности при повышенных нагрузках, причём модель на 8 Тбайт заметно обгоняет HGST и WD 8 Тбайт.

Seagate 10 Тбайт и 8 Тбайт обеспечивают самую высокую общую производительность в тяжёлой части теста. Снижение скорости HGST под тяжёлой нагрузкой отражается на результатах тестов задержки и QoS. Однако он обеспечивает ощутимое преимущество во время лёгкой нагрузки при QD1.

Seagate 10 Тбайт потребляет меньше всего энергии, но если бы SATA-версия диска He10 соответствовала спецификациям HGST, её энергопотребление было бы намного ниже. Версия с интерфейсом SAS демонстрирует внушительные результаты, ей даже удаётся заметно превзойти Seagate 8 Тбайт с SATA-подключением и конкурировать с другими гелиевыми моделями ёмкостью 8 Тбайт.

Последовательная запись блоками 128 Кбайт: динамика МиБ/с(Y) – секунды (X)

Последовательная запись блоками 128 Кбайт: динамика МиБ/с (Y) – секунды (X)

Задержка к Мбайт/с – последовательная запись блоками 128 Кбайт: мс (Y) к Мбайт/с (X)

QoS к IOPS – последовательная запись блоками 128 Кбайт, 90-й перцентиль: мс (Y) к Мбайт/с (X)

Гистограмма – последовательная запись блоками 128 Кбайт, глубина очереди 32: % IOPS (Y) к диапазону задержки (мс)(X)

Стандартные отклонения к IOPS – последовательная запись блоками 128 Кбайт: станд. отклон. в мс (Y) к Мбайт/с (X)

QoS – последовательная запись блоками 128 Кбайт, глубина очереди 32: мс (Y) к QoS (X)

Во время всего теста HGST He10 обеспечивает лучшую производительность. WD Gold и He8 снова демонстрируют практически идентичные показатели. HGST He10 ведёт почти в каждой метрике, хотя Seagate 10 Тбайт претендует на его позиции на графике QoS при глубине очереди равной 32.

Последовательное чтение и запись блоками 128 Кбайт: динамика IOPS (Y) – секунды (X), смешанные операции чтения/записи при QD32

Последовательное чтение и запись блоками 128 Кбайт: динамика IOPS (Y) – секунды (X), смешанные операции чтения/записи при QD32

QoS – последовательное чтение и запись блоками 128 Кбайт, 90-й перцентиль: мс (Y) к смешанным операциям чтения/записи при QD32 (X)

Характеристики скорости в смешанных последовательных операциях ввода-вывода очень важны для дисков класса nearline, поскольку очень часто встречаются запросы с одновременными командами чтения и записи больших последовательных данных. Большинство задач смещены в сторону чтения в соотношении 90/10% – 70/30%. HGST He10 обеспечивает более высокую производительность по сравнению с конкурентами в той части теста, где преобладают операции чтения, кроме того его результаты подвергаются меньшим колебаниям. He10 также обеспечивает лучший график в тесте QoS, закрепляя свою позицию лидера в тестах с последовательными данными.

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | Задачи OLTP и Email

Чтобы узнать больше о нашей методике тестирования, ознакомьтесь со статьёй “How We Test Enterprise HDDs” (англ.), в которой объясняется, как интерпретировать графики с результатами. Измерения в тестируемых задачах описаны на четвертой странице, задержки – на пятой странице, энергопотребления – на шестой.

OLTP/сервер базы данных: динамика IOPS(Y) – секунды (X)

OLTP/сервер базы данных: динамика IOPS (Y) – секунды (X)

OLTP/сервер базы данных: динамика IOPS (Y) – секунды (X)

Задержка к IOPS – OLTP/сервер базы данных: мс (Y) к IOPS (X)

QoS к IOPS – OLTP/сервер базы данных, 90-й перцентиль: мс (Y) к IOPS (X)

Гистограмма – OLTP/сервер базы данных, глубина очереди 32: % IOPS (Y) к диапазону задержки (мс)(X)

Стандартные отклонения к IOPS – OLTP/сервер базы данных: станд. отклон. в мс (Y) к IOPS (X)

QoS – OLTP/сервер базы данных, глубина очереди 32: мс (Y) к QoS (X)

Потребляемая мощность – – OLTP/сервер базы, глубина очереди 256: Вт (Y) на время (X)

IOPS на ватт – OLTP/сервер базы, глубина очереди 256: тысяч IOPS (Y) на время (с)(X)

Нужно признать, что эти жёсткие диски редко будут сталкиваться с интенсивными серверными транзакциями (если только пользователи не используют их в существующей архитектуре). HDD по-прежнему более привлекательны с точки зрения ёмкости хранения, но в новых системах для транзакционных операций их вытесняют SSD. Тем не менее, исследование производительности в смешанных задачах даёт дополнительное представление о скорости диска.

Диски HGST снова показали похожую производительность при высоких нагрузках. В лёгкой, но самой важной части теста диски Seagate и HGST 10 Тбайт предлагают одинаковую скорость. Мы также отметили некоторое небольшую разницу между показателями WD Gold и He8, с преимуществом у He8.

На графике задержки к IOPS и QoS мы в очередной раз видим снижение скорости HGST He10 в тяжёлой части теста. Однако этот жёсткий диск лидирует в лёгкой части и показывает более высокую пиковую скорость. Это вновь подтверждает тот факт, что HGST специально настроила свой диск для повышенной скорости в наиболее распространённых задачах.

Тестирование энергопотребления во время теста не принесло каких-то сюрпризов. Закономерности точно такие же, что и в других тестах.

Сервер электронной почты: динамика IOPS(Y) – секунды (X)

Сервер электронной почты: динамика IOPS (Y) – секунды (X)

Сервер электронной почты: динамика IOPS (Y) – секунды (X)

Задержка к IOPS – сервер электронной почты: мс (Y) к IOPS (X)

QoS к IOPS – сервер электронной почты, 90-й перцентиль: мс (Y) к IOPS (X)

Гистограмма – сервер электронной почты, глубина очереди 32: % IOPS (Y) к диапазону задержки (мс)(X)

Стандартные отклонения к IOPS – сервер электронной почты: станд. отклон. в мс (Y) к IOPS (X)

QoS – сервер электронной почты, глубина очереди 32: мс (Y) к QoS (X)

Потребляемая мощность – сервер электронной почты, глубина очереди 256: Вт (Y) на время (X)

IOPS на ватт – сервер электронной почты, глубина очереди 256: тысяч IOPS (Y) на время (с)(X)

HGST He10 и Seagate 10 Тбайт снова идут близко друг к другу на лёгких этапах теста, но с увеличением нагрузки выше QD64 вперёд выходит Seagate. На графиках задержки видно, что оба диска предлагают почти одинаковую производительность при самых лёгких рабочих нагрузках, но HGST демонстрирует более высокую пиковую скорость на глубине очереди 64. He10 также обеспечивает лучшую производительность на глубине очереди 32 на графике QoS.

Удивительно, но He10 с интерфейсом SAS 12 Гбит/с потребляет всего на ватт больше энергии, чем Seagate 10 Тбайт SATA 6 Гбит/с. Исходя из этого, можно предположить, что SATA-версия диска He10 будет иметь более высокие показатели энергоэффективности.

Обзор Seagate 10 Тб, HGST Ultrastar He10, WD Gold 8 Тб | Анализ

HGST первой вывела на рынок технологии гелиевого наполнения диска и кэширования носителя, так что её больший опыт в конструировании этих платформ и проявился в нашем тестировании. По сравнению с конкурирующими HDD, HGST Ultrastar He10 предлагает наилучшее соотношение скорости и энергопотребления, особенно если учесть, что он подключается через интерфейс SAS. Более низкая скорость при самых тяжёлых нагрузках непосвящённому может показаться недостатком, но HGST явно настроила He10 для обеспечения лучшей производительности в лёгких задачах, представляющих собой наиболее распространенную моделью использования таких дисков (особенно в RAID-массивах и других распределённых архитектурах, таких как объектные хранилища).

HGST Ultrastar He10

Во время тестов со смешанной нагрузкой (произвольными операциями ввода-вывода) He10 обеспечил хорошую производительность, хотя и немного уступил соперникам в смешанных тестах со смещением к чтению с блоками данных 8 Кбайт. В задачах, ориентированных на запись с произвольным доступом, He10 и WD Gold 8 Тбайт показали переменные результаты, но подобные задачи редко встречаются в оптимизированных на производительность приложениях, и почти не присутствуют в современных nearline-системах. He10 показал небольшое увеличение скорости во всех тестах со смешанными последовательными операциями. Кроме того, диск демонстрирует склонность к лёгким последовательным операциям, что делает его подходящим кандидатом для соответствующих приложений.

• Цена в США: $509
• Цена в РФ: 68000 руб.

Преимущества:

• Лидирующий уровень производительности в своём классе
• Энергоэффективность

Недостатки

• Высокая стоимость

Заключение: Чтобы обеспечить наилучшее соотношение скорости и энергопотребления и предложить более широкий выбор ёмкостей, HGST использовала свой большой опыт разработки и производства жёстких дисков с гелиевым наполнением. Оптимизация под лёгкие задачи даст преимущество в большинстве приложений.

Seagate Enterprise Capacity 10 Тбайт

Seagate Enterprise Capacity 10 Тбайт предлагает хорошее соотношение скорости и потребления энергии и легко опережает WD Gold 8 Тбайт, но отстаёт от HGST He10, особенно в тестах чтения/записи с последовательным доступом к данным. Seagate 10 Тбайт лидирует в задачах произвольного чтения, особенно во время более лёгких этапов теста. Кроме того, он показал наилучший профиль производительности в смешанных тестах произвольного чтения/записи блоками Кбайт. Жёсткие диски класса nearline в дата-центрах всё больше используются в хранилищах большой ёмкости либо больших пулах хранилищ, дополненных SSD, которые ускоряют их с помощью кэширования или деления на уровни. В некоторых приложениях важна скорость произвольных операций, но чаще всего встречаются работа с данными с последовательным доступом. Во многих тестах с последовательными операциями Seagate 10 Тбайт отставал от HGST 10 Тбайт, зато он лучше справлялся с тяжёлыми задачи последовательной записи.

Среди всех участников SATA-диск Seagate на 10 Тбайт демонстрирует самое низкое энергопотребление, но при этом нужно учесть, что в He10 используется интерфейс SAS 12 Гбит /с. По сравнению с предыдущих поколением дисков на воздухе, Seagate 10 Тбайт обеспечивает существенное снижение потребления энергии и 2 Тбайт дополнительной ёмкости. Версия He10 на базе SATA, скорее всего, выйдет на один уровень с Seagate 10 Тбайт по энергопотреблению, либо обгонит его – в любом случае, они будут сопоставимыми, и покупателю придётся обратить внимание на другие факторы, например, соответствие целевому использованию или цену.

• Цена в США: $587
• Цена в РФ: 34200 руб.

Преимущества

• Высокая скорость произвольных операций ввода-вывода
• Самое низкое энергопотребление
• Невысокая цена

Недостатки

• Пониженная скорость последовательных операций ввода-вывода
• Постепенное снижение скорости смешанных последовательных операций

Заключение: Seagate Enterprise 10 Тбайт – это хороший гелиевый HDD от Seagate с ориентацией на произвольное чтение и смешанные произвольные операции.

WD Gold 8 Тбайт

WD Gold 8 Тбайт можно назвать копией HGST He8, близкой к оригиналу. Но он обладает и уникальными характеристиками, некоторые из которые приводят к более низкой производительности серверных задач при низких глубинах очереди. WD Gold удалось записать всю доступную ёмкость немного быстрее, чем He8, при этом он обладает очень похожими показателями энергопотребления и скорости. Тем не менее, мы не видим причин покупать WD Gold 8 Тбайт вместо HGST He8, при том, что Seagate ёмкостью 8 Тбайт превосходит обоих конкурентов почти в каждом аспекте производительности – хотя ему для этого и требуется больше мощности.

WD указывает, что в дисках WD и HGST используются одинаковые технологии, включая механические компоненты, электронику и прошивку, и в процессе тестирования это подтвердилось. Сейчас компания WD серийно производит диск на 8 Тбайт, но вскоре планирует вывести в продажу модель ёмкостью 10 Тбайт, основанную на дизайне HGST He10. По правилам министерства коммерции КНР, двум этим компаниям запрещено объединять линейки продуктов ещё 15 месяцев, но когда это время пройдёт, они наверняка выпустят почти идентичные продукты.

• Цена в США: $545
• Цена в РФ: 38100 руб.

Преимущества

• Низкое энергопотребление

Недостатки

• Более низкая скорость, чем у конкурентов
• Высокая цена

Заключение: Первый гелиевый HDD WD говорит о том, что компания разрабатывает собственное семейство гелиевых моделей. Однако диск немного отстаёт от HDD подобной ёмкости других производителей и стоит дороже по сравнению с воздушными моделями.

Сравнение цен

Для сравнения стоимости мы используем розничные цены дисков, причём они актуальны только на момент публикации. Жёсткими дисками торгуют много поставщиков, и цены зависят от спроса и предложения, так что со временем они могут существенно измениться. Кроме того, розничные цены далеки от цен со скидками, которые производители предлагают крупным OEM-поставщикам и гипермасштабируемым дата-центрам. Во многих случаях, решение о приобретении зависит либо от цены диска, либо от поддержки со стороны OEM.

К нашему удивлению, средняя цена на Seagate Enterprise Capacity 10 Тбайт оказалась намного ниже средней цены He10 (некоторые поставщики продают его за $800), хотя это может быть связано с высоким спросом на диски HGST. HGST He10 быстрее и экономичнее, чем Seagate Enterprise Capacity 10TB, но если Seagate продолжит снижать цену, то тоже добьётся большого успеха.

Популярность Seagate 8TB объясняется его низкой средней стоимостью и отличной производительностью. Несмотря на то, что конкурирующее WD Gold и HGST He8 энергоэффективней, для компенсации разницы в цене понадобится некоторое время. Конечно, более высокая цена накопителя WD Gold отпугнёт многих покупателей, но чтобы соперничать по стоимости, нужны большие объёмы продаж, так что с их ростом цены должны снижаться.

Преимущества наполнения гелием сводятся к уменьшенному энергопотреблению, стоимости, увеличенной производительности и эффективности. В некоторых случаях между гелиевыми дисками есть небольшие различия, но по ключевым показателям они все превосходят модели на воздухе. Очевидно, что производители HDD осваивают гелий, поскольку это очевидный путь к повышению плотности на стандартной технологии PMR, а когда разработчики смогут реализовать на этой платформе новые методы записи, их архитектура станет ещё более впечатляющей.