Суперкомпьютеры РСК | Введение
Суперкомпьютерная отрасль, как и все остальные, имеет свои циклы, состоящие из относительно “спокойных” лет становления технологий и следующих за ними бурных этапов развития.
Походящий к концу 2016 год можно охарактеризовать как своеобразный пограничный период: посев инновационных идей дал всходы, самое время собирать урожай и пользоваться плодами многолетних разработок.
На наших глазах идёт эпохальная трансформация суперкомпьютерной отрасли. Растёт не только спрос на высокопроизводительные вычисления – растёт число самих отраслей, развитие которых напрямую зависит от работы с данными, от внедрения алгоритмов искусственного интеллекта и машинного обучения.
Гигантскими шагами развивается собственно суперкомпьютерная индустрия. Новые вычислительные задачи приводят к конвергенции HPC и Big Data, возникновению новых сегментов, таких как высокопроизводительная аналитика данных – HPDA (High Performance Data Analysis). По прогнозам IDC, через некоторое время сегменты HPDA сами превратятся в самостоятельные направления, такие как HPC для управления корпоративными ИТ-инфраструктурами или управление интернетом вещей.
Новые идеи повышения производительности, высказанные несколько лет назад, также постепенно принимают очертания готовых индустриальных решений.
Суперкомпьютеры РСК | Суперкомпьютеры-2020: новые архитектуры, новые горизонты
Многие перспективные суперкомпьютерные технологии в этом году вышли из стадии разработки и появились в виде готовых коммерческих продуктов.
Речь о технологиях Intel Omni-Path и Mellanox EDR InfiniBand, чипах Intel Xeon E7-8800/4400 (Broadwell-EX) для 8-процессорных вычислительных модулей, 64/72-ядерных процессорах Intel Xeon Phi 7200 (Knights Landing) с автономной загрузкой, GPU-сопроцессорах Tesla P100 с новой архитектурой Pascal под шину NVLink/PCIe, HPC-версии 64-битной архитектуры ARMv8-A SVE, InfiniBand/Ethernet 100G адаптерах Mellanox ConnectX-5, SSD под шину NVMe и многом другом.
Практически решённым делом можно считать и выход нового поколения архитектуры OpenPower с процессорами IBM Power9 и NVLink-ускорителями NVIDIA, до появления которых остались считаные месяцы.
Создание суперкомпьютерных архитектур нового поколения – процесс перманентный и непрерывный, но на сегодняшний день всё же можно говорить о завершении определённого этапа – формирования новой HPC-инфраструктуры с новым уровнем возможностей и производительности.
Теперь, с помощью всего накопленного за последние годы потенциала, начнётся штурм новых вершин в мировом суперкомпьютерном рейтинге TOP500. Длившийся более трех лет “застой” в верхних строчках рейтинга уже предолён прошедшим летом с выходом нового китайского суперкомпьютера Sunway TaihuLight с производительностью 93 Пфлопс. Уже в начале следующего – а может, и до конца текущего года, ожидается первый штурм отметки в 100 Тфлопс.
В целом, на протяжении 2017 года ожидаются громкие анонсы и запуски в строй сразу нескольких систем с производительностью более 100 и даже 150 Пфлопс. Далее – в районе 2020-2022 годов, ожидается серьёзный штурм следующего “Горизонта Экзаскейла”: вычислительная мощь флагманских HPC систем будет вплотную приближаться к уровню 1 экзафлопс (1018 вычислений с плавающей запятой в секунду).
Готова ли российская суперкомпьютерная отрасль к таким переменам?
Суперкомпьютеры РСК | Группа компаний РСК и российские рекорды
Развитие HPC-отрасли в России и во всём мире очень слабо коррелирует с локальными и мировыми экономическими неурядицами – слишком велика роль суперкомпьютеров в развитии промышленности, науки и других важных для любого современного государства направлений.
“При замедлении инвестиций в отрасль можно допустить разве что некоторое увеличение времени на внедрение отдельных проектов”, – говорит Алексей Шмелёв, исполнительный директор группы компаний РСК. – “Но ни при каких условиях это не должно отражаться и не отражается на разработке передовых и конкурентоспособных во всём мире российских HPC-технологий”.
Суперкомпьютерные архитектуры “РСК Торнадо” и RSC PetaStream с жидкостным охлаждением продолжают удерживать мировые рекорды по самой высокой в индустрии вычислительной плотности на стандартных x86-процессорах. Программно-аппаратные платформы РСК хорошо масштабируются, благодаря чему успешно используются для моделирования нагрузок “горизонта экзаскейла”, включая разработку соответствующих приложений.
Прошедшим летом группа компаний РСК представляла российскую суперкомпьютерную индустрию на международной конференции ISC’16 в Германии. РСК представила собственные разработки, зачастую превосходящие по возможностям лучшие образцы конкурентов.
Новое поколение кластерного решения “РСК Торнадо” с прямым жидкостным охлаждением на многоядерных процессорах Intel Xeon Phi 7200 (Knights Landing) было представлено работающим на стенде РСК образцом непосредственно в день мирового анонса Intel этого продукта.
Кластерные решения “РСК Торнадо” производятся с использованием процессоров Intel Xeon Phi 7250 или 7250F, а также готовы к поддержке планируемых к массовому выпуску 72-ядерных старших моделей 7290 и 7290F (F означает встроенный межузловой интерфейс Intel Omni-Path) на базе серверных плат Intel Server Board S7200AP и оснащаются до 192 Гб оперативной памяти на узел (DDR4-2400 RAM + 16 ГБ MCDRAM), а также поддерживают одновременно до двух SSD с шиной SATA или один с шиной PCIe в форм-факторе M.2.
Новое поколение “РСК Торнадо” демонстрирует высочайшую физическую плотность размещения: до 153 вычислительных узлов в стандартном шкафу 42U, и обеспечивает почти удвоенную вычислительная плотность – порядка 528 Тфлопс (ранее 280 Тфлопс) в стандартном вычислительном шкафу 42U, то есть, более 412 Тфлопс на кубический метр объёма.
“РСК Торнадо” обладает повышенной надёжностью благодаря независимым модулям гидрорегулирования системы жидкостного охлаждения на каждый вычислительный домен, до 9 модулей на шкаф, с резервированием от N+1 до N+N, и высоким уровнем энергоэффективности за счет стабильной работы вычислительных узлов в режиме “горячая вода” при температуре +63 °С на входе в вычислительные узлы.
Новые разработки РСК используют модуль электропитания в аналогичном форм-факторе с эффективным преобразованием 220 В переменного тока в 400 В постоянного тока и возможностью параллельной работы на общую шину. Помимо этого, обновлённая конструкция вычислительных шкафов предусматривает поддержку новейших скоростных технологий межузловых соединений, в том числе, Intel Omni-Path и Mellanox EDR InfiniBand.
Новые кластерные решения “РСК Торнадо” по желанию заказчика также могут быть реализованы на серверных процессорах Intel Xeon E5-2600, включая старшую модель Intel Xeon E5-2699 v4, что обеспечивает высокую вычислительную плотность до 237 Тфлопс в стандартном вычислительном шкафу 42U при разумных затратах.
Готовые решения РСК обеспечивают отказоустойчивость и простоту использования за счёт системы управления и мониторинга собственной разработки компании, которая управляет как отдельными узлами, так и всем решением в целом на уровне инфраструктуры. Каждый элемент, включая вычислительные узлы, БП, модули гидрорегулирования и другие компоненты, оснащен встроенным модулем управления для сбора детальной телеметрии. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.
Такой подход позволил уменьшить стоимость инфраструктуры решений на базе “РСК Торнадо” и гарантировать возможности гибкой модернизации на перспективу.
Ещё одна суперкомпьютерная архитектура RSC PetaStream авторства группы компаний РСК, базируется на концепции массивной параллельности с применением вычислительных модулей на базе Intel Xeon Phi, что обеспечивает выполнение до 250 тыс. параллельных вычислительных потоков на 1024 узлах архитектуры x86 в одном вычислительном шкафу на площади всего 1 кв. метр.
RSC PetaStream на сегодняшний день принадлежат мировые рекорды по вычислительной (1,2 Пфлопс на стойку) и энергетической плотности (400 Вт на стойку), а также компактности.
Системы RSC PetaStream также питаются постоянным током с напряжением 400 В, что повышает эффективность распределения энергии более чем на 90%, снижая TCO и повышая надёжность.
Высокий уровень знаний специалистов группы компаний РСК в области разработки и внедрения HPC-технологий отмечен элитным статусом HPC Data Center Specialist, которым Intel подтверждает максимальную компетенцию партнера и его сотрудников в разработке, продвижении и внедрении серверных решений – процессоров Intel Xeon Phi и Intel Xeon, серверных плат Intel Server Board, Intel SSD и межсоединений Intel Omni-Path. Этот статус в регионе EMEA (Ближний Восток, Европа и Африка) сейчас есть только у 17 компаний.
РСК многие годы является партнером Intel в программах Intel Technology Provider Program высшего уровня Platinum, Intel Fabric Builders Program, Intel Solutions for Lustre Reseller.
Суперкомпьютеры РСК | Как и где это работает
Новые суперкомпьютерные технологии хороши не только для рекордов, они отлично масштабируются на любые вычислительные задачи для бизнес-вычислений, производства, науки и других ресурсоёмких приложений. Внедрение систем нового поколения – это экономия расходов на оборудование, монтаж и обслуживание, недоступные ранее для средних компаний и учреждений возможности.
Решения на базе кластерной архитектуры “РСК Торнадо” с жидкостным охлаждением эксплуатируются российскими заказчиками на протяжении более шести лет. “РСК Торнадо” используются для моделирования и расчетов научно-исследовательских и промышленных задач в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ), Межведомственном суперкомпьютерном центре Российской Академии Наук (МСЦ РАН), Южно-Уральском государственном университете (ЮУрГУ), Московском физико-техническом университете (МФТИ), Росгидромете и у других заказчиков из различных отраслей промышленности.
Наиболее мощная из ныне эксплуатируемых сегодня систем на технологии “РСК Торнадо” под названием “Политехник РСК Торнадо” установлена и эксплуатируется в СПбПУ. Суперкомпьютерный гибридный комплекс обладает пиковой производительностью более 1,1 Пфлопс.
Гибридный комплекс “Политехник РСК Торнадо” состоит из 712 двухпроцессорных узлов, включающих 1424 серверных процессора Intel Xeon E5-2697 v3 (14 ядер с тактовой частотой 2,6 ГГц), серверные платы Intel S2600KP и Intel S2600WT, накопители Intel SSD DCS3500. Ресурсы этого суперкомпьютера позволяют решать вычислительные задачи и обеспечивают облачные, VDI и графические сервисы, в том числе для рабочих мест с интенсивным использованием 3D-графики.
Комплекс занимает 3 место в списке Top50 самых мощных российских суперкомпьютеров, 2 место среди отечественных систем в мировом рейтинге HPCG, 131 место в списке самых мощных вычислительных систем мира Top500 и входит в мировой рейтинг самых энергоэффективных суперкомпьютеров Green500 с лучшим в списке показателем среди всех российских систем.
Вторая часть гибридного комплекса СКЦ СПбПУ состоит из сверхплотной массивно-параллельной системы “Политехник RSC PetaStream” с прямым жидкостным охлаждением и пиковой производительностью 295 Тфлопс. Этот суперкомпьютер показал производительность 170,5 Тфлопс на тесте LINPACK, он занимает 8 место в списке Top50 самых мощных российских суперкомпьютеров, входит в мировой рейтинг HPCG и в список самых энергоэффективных суперкомпьютеров мира Green500. Эта система построена на базе 60-ядерных процессоров Intel Xeon Phi 5120D, серверных плат Intel и твердотельных накопителей Intel SSD DCS3500.
Системы “Политехник РСК Торнадо” и “Политехник RSC PetaStream” объединены в единый вычислительный комплекс высокоскоростной коммутационной сетью InfiniBand FDR. В состав комплекса входит параллельная СХД на базе распределенной файловой системы Lustre, способная размещать 1 Пб данных, а также блочное хранилище для облачных сред объемом 0,5 Пб. Оба хранилища используют серверные технологии на архитектуре Intel.
В решениях “РСК Торнадо” и RSC PetaStream реализованы расширенные программно-аппаратные функции мониторинга и управления на базе интегрированного стека ПО “РСК БазИС”. Технология Intel Node Manager используется для контроля и мониторинга энергопотребления каждого узла, что позволяет реализовывать гибкие политики оптимизации управления энергопотреблением, сокращать затраты на электричество и эксплуатацию вычислительных систем.
Суперкомпьютерные решения РСК поставляются с набором программных инструментов Intel Parallel Studio XE 2017 Cluster Edition для Linux, а также с набором оптимизированных библиотек класса Intel MPI Library 5.1.
Cуперкомпьютер “Политехник РСК Торнадо” используется для прямого численного моделирования взаимодействия ударной волны с турбулентным пограничным слоем в трансзвуковом потоке. Определение критических значений угла атаки и числа Маха потока, при которых начинается “трансзвуковой бафтинг”, важно для режимов крейсерского полета гражданских авиалайнеров, а возникающие при этом нестационарные нагрузки на крыло могут представлять значительную угрозу для безопасности полетов.
Размер расчётной сетки задачи достигает 8,7 миллиарда ячеек. При решении данной задачи на суперкомпьютере “Политехник РСК Торнадо” получены очень хорошие результаты — удельная производительность на одно ядро оказалась в 5,3 раза, a на один вычислительный узел — в 9,3 раза выше, чем на суперкомпьютере Mira (Argonne National Laboratory, USA), занимающем 5 место в мировом рейтинге Top500.
На суперкомпьютерах “Политехник РСК Торнадо” и “Политехник RSC PetaStream” методами молекулярной динамики с помощью программного комплекса GROMACS проводятся исследования механизма возникновения холодоадаптированности и температурочувствительности вируса гриппа. Вирусы гриппа А, обладающие свойством холодоадаптивной термочувствительности, могут применяться в качестве так называемых живых вакцин, так как они могут воспроизводиться в инкубаторе при низкой температуре (например, при +26С), но при этом они неспособны к воспроизведению при температуре тела человека (+37С), то есть неспособны к заражению.
В качестве модели использовался филамент, состоящий из белка NP, обеспечивающего упаковку и хранение вирусной РНК. Размер такой системы составил 2,7 миллиона атомов. Для того, чтобы получить одну траекторию молекулярной динамики такого филамента на временах порядка 200 нс (наносекунд) потребовалось около 15 дней, что для систем такого размера является хорошим результатом при использовании современных вычислительных систем. Несколько лет назад для этого потребовалось бы 1-2 месяца. Работа выполняется учёными Петербургского института ядерной физики НИЦ “Курчатовский институт” (ПИЯФ НИЦ КИ) совместно с ФГБУ “НИИ гриппа” Минздрава России и СПбПУ.
На массивно-параллельной системе “Политехник RSC PetaStream” сотрудники Института вычислительной математики и математической геофизики Сибирского отделения РАН (ИВМиМГ СО РАН) продолжают исследования в области гидродинамического моделирования разномасштабных астрофизических процессов с помощью разработанного ими программного комплекса AstroPhi.
В среднем любая галактика совершает до десяти столкновений за Хаббловское время. Суперкомпьютерное моделирование таких процессов – единственный способ их изучения. На системе “Политехник RSC PetaStream” удалось не только смоделировать столкновение галактик в рекордном разрешении при использовании более миллиарда расчетных ячеек, но и провести важные исследования процессов звездообразования, эффекта сверхновых, охлаждения, нагревания и химической эволюции сталкивающихся галактик. Благодаря производительности и масштабируемости системы “Политехник RSC PetaStream” достигнуто значительное сокращение времени моделирования, при достаточно высоком пространственном разрешении порядка 100 парсек.
РСК активно сотрудничает не только с научными организациями России. Недавно в рамках выставки “Иннопром 2016” в Екатеринбурге РСК на совместном стенде с екатеринбургской компанией “PLM Урал” показала примеры решений для организации цифрового производства на промышленных предприятиях.
В качестве аппаратной платформы для работы с программными комплексами класса CAE, CAM, CAI было представлено кластерное решение “РСК Торнадо” с прямым жидкостным охлаждением на процессорах семейства Intel Xeon Phi 7200 (Knights Landing). Эти же решения могут быть реализованы на серверных чипах Intel Xeon E5-2600 v4.
Суперкомпьютеры РСК | РСК и международное сотрудничество
В последние годы участие российских компаний в международных конференциях и выставках заметно сократилось. Сказывается как экономическая ситуация внутри страны, вынуждающая компании экономить на расходах, в том числе, на освоении новых рынков и международном представительстве, так и заметное свёртывание собственно международного сотрудничества в связи с различными экономическими санкциями.
Алексей Шмелев, исполнительный директор группы компаний РСК: “Ситуация в российской HPC-индустрии действительно не из легких, однако на сегодняшний день ни один наш российский заказчик не отказался от своих проектов. Кризисы приходят и уходят – это жизнь, но это совсем не повод, например, отказываться от участия в выставках, и тем более урезать расходы компании на R&D, ведь конкуренты тоже не дремлют”.
Экономические сложности у российских заказчиков решений для HPC и ЦОДов, по мнению Алексея Шмелёва, вызваны, главным образом, коррекцией курса рубля, и для российских ИТ-производителей самое время реализовывать все возможные пути для импортозамещения. “Мы в РСК начали проводить политику замещения импортных компонентов задолго до того, как это стало антикризисным мейнстримом. Другое дело, что сейчас на российском ИТ-горизонте начали появляться новые перспективные партнеры. Основная специфика работы с российскими смежниками – это необходимость более жёсткого контроля качества заказываемой продукции, но всё это решаемо при надлежащей организации. В качестве примера импортозамещения в продукции РСК могу привести работу с новым партнёром: теперь основные компоненты для наших блоков питания изготавливаются в России”.
Группа компаний РСК активно представляет свои технологии и решения и за пределами России. В последнее время на ведущих международных суперкомпьютерных выставках ISC (Германия) и SC (США) только РСК представляет нашу страну.
Алексей Шмелёв так объясняет главные причины участия РСК в профильных зарубежных мероприятиях индустрии: “Помимо очевидных плюсов для престижа России от участия в суперкомпьютерных мероприятиях, мы показываем свои высококонкурентные решения, которые не просто соответствует мировому уровню, но по ряду параметров даже установили и уже несколько лет удерживают признанные мировые рекорды, превосходя продукты конкурентов. Именно на таких выставках с продукцией РСК знакомится максимально большое число специалистов, представителей потенциальных заказчиков, профильной прессы и так далее”.
Александр Московский, генеральный директор РСК, в беседе также отметил, что российским компаниям сейчас действительно нелегко развивать международное сотрудничество. Тем не менее, РСК продолжает и развивает успешное сотрудничество в рамках начатых ранее проектов.
В качестве примера Александр Московский привёл международный проект ExaHyPE (Exascale Hyperbolic PDE Engine) – европейский проект в рамках инициативы European Horizon 2020, направленный на разработку нового механизма моделирования гиперболических задач PDE системами с производительностью уровня “экзаскейла”. РСК является полноправным участником проекта ExaHyPE, и в рамках его развития тесно сотрудничает с рядом европейских научных коллективов, в частности, с Техническим университетом Мюнхена (TUM).
РСК стала спонсором команды TUMuch Phun Технического университета Мюнхена в ходе соревнований Student Cluster Competition (SCC) на международной выставке SC15 (США), которая стала победителем в номинации “Лучшая производительность на тесте Linpack” (Highest Linpack).
“Победа команды TUM с результатом 7,1 Тфлопс была достигнута на кластере RSC PetaStream с вычислительными узлами Intel Xeon Phi, предоставленного РСК в порядке технологического спонсорства немецкой команды”, – рассказал Александр Московский. – “Кроме того, студенты TUM заняли 3 место в общем зачете из 9 команд, принимавших участие в SCC, и они были единственным представителем Европы на этих соревнованиях. Спонсорское участие в подобных соревнованиях является отличным способом представить возможности российских суперкомпьютерных архитектур мировому HPC-сообществу”.
Суперкомпьютеры РСК | О перспективах
По словам Алексея Шмелёва, инженеры РСК несколько лет занимаются исследованиями “горизонта экзафлопса”, который, по мнению аналитиков, будет достигнут суперкомпьютерами в 2020-2022 г.г. У РСК уже имеется существенный задел на будущее: “Изначально структура архитектуры RSC PetaStream оптимально масштабируется и отлично подходит для моделирования очень высоких вычислительных нагрузок. Таким образом, решения RSC PetaStream можно использовать для разработки приложений “эпохи экзаскейла” уже сегодня”.
