День открытых дверей в СПбПУ | Введение
Участникам мероприятия была предоставлена исчерпывающая информация о работе СКЦ и планах его дальнейшего развития и совершенствования. Кроме того, журналистам была предоставлена отличная возможность рассмотреть вблизи все компоненты действующего суперкомпьютера, пообщаться с персоналом и получить исчерпывающие ответы на любые вопросы о работе СКЦ.
День открытых дверей в СПбПУ | В нужном месте, в подходящее время
В 2010 году СПбПУ Петра Великого, неизменно занимающий ведущие позиции в рейтинге технических ВУЗов России, получил статус Национального исследовательского университета, подготавливающего специалистов в мульти-дисциплинарных научных исследованиях и разработках. Из более чем 52 образовательных и 92 научных специальностей, обучение по которым производится в стенах СПбПУ, подавляющее большинство (более 80%), в том числе, механика, физика твердого тела, физика плазмы, электроника, теория управления, машиностроение, приборостроение материаловедение, нанотехнологии, энергетика, энергосберегающие технологии, биотехнологии, биоинформатика, информационные технологии, интеллектуальные системы и многие другие, в определённой степени связаны с высокопроизводительными вычислениями.
Именно поэтому план по созданию Суперкомпьютерного центра СПбПУ был включён в Федеральную целевую программу (ФЦП) “Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 гг.” и Федеральной адресной инвестиционной программы (ФАИП). В 2010-2011 гг. появилась и оформилась идея создания такого центра, в 2012 году был сформулирован проект создания СКЦ, который был включён в ФЦП и ФАИП, в 2013 году велась разработка проекта, и уже в 2014 году началось непосредственное создание СКЦ.
В конце 2015 года СКЦ “Политехнический” впервые заработал на полную мощность. Созданный в его стенах гибридный вычислительный комплекс на базе передовых разработок российской группы компаний РСК с ходу попал в мировой рейтинг суперкомпьютеров TOP500, заняв там почётную 81-ю строчку (2014 год), а сейчас система “Политехник РСК Торнадо” занимает в этом списке 131-е место.
На сегодняшний день СКЦ “Политехнический” можно назвать самым современным вычислительным комплексом, созданным на базе российских ВУЗов и ориентированным на решение широкого круга междисциплинарных естественно-научных задач и поддержку проектирования сложных технических систем для наукоемких секторов науки и промышленности. Уже сейчас вычислительные ресурсы и сервисы СКЦ вместе с учёными СПбПУ используют различные научно-исследовательские организации и промышленные предприятия Санкт-Петербурга и региона. С момента запуска на полную проектную мощность вычислительные мощности СКЦ “Политехнический” использовались и продолжают все активнее использоваться различными исследовательскими коллективами для решения научных и инженерных задачи со сверхбольшими математическими расчётами и многоэтапным моделированием сложных процессов и объектов.
Владислав Синепол, директор СКЦ “Политехнический”
По словам Владислава Синепола, директора СКЦ “Политехнический”, в ближайшее время планируется доработать юридическую и экономическую платформу для взаимодействия с коммерческими заказчиками.
И в то же время, государственные инвестиции в сумме порядка 1,4 млрд рублей, вложенные в создание СКЦ, уже сейчас возвращаются стране сторицей благодаря тому, что отныне в центре подготавливаются специалисты с высоким уровнем компетенций в применении суперкомпьютерных технологий при разработке наукоемкой продукции.
В настоящее время СКЦ выполняет роль регионального центра компетенций в области HPC в наукоемких отраслях промышленности и обеспечивает всё необходимое для подготовки квалифицированных инженеров в области суперкомпьютерных технологий для научных исследований и проектирования, включая возможности для разработки специализированного прикладного программного обеспечения для HPC. Кроме того, СКЦ стал технологической базой подготовки для преподавателей и студентов СПбПУ по информатике, компьютерным наукам и компьютерному инжинирингу.
Инвестиции в подготовку и выпуск специалистов современного уровня для российской науки и промышленности – это пример одного из лучших вложений государственных денег в наши дни.
День открытых дверей в СПбПУ | СКЦ “Политехнический”: функциональная структура
Для достижения высокой производительности и компактности в СКЦ СПбПУ реализован гибридный вычислительный комплекс с пиковой производительностью более 1,1 Пфлопс разработки российской группы компаний РСК. СКЦ “Политехнический” выполнен на базе комбинации высокоплотных и энергоэффективных HPC-платформ на основе архитектуры x86 с прямым жидкостным охлаждением: массивно-параллельной RSC PetaStream и кластерной “РСК Торнадо”.
Платформа RSC PetaStream поставляется с набором программных инструментов Intel Cluster Studio XE для операционной системы Linux, а также с набором оптимизированных библиотек.
В сумме, платформы RSC PetaStream и “РСК Торнадо” обеспечивают защиту инвестиций на разработку и оптимизацию ПО благодаря тому, что при создании нового ПО для будущих вычислительных систем разработчики могут применять существующие модели программирования, фактически получая возможность запуска уже существующих приложений на суперкомпьютерах экзафлопсного диапазона.
Для удобства пользователей в решениях на базе RSC PetaStream и “РСК Торнадо” обеспечиваются расширенные программно-аппаратные функции мониторинга и управления системой с использованием интегрированного стека ПО “РСК БазИС”.
Центр управления СКЦ
В системе используется технология контроля и мониторинга энергопотребления каждого узла, что позволяет суперкомпьютерным центрам реализовывать гибкие политики для оптимизации управления энергопотреблением, сокращая свои затраты на электричество и эксплуатацию вычислительных систем.
Системы “Политехник РСК Торнадо” и “Политехник RSC PetaStream” объединены в единый вычислительный комплекс посредством высокоскоростной коммутационной сети InfiniBand FDR.
В состав комплекса также входит дополнительный кластер на процессорах AMD Opteron 6380 с кэш-когерентным доступом к неоднородной памяти (архитектура CC-NUMA) и две СХД на базе серверных технологий с архитектурой Intel: параллельная СХД на базе распределенной файловой системы Lustre обладает ёмкостью 1 Пбайт, модульная СХД для облачных сред имеет ёмкость 0,5 Пбайт.
Функциональная структура СКЦ “Политехнический” обеспечивает оптимальное распределение вычислительной мощности для любого класса задач без необходимости поиска компромиссов между функциональностью и производительностью. Система предусматривает доступ к сервисам по схеме IaaS, SaaS, веб-лаборатории, а также с помощью удалённых виртуальных терминалов.
Центр обеспечивает широкие возможности по визуализации полученных результатов моделирования, предоставляя для этих целей законченный комплекс с системой рендеринга и всеми необходимыми для этого ресурсами.
Однородность и модульная архитектура вычислительных узлов обеспечивает возможность гибкого перемещения приложений, высокую доступность ресурсов, отказоустойчивость и возможность оперативного перераспределения нагрузки в случае сбоя части оборудования.
День открытых дверей в СПбПУ | СКЦ “Политехнический”: программно-аппаратная платформа
Суперкомпьютерный центр “Политехнический” на базе гибридных вычислительных технологий российской группы компаний РСК стал первым в СНГ проектом на базе серверных процессоров Intel Xeon E5-2600 v3. Аппаратная часть комплекса состоит из двух основных вычислительных компонентов: массивно-параллельной системы RSC PetaStream и кластерной архитектуры “РСК Торнадо”.
Массивно-параллельная архитектура RSC PetaStream на базе сверхплотной массивно-параллельной системы RSC PetaStream с прямым жидкостным охлаждением и общей производительностью 291 Тфлопс обеспечивает рекордную вычислительную плотность в одном вычислительном шкафу на площади всего 1 кв. м. Архитектуре RSC PetaStream принадлежит мировой рекорд энергетической плотности – более 400 кВт на шкаф.
Система RSC PetaStream построена на базе 36-ти сервисных процессоров Intel Xeon E5-2600, 288-ми 60-ядерных сопроцессоров Intel Xeon Phi 5120D с тактовой частотой 1,053 ГГц и 8 Гбайт памяти GDDR5 (17280 потоков), серверных плат Intel S1600JP и твердотельных накопителей Intel SSD для корпоративных ЦОД. Система позволит одновременно запускать более 69 120 исполняемых потоков. Общий объем памяти во всех узлах составляет 2,3 Тбайт GDDR5.
В RSC PetaStream реализована инновационная подсистема, созданная на базе передового отраслевого стандарта электропитания постоянным током с напряжением 400 В и разработанная совместно с Emerson Electric. Это позволяет достичь эффективности распределения электроэнергии более 90%, что обеспечивает повышение энергоэффективности системы и снижение эксплуатационных расходов, а также повышение надежности всего вычислительного комплекса.
Пиковая производительность системы RSC PetaStream составляет 291 Тфлопс, или 165 Тфлопс по тесту LINPACK. Отдельно стоит отметить, что система “Политехник RSC PetaStream” СПбПУ в ноябре 2015 года заняла 57-е место с результатом 3,1 ТФЛОПС в новом, набирающем популярность тесте для ранжирования суперкомпьютеров HPCG (High Performance Conjugate Gradient).
Вторая часть комплекса – “Политехник РСК Торнадо”, построена на базе кластерной архитектуры “РСК Торнадо” с прямым жидкостным охлаждением и обеспечивает пиковую производительность порядка 830 Тфлопс, и до 658 Тфлопс в тесте LINPACK. В мировом рейтинге HPCG система “Политехник РСК Торнадо” занимает 39-е место с результатом 10,8 Тфлопс.
Основу вычислительного комплекса “Политехник РСК Торнадо” составляет 1424 серверных 14-ядерных процессоров Intel Xeon E5-2697 v3 с тактовой частотой 2,6 ГГц, скомпонованных в 712 узлов на серверных платах Intel S2600KP/S2600WT, что в сумме составляет 19 936 процессорных ядер и обеспечивает 39 872 вычислительных потоков. Суммарный объём оперативной памяти во всех узлах составляет 48,38 Тбайт DDR4, общий объём системы хранения на SSD Intel корпоративного класса составляет 85,4 Тбайт. С остальными компонентами вычислительного комплекса система связана двумя независимыми 1 GigE сетями – сервисной и управляющей. Межузловое соединение выполнено на базе 56 Гбит/c InfiniBand FDR. Часть ресурсов комплекса “Политехник РСК Торнадо” обеспечивает облачные, VDI (Virtual Desktop Infrastructure) и графические сервисы.
Система “Политехник РСК Торнадо” занимает площадь всего 3,84 кв. м. Жидкостное охлаждение обеспечивает точное отведение тепла от всего вычислительного узла. Отсутствие подвижных элементов конструкции — вентиляторов и жёстких дисков, позволило добиться практически бесшумного решения с минимальной вибрацией, что также существенно повышает надежность системы.
Алексей Шмелев, исполнительный директор группы компаний РСК
Как отметил Алексей Шмелев, исполнительный директор группы компаний РСК, производство многих компонентов, используемых при создании суперкомпьютерных систем РСК, было налажено на территории РФ задолго до того, как популярный нынче термин “импортозамещение” вошёл в моду.
День открытых дверей в СПбПУ | СКЦ “Политехнический”: инженерная инфраструктура
Системным интегратором проекта выступила компания “РРС-Балтика” (Санкт-Петербург), которая создала все инженерные системы Центра совместно с компаниями iCore (Москва) и ИТЭК (Санкт-Петербург). Инженерная инфраструктура СКЦ включает цепи электроснабжения, в том числе, резервного, системы кондиционирования, вентиляции, пожарной безопасности, охраны, диспетчеризации и управления.
Суммарное энергопотребление СКЦ “Политехнический” составляет порядка 1,2 МВт, что примерно сравнимо с полной нагрузкой 200-квартирного дома. Мощность системы холодоснабжения комплекса составляет 1,08 МВт. Порядка 94,94% всех вычислительных узлов СКЦ (за вычетом CC-NUMA кластера) оснащены жидкостным охлаждением с высокой энергоэффективностью и целевым показателем PUE на уровне менее 1,15.
Для гарантированного электропитания в случае сбоев вычислительный комплекс оснащён тремя группами ИБП. Во время экскурсии по производственным помещениям СКЦ мы имели возможность оценить масштабы систем резервного питания, включающие аккумуляторы весом несколько десятков тонн, размещённые в специальном помещении с повышенной искробезопасной защитой.
Система холодоснабжения Центра, поддерживающая работоспособность в диапазоне от -32 до +35 градусов, выполнена на базе трёх моноблочных чиллеров наружной установки и 8 прецизионных кондиционеров в технологических помещениях. Все системы имеют резервирование уровня N+1.
День открытых дверей в СПбПУ | СКЦ “Политехнический”: первые проекты и перспективы
Первая крупная задача на вычислительных мощностях СКЦ “Политехнический” была решена в конце ноября 2015 года, а в настоящее время уровень загрузки уже достигает 75%. Кроме студентов и преподавателей СПбГУ (более 30 научных групп), СКЦ периодически загружают своими задачами исследователи из ПИЯФ им. Константинова (Гатчина), института ВМ и МГ СО РАН, МФТИ и ИБХ РАН.
В настоящее время СКЦ используется для решения задач в таких областях, как механика, физика, электроника, энергомашиностроение, биотехнологии, биоинформатика, нанотехнологии, материалы со специальными свойствами, кибербезопасность, программная инженерия и прикладная урбанистика. В ближайших планах – использование СКЦ для решения научных проблем в различных областях механики, гидро- и аэродинамики, физики твердого тела, физики плазмы, материаловедения, вычислительной и квантовой химии, биофизики и биотехнологий. Для разработчиков, инженеров и студентов университета, а также промышленных предприятий, доступны развернутые в СКЦ CAD/CAM-системы для проектирования новых образцов техники в области энергетического машиностроения, самолетостроения и радиоэлектроники.
В рамках Дня открытых дверей перед собравшимися журналистами, учёными и специалистами выступили сотрудники СПбПУ и других научных организаций, уже успевшие применить на практике возможности суперкомпьютерного центра “Политехнический”. Особенно впечатляющим был рассказ Михаила Хаимовича Стрельца, профессора кафедры “Гидроаэродинамика, горение и теплообмен”, заведующего лабораторией “Вычислительная гидроаэроакустика и турбулентность” Объединенного научно-технологического института СПбПУ, о результатах прямого численного моделирования взаимодействия ударной волны с турбулентным пограничным слоем в трансзвуковом потоке. Такое явление актуально в процессе полёта гражданских авиалайнеров на крейсерской скорости, при этом возникающие при этом нестационарные нагрузки на крыло представляют значительную угрозу для безопасности полётов.
Задача определения критических значений угла атаки и числа Маха потока, при которых начинается “трансзвуковой бафтинг”, является чрезвычайно важной. Размер расчетной сетки поставленной задачи был невероятно большим — 8,7 миллиарда ячеек, подобные расчёты до настоящего времени на таких сетках в России не проводились. Решение задачи на суперкомпьютере “Политехник РСК Торнадо” позволило получить очень хорошие результаты, при этом удельная производительность на одно процессорное ядро оказалась в 5,3 раза, a на один вычислительный узел в 9,3 раза выше, чем на суперкомпьютере Mira (Argonne National Laboratory, США), занимающем пятое место в мировом рейтинге Top500, на котором проводились параллельные вычисления (Mira выполнена на базе 16 384 узлов по 16 ядер Power PC A2 1,6 ГГц, всего 262 144 ядра, и 16 Гб RAM на узел).
Другой наглядный пример – исследования механизма возникновения холодоадаптированности и температурочувствительности вируса гриппа на суперкомпьютерах “Политехник РСК Торнадо” и “Политехник RSC PetaStream” методами молекулярной динамики с помощью программного комплекса GROMACS. Вирусы гриппа А, обладающие свойством холодоадаптивной термочувствительности, могут применяться в качестве так называемых живых вакцин, так как они могут воспроизводиться в инкубаторе при низкой температуре (например, при +26?С), но при этом они неспособны к воспроизведению при температуре тела человека (+37).
В качестве модели использовался филамент, состоящий из белка NP, обеспечивающего упаковку и хранение вирусной РНК. Размер такой системы составил 2,7 миллиона атомов. Для того, чтобы получить одну траекторию молекулярной динамики такого филамента на временах порядка 200 нс (наносекунд) потребовалось около 15 дней, что для систем такого размера является хорошим результатом при использовании современных вычислительных систем. А еще несколько лет назад для этого потребовалось бы 1-2 месяца. Работа выполняется учеными Петербургского института ядерной физики НИЦ “Курчатовский институт” (ПИЯФ НИЦ КИ) совместно с ФГБУ “НИИ гриппа” Минздрава России и СПбПУ.
На массивно-параллельной системе “Политехник RSC PetaStream” сотрудники Института вычислительной математики и математической геофизики Сибирского отделения РАН (ИВМиМГ СО РАН) продолжают исследования в области гидродинамического моделирования разномасштабных астрофизических процессов с помощью разработанного ими программного комплекса AstroPhi.
Столкновение галактик – рядовое событие в их эволюции. В среднем любая галактика совершает до десяти столкновений за Хаббловское время, и суперкомпьютерное моделирование таких процессов – единственный способ их изучения. Запуск комплекса AstroPhi на вычислительной системе “Политехник RSC PetaStream” позволил не только смоделировать столкновение галактик в рекордном разрешении при использовании более миллиарда расчетных ячеек, но также провести исследования процессов звездообразования, эффекта сверхновых, охлаждения, нагревания и химической эволюции сталкивающихся галактик. Благодаря производительности и масштабируемости системы “Политехник RSC PetaStream” достигнуто значительное сокращение времени моделирования, при достаточно высоком пространственном разрешении порядка 100 парсек.
