РЕКЛАМА
ИНФОРМАЦИЯ
ПОЛЕЗНЫЕ ССЫЛКИ
Центры кристаллизации для инновационной экономики России

Windows Vista: обзор новых возможностей и функций

Intel Core i7 (Nehalem): тесты процессоров нового поколения (обновление)

Тест двенадцати SSD: новый виток эволюции

Rambler's Top100 Рейтинг@Mail.ru

БИЗНЕС

НРС: жизнь в параллельном мире
Краткое содержание статьи: В ноябре 2009 состоялся симпозиум "Высокопроизводительные вычисления", организованный корпорацией Intel. В четвертый раз на эту встречу собрались представители индустрии, науки и образования, использующие параллельные кластерные технологии для решения практических задач, чтобы обсудить текущие и стратегические потребности в области НРС. Подробности можно узнать, прочитав сегодняшнюю статью на THG.ru.

НРС: жизнь в параллельном мире


Редакция THG,  26 декабря 2009
Страница: Назад  1 2 Далее


Intel и высокопроизводительные вычисления

В ноябре 2009 состоялся симпозиум "Высокопроизводительные вычисления", организованный корпорацией Intel. В четвертый раз на эту встречу собрались представители индустрии, науки и образования, использующие параллельные кластерные технологии для решения практических задач, чтобы обсудить текущие и стратегические потребности в области НРС.

В первой части встречи были заслушаны шесть докладов.

Открыл его Виктор Самофалов, директор академических и исследовательских проектов Intel в России и СНГ. Он подчеркнул, что все большее значение в сфере высокопроизводительных вычислений (HPC) приобретает ПО. Сообщество НРС в России уже сформировано и есть все основания расширять формат его встреч, пытаясь сделать нечто подобное Форуму для разработчиков Intel. Корпорация Intel уже два года проводит конкурс на лучшее приложения для параллельных вычислений, в этом году его поддержала корпорация "Роснано", суперкомпьютерный консорциум университетов России и программа СКИФ. Есть идея каким-то образом объединить этот симпозиум и конкурс.

Что же Intel делает для НРС? В основе всего лежат аппаратные решения, о которых был специальный доклад. Второй уровень - это ПО. Intel разрабатывает все необходимые инструменты для разработчиков приложений для НРС. Очень важно подчеркнуть платформенный подход Intel к оборудованию для НРС. Когда заказчик получает кластер, это не просто набор железа и ПО. Они связаны воедино и сертифицированы в том смысле, что Intel гарантирует бесперебойную работу всего комплекса. Даже приложения оптимизируются для работы на конкретном кластере. Третий верхний уровень - это приложения. Компания Intel сама не разрабатывает приложения, а создает инструменты для их разработки. Сегодня существует несколько уровней параллелизма. Первый - параллелизм на уровне общей памяти. Следующий уровень параллелизма - на уровне кластера, то есть - нескольких машин, связанных между собой. Сегодня стандартом здесь является MPI (Message Passing Interface).

Если говорить о ПО, разрабатываемом в Intel для НРС, то здесь есть четыре направления. Первое - это компиляторы и библиотеки. В последние годы компиляторы существенно изменились и стали ориентироваться на многоядерность. То же самое касается и библиотек. Использование библиотек существенно ускоряет работу программ и приложений. Третье - это работа на уровне общей памяти и нитей, четвертое - на уровне кластера. Стоит специально отметить Parallel Studio, как инструмент упрощенной работы для кластеров под Windows.

Очень интересные инструменты Intel предназначены для оптимизации программного кода. Стоит обратить на Intel Trace Collector and Analisator. Именно он помогает анализировать программу и искать в ней ошибки. С его помощью можно увидеть проблемные места программы, занимающие много времени. При этом не надо думать, что эти инструменты заменяют голову программиста: устранять ошибки придется самостоятельно. Инструментов много, и было решено их объединить в один - Cluster Tool Kit Compiler Edition. Он состоит из компиляторов - как правило, у Intel их 2 - Си и Fortran. К ним есть библиотеки, которые тоже оптимизированы под последние архитектуры процессоров. Intel делает и свой собственный MPI, чтобы он был оптимизирован под платформы Intel и не зависел от аппаратуры. У корпорации Intel есть специальный сайт под названием whatif. Любой желающий попробовать новые разработки Intel (правда не промышленные разработки) может это сделать здесь.

Важнейшее значение в своей работе Intel придает развитию экосистемы - университетам, научным учреждениям, промышленным предприятиям, интеграторам и разработчикам ПО, а также правительственным организациям. Одна из форм работы с экосистемой - это центры компетенции. Наиболее известный из них - по НРС в МГУ. Есть еще один при академии наук в Новосибирске. В Южно-Уральском государственном университете центр сосредоточен на взаимодействии с промышленностью. Кроме этого у Intel есть 7 лабораторий в университетах, и, по крайней мере, 5 из них ориентированы на развитие НРС. Intel поддерживает и проводит семинары и конференции по НРС, проводятся мастер-классы по параллельным вычислениям. Компания Intel стала первым ассоциированным членом суперкомпьютерного консорциума университетов России. Сегодня 48 университетов активно сотрудничают с Intel, 160 преподавателей бесплатно получили лицензии на продукты Intel и используют их в своих образовательных целях. Intel так интенсивно сотрудничает с университетами, потому что основные суперкомпьютеры в России сегодня сосредоточены в университетах.

Второй доклад о делах и планах суперкомпьютерного консорциума университетов России сделал Владимир Воеводин, заместитель директора НИВЦ МГУ, член-корреспондент РАН. Консорциум был образован в декабре прошлого года, но сделано уже немало. Сейчас очень активно ведутся разговоры о необходимости суперкомпьютерного образования и нужно ли оно вообще. Если взять ТОР50 самых мощных суперкомпьютеров СНГ, то каждый должны обслуживать как минимум 10 человек. На каждом суперкомпьютере работает какое-то количество пользователей. В МГУ на суперкомпьютере "Чебышов" зарегистрировано 240 групп пользователей. В результате простых арифметических операций получаем, что сегодня на суперкомпьютерах работают несколько тысяч человек. Где взять столько грамотных специалистов, которых сейчас целенаправленно никто не готовит. А ведь это только ТОР50. Параллельные вычисления сегодня нужны всюду и всюду используются, но нигде не преподают основы этих вычислений. Для координации усилий в этом направлении и был создан университетский консорциум. Инициаторами его создания выступили 4 университета, сейчас в составе консорциума уже более 20 университетов, и есть много желающих в него вступить. Среди ассоциированных членов есть коммерческие компании (Intel стал первым таким членом) и академические институты.

На отчетном собрании консорциума 7 октября было много представителей промышленности - из АФК "Система", из нефтяной отрасли, из двигателестроительной корпорации и т.п. Интересно отметить, что развиваются нетрадиционные формы учебного процесса, такие как Интернет-университет суперкомпьютерных технологий. Он создан на базе Нижегородского университета, развивает его Виктор Павлович Гергель. Идея в том, что опытные преподаватели со всей России с помощью интернет-трансляций читают лекции всем желающим. В любой момент лекции каждый слушатель может задать вопрос преподавателю. Еще одна новинка - коллективный банк тестов по параллельным вычислениям "Сигма".

Консорциум активно поддерживает три всероссийские конференции по параллельным вычислениям, на которых, кстати, объявляются весенняя и осенние версии списка ТОР50. В конце октября прошла молодежная школа на базе Нижегородского университета, где участники могли слушать лекции самого разного уровня по суперкомпьютерным параллельным вычислениям. Школа получилась очень сильной и слушателям были продемонстрированы возможности суперкомпьютерных вычислений в самых разных отраслях. Наконец, в издательстве МГУ выходит книга с описанием реальных приложений суперкомпьютерных вычислений (при спонсорской поддержке Intel). В ней 26 больших статей, красочные фотографии и комментарии, и большое количество коротких материалов. Хочется отметить статью об использовании суперкомпьютеров в НПО "Сатурн", традиционно широко они используются в нефтяной отрасли. Есть работы о прогнозе погоды и климатических изменениях. Очень интересная статья посвящена расчету горнолыжного комплекса в Красногорске: оказывается только на суперкомпьютере можно просчитать климат внутри этой "трубы" при различных внешних температурах. Не менее интересен и расчет оптимальной формы колеса для железнодорожного вагона, который, к сожалению, до сих пор не востребован реальным производством. Суперкомпьютеры позволяют сделать подробный анализ генетической последовательности в процессе образования новых видов растений и животных на нашей планете, проектировать материалы для солнечных батарей и оптимизировать раскрой трикотажных изделий. Все тексты этой книги в самое ближайшее время будут доступны в Интернете.

Суперкомпьютерный консорциум планирует активно развивать свою издательскую деятельность и в будущем появятся и другие книги, а также образовательные курсы для студентов. Будет развиваться и международное сотрудничество с поездками наших преподавателей на стажировку за рубеж и приглашением ведущих западных специалистов для чтения лекций в России. 5 октября в МГУ началось обучение специальной группы по суперкомпьютерам, в которой обучается 37 человек с разных факультетов. Это дополнительная форма обучения - три раза в неделю по две пары с 18 часов. В декабре обучение будет завершено. Очень большое внимание этим начинаниям уделяет ректор МГУ В.А.Садовничий.

Далее Дмитрий Дождев, специалист по высокопроизводительным системам московского исследовательского центра компании Шлюмберже рассказал о практическом применении НРС-технологий при моделировании процессов в Московском исследовательском центре компании Шлюмберже. Компания Шлюмберже - один из крупнейших в мире потребителей суперкомпьютерных вычислений и НРС-систем. Наши суперкомпьютеры не входят в ТОР500 по разным соображениям, но вполне могли бы быть там - это типичная ситуация для коммерческих структур. В компании Шлюмберже сейчас трудится около 80 тысяч человек, в России она присутствует с начала 90-х годов. Шлюмберже инвестирует значительные средства в научно-исследовательскую деятельность, у компании 57 научных и 5 исследовательских центров, ее сотрудники присутствуют в 80 странах. Было время, когда Шлюмберже занималась производством процессоров, но потом этот бизнес был продан компании Intel. Сейчас Шлюмберже занимается всем, что связано с разведкой и добычей полезных ископаемых. Например, может взять на себя управление полным циклом существования любого месторождения. Кстати, сейсмическая разведка подземных недр - один из основных потребителей НРС-вычислений.

В вычислительном центре Шлюмберже ведутся самые разные исследования - моделирование пластов, обработка результатов сейсмической и акустической разведки, геомеханические расчеты. Очень много проектов ведутся совместно с академическими институтами. В среднем расчеты идут на 1-10 миллионах ячеек, но уже есть и задачи для 100 миллионов ячеек, готовится переход и на миллиард ячеек. Для этих расчетов используются как собственные разработки, так и стандартные наборы программ, в частности, для моделирования. Настоящим прорывом для вычислительного центра Шлюмберже стал переход на архитектуру Nehalem процессоров Intel. Скорость расчетов ощутимо выросла, в 2-3 раза, гораздо эффективнее стало работать моделирование.

Г-н Дождев подчеркнул, что очень большой вклад в замедление скорости расчетов вносит система обмена информацией между памятью и процессорными ядрами. По результатам собственных исследований ВЦ Шлюмберже, наиболее эффективной оказывается система интерконнекта Infiniband.

Одна из больших проблем при работе с высокопроизводительными вычислениями и суперкомпьютерами - это отсутствие квалифицированных специалистов, нет сомнения в том, что давно пора приступать к их целенаправленной подготовке. Компания Шлюмберже начала работать с кластерными вычислениями в 2002-2003 гг. и пять лет она нарабатывала собственную экспертизу для эффективной работы с ними. Процесс очень сложный, потому что те, кто разбирается в высокопроизводительных вычислениях, не разбираются в физике процесса и наоборот. Зато набрав этот опыт, уже в начале 2010 года ВЦ Шлюмберже переходит к многомесячным расчетам с использованием 1000 ядер процессоров.

Инженер - консультант Intel Владимир Цымбал рассказал об истории успешного использования программных инструментов Intel компаниями-разработчиками программного обеспечения. Первая компания - Simatron. Центр разработки ее находится в Израиле, практически все из 40 разработчиков приехали из Санкт-Петербурга. На 2008 год было реализовано более 20 тысяч инсталляций продукта Simatron (это система автоматического проектирования CAD) по всему миру. Проект разрабатывался в среде Visual studio 2008, продукт содержит 5 миллионов строк кода на С++, три сотни библиотек, очень много кода сторонних производителей. При разработке использовался компилятор Intel, и разработчики жаловались на большое количество проблем. Авторы попытались самостоятельно распараллелить программу, она на двуядерных процессорах стала исполняться быстрее, а на четырехядерных почему-то медленнее. Для отладки продукта авторы сами попробовали использовать Intel trade checker, который помогает находить в динамике ошибки многопоточности. К сожалению, этот продукт просто не заработал с их программой. Задачу удалось решить только с помощью экспертов Intel: программа была настолько сложна, что Intel trade checker работал по несколько суток для проверки отдельных частей. В конце концов удалось найти две ошибки, после устранения которых все заработало.

Второй инструмент, который использовали авторы - это профилеровщик программ Intel. С его помощью также удалось найти несколько ошибок. После устранения всех ошибок оказалось, что при переходе на двуядерные процессоры скорость работы программы увеличивается на 27%, а на четырехядерных процессорах - на 43%. И это прекрасный результат для такого большого продукта.

Ещё один пример - это проект трехмерного моделирования и симулирования компании Open Cascade, применимый в самых разных областях - машиностроении, судостроения, авиастроения. С помощью продуктов Intel им удалось отыскать некоторые ошибки, после чего работа отдельных элементов программы увеличилась в 10 раз, а всего комплекса в два раза. Используя Intel parallel inspector - инструмент для поиска ошибок многопоточности, который помогает улучшать корректность работы приложений - удалось найти много ошибок, которые приводили к нестабильности работы.

Здесь очень важно отметить, что и Simatron и Open cascade получили для своей работы Intel parallel studio еще на стадии альфа-тестирования, и они не только использовали его для работы над собственными продуктами, но и давали Intel очень ценные рекомендации по его улучшению. В результате в продукт Intel было внесено около 30 изменений. Это значит, что в продукты Intel при их совершенствовании вносится не только труд тысяч экспертов Intel, но и гораздо более широкого сообщества разработчиков.
Страница: Назад  1 2 Далее


СОДЕРЖАНИЕ

Отзывы о высокопроизводительных вычислениях в Клубе экспертов THG [ 0 отзывов] Отзывы о высокопроизводительных вычислениях в Клубе экспертов THG [ 0 отзывов]


РЕКЛАМА
РЕКОМЕНДУЕМ ПРОЧЕСТЬ!

История мейнфреймов: от Harvard Mark I до System z10 EC
Верите вы или нет, но были времена, когда компьютеры занимали целые комнаты. Сегодня вы работаете за небольшим персональным компьютером, но когда-то о таком можно было только мечтать. Предлагаем окунуться в историю и познакомиться с самыми знаковыми мейнфреймами за последние десятилетия.

Пятнадцать процессоров Intel x86, вошедших в историю
Компания Intel выпустила за годы существования немало процессоров x86, начиная с эпохи расцвета ПК, но не все из них оставили незабываемый след в истории. В нашей первой статье цикла мы рассмотрим пятнадцать наиболее любопытных и памятных процессоров Intel, от 8086 до Core 2 Duo.

ССЫЛКИ
Реклама от YouDo
Стоимость дизайна кухни на http://remont.youdo.com/interior/rooms/kitchen/price/.
Транспортные услуги: http://perevozki.youdo.com/international/europe/latvia/ - подробности здесь.