РЕКЛАМА
ИНФОРМАЦИЯ
Rambler's Top100 Рейтинг@Mail.ru

НОВОСТИ

RSS

Microsoft и NVIDIA создали ИИ-модель генерации естественного языка Мегатрона-Тьюринга

15 октября 2021, 13:23




Компании Microsoft и NVIDIA объявили о совместном создании новой ИИ-модели генерации естественного языка, получившей название Megatron-Turing Natural Language Generation (MT-NLG) («Модель генерации естественного языка Мегатрона-Тьюринга»). Со слов разработчиков, созданная ИИ-модель является крупнейшей в мире и наиболее эффективной уже обученной моделью естественного языка, пригодной для «монолитной трансформации».

Чтобы получить представление, насколько велика новая система, можно сравнить ее с ИИ-моделью GPT-3, разработанной компанией OpenAI. В последнее время о ней много говорилось в новостях. GPT-3 называлась наиболее крупной и продвинутой языковой моделью в мире. Она пригодна для решения «любых лингвистических задач на английском языке».

Microsoft и NVIDIA создали ИИ-модель генерации естественного языка Мегатрона-Тьюринга

Тенденция изменения размеров современных NLP-моделей с течением времени


Языковая ИИ-модель GPT-3 в настоящее время насчитывает 175 млрд параметров. Новая модель MT-NLG охватывает 105 слоев и не менее 530 млрд параметров. Это позволяет уже ее назвать самой большой и наиболее мощной монолитной, обученной трансформаторной языковой моделью.

ИИ-модель MT-NLG является преемником моделей Turing NLG 17B и Megatron-LM. Она смогла продемонстрировать «непревзойденную точность» в различных задачах естественного языка, таких как понимание прочитанного, рассуждения здравого смысла, предсказание завершения текста по смыслу, различение смысла слов с несколькими значениями, генерация логических выводов и создание заключений на естественном языке.

Microsoft и NVIDIA создали ИИ-модель генерации естественного языка Мегатрона-Тьюринга

Изображение: графический процессор Nvidia A100


Обучение столь мощной модели стало возможным благодаря многочисленным инновациям в области разработки современной инфраструктуры обучения на основе GPU (NVIDIA), которые были использованы вместе с передовым программным стеком распределенного обучения (Microsoft).

Обучение этой гигантской модели ИИ проводилось на суперкомпьютере под названием Selene. Эта система состояла из 560 серверов Nvidia DGX A100, каждый из которых содержал по восемь графических процессоров A100 с 80 Гбайт видеопамяти, подключенной через интерфейсы NVLink и NVSwitch. Эта конфигурация аналогична эталонной архитектуре, используемой в облачных суперкомпьютерах Azure NDv4.

Интересно, что Selene также работает на процессорах AMD EPYC 7742. Как заявляли разработчики этой машины из компании The Next Platform, строительство Selene обошлось примерно в 75-85 млн долларов.

При разработке ИИ-модели MT-NLG было создано 15 наборов данных естественного языка, содержащих более 339 млрд токенов. Наборы данных были взяты из англоязычных веб-источников, таких как академические журналы, онлайн-сообщества (Wikipedia и Stack Exchange), репозитории кода (GitHub), новостные сайты и другие. Самый большой набор данных называется The Pile и весит 835 Гбайт.

Microsoft и NVIDIA создали ИИ-модель генерации естественного языка Мегатрона-Тьюринга


Помимо этого, были разработаны методы обучения для повышения эффективности и стабильности оптимизации.



Ранее редакция THG.ru опубликовала статью об искусственном интеллекте. Искусственный интеллект уже давно занял важное место в научно-фантастической литературе и голливудских блокбастерах. Именно они формируют мнение большинства людей о том, что из себя представляет ИИ, и чего от него следует ожидать. Но насколько это мнение соответствует реальному положению вещей? Давайте разбираться. Подробнее об этом читайте в статье "Искусственный интеллект: правда и вымысел".

Читайте также:

  • Microsoft не рекомендует устанавливать Windows 11 на процессоры AMD Ryzen до 19 октября
  • Samsung Galaxy Unpacked состоится 20 октября: повестка пока неизвестна
  • Google собирается расширить совместимость ОС Fuchsia на «устройства разных форм-факторов»
  • Samsung анонсировала SDK для управления памятью CXL
  • AMD и Microsoft выявили 15% потерю производительности процессоров под Windows 11
  • следующая новость
    Геймерские модули памяти GALAX Gamer DDR5 RGB созданы в стиле LEGO

    предыдущая новость
    Народный флагман Samsung Galaxy S21 FE выйдет 11 января

     



    Свежие статьи
    RSS
    Черная пятница началась: Windows 10 Pro от $14, Office – от $26! Главные новости за неделю Лучшая оперативная память: текущий анализ рынка Лучшие внешние и портативные накопители: текущий анализ рынка Лучшие игровые ноутбуки: текущий анализ рынка
    Самая черная пятница с SuperCDK Главные новости за неделю Лучшая оперативная память Лучшие внешние и портативные накопители: текущий анализ рынка Лучшие игровые ноутбуки
    РЕКЛАМА
    РЕКОМЕНДУЕМ ПРОЧЕСТЬ!
    ПОСЛЕДНИЕ НОВОСТИ

    Анонс TWS-наушников OPPO Enco Free 2i TWS с ANC и гарнитуры Enco M32 с шейным ободом

    Анонс OPPO Reno7 Pro, Reno7 и Reno7 SE: почти флагманы с доступным ценником


    25 ноября, 2021

    В Samsung Galaxy S21 Ultra появились новые опции для профессиональной фотосъемки

    Cмартфоны с чипсетами MediaTek могли быть под прослушкой до октября 2021 года

    Анонс Redmi Note 11 4G: недорогой смартфон с мощной камерой и емкой батарейкой

    Moto Edge X станет первым в мире смартфоном на чипсете Snapdragon 8 Gen 1

    Microsoft выпустила виртуальную машину Windows 11 Enterprise для сисадминов

    Ускоритель NVIDIA CMP 170HX на базе GA100 умеет только майнить


    24 ноября, 2021

    NVIDIA выпустила профессиональную видеокарту RTX A4500 и обновила конфигурацию RTX A2000 12GB

    QNAP выпустила сервер сетевого видеонаблюдения NVR QVP-41B

    Apple собирается перейти на собственный модем для iPhone 5G в 2023 году

    Intel начала поставки мобильных процессоров серии Alder Lake-P до их официального анонса

    Индия готовится ввести запрет на частные криптовалюты

    Анонс vivo V23e: 6,44-дюймовый AMOLED-дисплей, чипсет Helio G96 и 50-Мп селфи- камера с автофокусом

    Черная пятница в Banggood: огромные скидки и интересные акции


    23 ноября, 2021

    Intel будет использовать 3-нм графические узлы TSMC для процессоров Meteor Lake

    ССЫЛКИ