9, ноябрь 2021  — 

Фреймворк NVIDIA NeMo Megatron и NVIDIA Triton™ Inference Server позволяют предприятиям во всем мире разрабатывать , настраивать и развертывать большие языковые модели до триллионов параметров .

NVIDIA открыла двери для предприятий по всему миру для разработки и развертывания больших языковых моделей (LLM, large language models ), позволив им создавать собственных доменных чат-ботов, личных помощников и другие приложения ИИ, которые понимают язык с беспрецедентным уровнем тонкости и нюансов.

Компания представила фреймворк NVIDIA NeMo Megatron для обучения языковых моделей с триллионами параметров, настраиваемый LLM Megatron 530B, который можно обучать новым доменам и языкам, и NVIDIA Triton Inference Server ™ с функцией многоузлового распределенного вывода с несколькими графическими процессорами.

В сочетании с системами NVIDIA DGX ™ эти инструменты представляют собой готовое к производству решение корпоративного уровня, упрощающее разработку и развертывание больших языковых моделей.

«Крупные языковые модели доказали свою гибкость и способность отвечать на вопросы глубокой предметной области, переводить языки, понимать и резюмировать документы, писать истории и вычислять программы, и все это без специального обучения или контроля, - сказал Брайан Катандзаро ( Bryan Catanzaro ), вице-президент Applied Deep. Обучающие исследования в NVIDIA. - Создание больших языковых моделей для новых языков и областей, вероятно, является крупнейшим приложением для суперкомпьютеров, и теперь эти возможности доступны для предприятий мира».

Разработка NVIDIA NeMo Megatron и Megatron 530B Speed LLM

NVIDIA NeMo Megatron основывается на достижениях Megatron , проекта с открытым исходным кодом, возглавляемого исследователями NVIDIA, изучающими эффективное обучение моделей языка больших преобразователей в больших масштабах. Megatron 530B - крупнейшая в мире настраиваемая языковая модель.

Фреймворк NeMo Megatron позволяет предприятиям решать проблемы обучения сложных моделей обработки естественного языка. Он оптимизирован для масштабирования в масштабной инфраструктуре ускоренных вычислений NVIDIA DGX SuperPOD ™.

NeMo Megatron автоматизирует сложность обучения LLM с помощью библиотек обработки данных, которые собирают, обрабатывают, систематизируют и очищают данные. Используя передовые технологии для данных, тензорного и конвейерного распараллеливания, он позволяет эффективно распределять обучение больших языковых моделей между тысячами графических процессоров. Предприятия могут использовать структуру NeMo Megatron для обучения LLM для своих конкретных доменов и языков.

Сервер логического вывода NVIDIA Triton

поддерживает логический вывод LLM в реальном времени. Новые многоузловые и многоузловые функции последнего сервера вывода NVIDIA Triton, объявленные сегодня отдельно, позволяют масштабировать рабочие нагрузки вывода LLM на несколько графических процессоров и узлов с производительностью в реальном времени. Для моделей требуется больше памяти, чем доступно в одном графическом процессоре или даже на большом сервере с несколькими графическими процессорами, и логический вывод должен выполняться быстро, чтобы его можно было использовать в приложениях.

С Triton Inference Server Megatron 530B может работать на двух системах NVIDIA DGX , чтобы сократить время обработки с более чем минуты на сервере ЦП до полсекунды, что позволяет развертывать LLM для приложений реального времени.

Множество пользовательских языковых моделей, разработанных во всем мире.

Среди первых, кто начал создавать большие языковые модели с помощью NVIDIA DGX SuperPOD, являются SiDi, JD Explore Academy и VinBrain.

SiDi, один из крупнейших бразильских институтов исследований и разработок в области искусственного интеллекта, адаптировал виртуального помощника Samsung для использования 200 миллионами бразильских португальцев в стране.

«Команда SiDi имеет обширный опыт разработки виртуальных помощников и чат-ботов с ИИ, которые требуют как мощной производительности ИИ, так и специализированного программного обеспечения, которое обучено и адаптировано к меняющимся нюансам человеческого языка, - сказал Джон Йи ( John Yi ), генеральный директор SiDi. - NVIDIA DGX SuperPOD идеально подходит для поддержки продвинутой работы нашей команды, чтобы помочь нам предоставить ведущие в мире услуги искусственного интеллекта для говорящих на португальском языке в Бразилии».

JD Explore Academy , отдел исследований и разработок JD.com, ведущего поставщика технологий и услуг на основе цепочек поставок, использует NVIDIA DGX SuperPOD для разработки NLP для приложений интеллектуального обслуживания клиентов, интеллектуальной розничной торговли, интеллектуальной логистики, Интернета вещей и здравоохранения. и более.

VinBrain, находящаяся во Вьетнаме компания в области искусственного интеллекта в сфере здравоохранения, использовала DGX SuperPOD для разработки и развертывания клинической языковой модели для радиологов и телемедицины в 100 больницах, где ее используют более 600 практикующих врачей.

Доступность

Предприятия могут бесплатно разрабатывать и развертывать большие языковые модели в специально отобранных лабораториях с помощью NVIDIA LaunchPad , о которой было объявлено отдельно сегодня.

Организации могут подать заявку на участие в программе раннего доступа к ускоренной платформе NVIDIA NeMo Megatron для обучения больших языковых моделей.

NVIDIA Triton доступен из каталога NVIDIA NGC ™ , концентратора для оптимизированного для GPU программного обеспечения ИИ, который включает в себя фреймворки, наборы инструментов, предварительно обученные модели и ноутбуки Jupyter, а также в виде открытого исходного кода из репозитория Triton GitHub .

Triton также включен в программный пакет NVIDIA AI Enterprise , который оптимизирован, сертифицирован и поддерживается NVIDIA. Предприятия могут использовать этот программный пакет для выполнения вывода языковой модели на обычных ускоренных серверах в локальных центрах обработки данных и частных облаках.

Системы NVIDIA DGX SuperPOD и NVIDIA DGX доступны у глобальных торговых посредников NVIDIA, которые могут предоставить цены для квалифицированных клиентов по запросу.

Зарегистрируйтесь бесплатно, чтобы узнать больше во время NVIDIA GTC , которое состоится онлайн до 11 ноября. Смотрите основное выступление основателя и генерального директора NVIDIA Дженсена Хуанга по GTC

Об NVIDIA

Изобретение NVIDIA (NASDAQ: NVDA) графического процессора в 1999 году вызвало рост рынка компьютерных игр и изменило определение современной компьютерной графики, высокопроизводительных вычислений и искусственного интеллекта. Новаторская работа компании в области ускоренных вычислений и искусственного интеллекта меняет отрасли с оборотом в триллионы долларов, такие как транспорт, здравоохранение и производство, а также способствует росту многих других. Дополнительная информация на https://nvidianews.nvidia.com/ .

Определенные заявления в этом пресс-релизе, включая, помимо прочего, заявления о преимуществах, влиянии, производительности, функциях и доступности наших продуктов и услуг, включая платформу NVIDIA NeMo Megatron, NVIDIA Triton Inference Server, NVIDIA DGX SuperPOD и Системы NVIDIA DGX; и построение больших языковых моделей для новых языков и доменов, которые, вероятно, станут крупнейшим приложением для суперкомпьютеров на сегодняшний день, и эти возможности, доступные для мировых предприятий, являются прогнозными заявлениями, подверженными рискам и неопределенностям, которые могут привести к тому, что результаты будут существенно отличаться чем ожидания. Важные факторы, которые могут привести к тому, что фактические результаты могут существенно отличаться, включают: глобальные экономические условия; наша зависимость от третьих сторон в производстве, сборке, упаковке и тестировании нашей продукции; влияние технологического развития и конкуренции; разработка новых продуктов и технологий или усовершенствования существующих продуктов и технологий; признание рынком нашей продукции или продукции наших партнеров; дефекты конструкции, изготовления или программного обеспечения; изменения потребительских предпочтений или требований; изменения в отраслевых стандартах и ??интерфейсах; неожиданная потеря производительности наших продуктов или технологий при интеграции в системы; а также другие факторы, которые время от времени подробно описываются в самых последних отчетах, которые NVIDIA подает в Комиссию по ценным бумагам и биржам или SEC, включая, помимо прочего, годовой отчет по форме 10-K и квартальные отчеты по форме 10-Q. . Копии отчетов, поданных в SEC, размещаются на сайте компании и доступны в NVIDIA бесплатно.

© 2021 NVIDIA Corporation. Все права защищены. NVIDIA, логотип NVIDIA, DGX, NGC, NVIDIA DGX SuperPOD и NVIDIA Triton Inference Server являются товарными знаками и / или зарегистрированными товарными знаками NVIDIA Corporation в США и других странах. Все остальные товарные знаки и авторские права являются собственностью соответствующих владельцев. Возможности, цены, доступность и технические характеристики могут быть изменены без предварительного уведомления.