21, июль 2022  — 

Функции, ориентированные на логические выводы, включая интеграцию с NVIDIA Triton Inference Server, делают Run:ai Atlas идеальной платформой управления инфраструктурой ИИ для разработки, обучения и производства.

Run:ai, лидер в области оркестровки вычислений для рабочих нагрузок ИИ, объявила сегодня о новых функциях своей платформы Atlas, включая двухэтапное развертывание модели, которое упрощает и ускоряет внедрение моделей машинного обучения в производство. Компания также объявила о новой интеграции с NVIDIA Triton Inference Server. Эти возможности в первую очередь ориентированы на поддержку организаций в развертывании и использовании моделей ИИ для рабочих нагрузок логических выводов на вычислениях с ускорением NVIDIA, чтобы они могли предоставлять точные ответы в режиме реального времени. Функции делают Run:ai Atlas единой унифицированной платформой, на которой команды специалистов по ИИ, от специалистов по данным до инженеров MLOps, могут создавать, обучать и управлять моделями в производстве с помощью одного простого интерфейса.

Модели ИИ могут быть сложными для внедрения в производство; несмотря на время и усилия, потраченные на создание и обучение моделей, большинство из них никогда не покидают лабораторию. Настройка модели, подключение ее к данным и контейнерам и выделение только необходимого объема вычислений — основные препятствия для работы ИИ в производственной среде. Развертывание модели обычно требует ручного редактирования и загрузки утомительных файлов конфигурации YAML. Новое двухэтапное развертывание Run:ai упрощает процесс, позволяя организациям быстро переключаться между моделями, оптимизировать использование графических процессоров для экономичного использования и обеспечивать эффективную работу моделей в производственной среде.

Run:ai также анонсировала полную интеграцию с NVIDIA Triton Inference Server, которая позволяет организациям развертывать несколько моделей — или несколько экземпляров одной и той же модели — и запускать их параллельно в одном контейнере. NVIDIA Triton Inference Server включен в программный пакет NVIDIA AI Enterprise, который полностью поддерживается и оптимизирован для разработки и развертывания ИИ. Оркестровка Run:ai работает поверх NVIDIA Triton и обеспечивает автоматическое масштабирование, распределение и расстановку приоритетов для каждой модели, что автоматически оптимизирует размер Triton. Использование Atlas от Run:ai с NVIDIA Triton приводит к увеличению использования вычислительных ресурсов при одновременном упрощении инфраструктуры ИИ. Платформа Run.ai Atlas — это приложение NVIDIA AI Accelerated, что указывает на то, что оно разработано на платформе NVIDIA AI для повышения производительности и надежности.

Выполнение рабочих нагрузок логических выводов в производственной среде требует меньше ресурсов, чем обучение, которое потребляет большие объемы вычислений и памяти графического процессора. Организации иногда запускают рабочие нагрузки логического вывода на CPU , а не на GPU , но это может означать более высокую задержку. Во многих случаях использования ИИ конечному пользователю требуется ответ в режиме реального времени: например, идентификация знака остановки, распознавание лиц на телефоне или голосовая диктовка. Вывод на основе CPU может быть слишком медленным для этих приложений.

Использование GPU для рабочих нагрузок вывода ( inference ) обеспечивает меньшую задержку и более высокую точность, но это может быть дорогостоящим и расточительным, если GPU используются не полностью. Ориентированный на модели подход Run:ai автоматически адаптируется к различным требованиям рабочей нагрузки. С Run:ai больше не требуется использовать полный GPU для одной облегченной рабочей нагрузки, что позволяет значительно сократить расходы при сохранении низкой задержки.

Другие новые функции Run:ai Atlas для рабочих нагрузок логических выводов включают:

•  Видимость и мониторинг. Новые метрики и информационные панели, ориентированные на логические выводы, дают представление о работоспособности и производительности моделей ИИ в производственной среде.

•  Развертывание моделей на фракционных GPU . Выбор правильного размера моделей и их развертывание на фракционных графических процессорах позволяет избежать потери ресурсов и обеспечивает соблюдение требований к производительности.

•  Автомасштабирование . Позволяет организациям автоматически масштабировать модели вверх или вниз на основе предопределенных пороговых значений с использованием встроенных и специфичных для графического процессора показателей. Это обеспечивает соблюдение типовых соглашений об уровне обслуживания (с точки зрения задержки).

•  Масштабирование до нуля ( Scale-to-Zero ) . Автоматически масштабирует развертывание до нуля, когда это возможно, высвобождая ценные ресурсы, что снижает затраты и позволяет перепрофилировать ресурсы для других рабочих нагрузок.

«Благодаря новым расширенным возможностям логического вывода платформа Altas от Run:ai теперь предлагает решение для всего жизненного цикла ИИ — от сборки до обучения и логического вывода — все это реализовано на одной платформе», — сказал Ронен Дар ( Ronen Dar ), технический директор и соучредитель Run:ai. . «Вместо использования нескольких различных MLOps и инструментов оркестровки специалисты по обработке и анализу данных могут воспользоваться одной унифицированной мощной платформой для управления всеми потребностями своей инфраструктуры искусственного интеллекта».

«Гибкость и мобильность сервера выводов NVIDIATriton, доступного с поддержкой NVIDIA AI Enterprise, обеспечивают быстрое и простое масштабирование и развертывание обученных моделей ИИ из любой среды на любой инфраструктуре на базе GPU или CPU», — сказал Шанкар Чандрасекаран ( Shankar Chandrasekaran ), старший менеджер по продуктам в NVIDIA. «Высокая производительность и простота использования Triton Inference Server вместе с оркестровкой на платформе Atlas от Run:ai делают его идеальной основой для развертывания модели ИИ».