2, август 2023  — 

Рабочие нагрузки искусственного интеллекта ( ИИ ) и машинного обучения ( МО ) требуют от организаций управления как кодом , так и массивными наборами данных . Для многих команд создание и запуск систем ИИ является сложной задачей по следующим причинам :

• длительное время обучения модели;
• необходимость массивного управления данными;
• необходимость поддержки оркестрации управления рабочей нагрузкой и запуском заданиями;
• необходимость управления релизами и конфигурацией в отношении данных , а также цепочки инструментов ;
• требуются огромные инвестиции в инфраструктуру , которая недоступна для стартапов и новаторов .

Все эти проблемы решаются в Lenovo TruScale HPC для инфраструктуры искусственного интеллекта как услуга . Lenovo вместе с нашими партнерами , WEKA и UbiOps, предоставляет командам высокопроизводительных вычислений и искусственного интеллекта мощное готовое решение для развертывания , обучения и управления моделями и рабочими процессами машинного и глубокого обучения .

Данное решение позволяет легко управлять , запускать и масштабировать рабочие нагрузки искусственного интеллекта и машинного обучения на Lenovo HPC с помощью WEKA Data Platform и UbiOps за счет:

• поддержки масштабируемых систем ML/AI промышленного уровня, а также развертывания моделей ИИ и их обучение до 10 раз быстрее . Управление бесчисленными рабочими нагрузками ИИ одновременно из единой плоскости управления ;
• снижения совокупной стоимости существующего решения и повышения его производительности . Достижение более быстрой конвергенции в цикле разработки модели и сокращение ее выхода на рынок ;
• возможность использования масштабируемой распределенной инфраструктуры данных и вычислений даже для самых ресурсоемких рабочих нагрузок ;
• получения доступа по запросу ко всему стеку высокопроизводительных вычислений Lenovo в локальной среде и в гибридном облаке . Lenovo TruScale HPC дает возможность сосредоточиться на своей основной деятельности и не беспокоиться об управлении аппаратным и программным стеком .

Рабочие нагрузки AI и ML требуют от организаций управления как кодом , так и массивными наборами данных . Для многих команд создание и запуск систем ИИ является сложной задачей : много времени уходит на обучение моделей , управление данными , управление рабочими нагрузками и оркестровку в сложной облачной среде , перерасход средств и работу с большими конвейерами данных , среди прочего . Все эти проблемы требуют ресурсов и денег для управления операциями .

Чтобы преодолеть эти проблемы , Lenovo HPC, WEKA и UbiOps предоставляют командам высокопроизводительных вычислений и искусственного интеллекта мощное готовое решение для развертывания , обучения и управления моделями и рабочими процессами машинного и глубокого обучения .

Независимо от того , находитесь ли вы в начале пути к HPC/AI или уже интегрировали AI/ML в свою организацию , вы можете извлечь выгоду из этого решения и начать запускать приложения , интенсивно использующие данные , в реальном времени уже сегодня :

• обучайте , развертывайте и управляйте всеми своими моделями обработки данных и машинного обучения в готовой производственной среде с масштабируемой вычислительной инфраструктурой .
• масштабируйте свои рабочие нагрузки ИИ динамически по мере использования и легко увеличивайте их с помощью функции автоматического масштабирования .
• используйте современный высокопроизводительный графический процессор для ускорения глубокого обучения .
• создавайте и организуйте рабочие процессы — повторно используйте и делитесь шагами и данными модульного конвейера .
• обучайте модели , используя данные в петабайтном масштабе локально и / или в гибридном облаке .
• получите доступ по запросу к мощному оборудованию с бессерверным распределением рабочей нагрузки . Развертывайте модели в собственной инфраструктуре или частном облаке или масштабируйте их до гибридных и многооблачных сред , чтобы оптимизировать затраты , соответствие требованиям и производительность .

Группы обработки данных и искусственного интеллекта как в крупных , так и в небольших организациях часто сталкиваются с одними и теми же проблемами , когда речь идет о разработке и развертывании систем искусственного интеллекта и машинного обучения в масштабе :

• Инфраструктура . Правильная инфраструктура для запуска моделей машинного обучения , масштабирования и обработки больших объемов данных в условиях производственного уровня часто требует огромных затрат времени и ресурсов DevOps/ ИТ .
• Качество данных . Поддержание качества данных , используемых для обучения и тестирования моделей , имеет решающее значение для AI и ML.
• Приложения : может быть сложно обеспечить согласованность , точность и актуальность данных в любом масштабе .
• Управление версиями модели . Отслеживание различных моделей и их производительности может быть затруднено , особенно по мере увеличения числа развернутых моделей .
• Сотрудничество : сотрудничество между специалистами по данным и операционными командами может стать сложным и неэффективным .
• Мониторинг и отладка . Мониторинг производительности моделей машинного обучения в производственных средах и отладка возникающих проблем могут занимать очень много времени и быть сложными .
• Безопасность и соответствие требованиям . Обеспечение безопасного развертывания и управления моделями машинного обучения в соответствии с требованиями имеет решающее значение , но это может быть сложно достичь в масштабе .
• Отсутствие автоматизации . Наука о данных и машинное обучение часто по - прежнему требуют ручных процессов , которые могут занимать много времени и приводить к ошибкам . Автоматизация необходима для масштабирования процессов MLOps.
• Ограниченные ресурсы : организациям может потребоваться больше ресурсов для MLOps, что затрудняет масштабирование .
• Гибридное облако и локальное развертывание . Работа с несколькими средами , в которых находятся ваши данные и вычислительные ресурсы , может оказаться очень сложной задачей для многих команд .

Новейшее вычислительное решение ИИ для приложений высокопроизводительного ИИ и машинного обучения

Lenovo, WEKA и UbiOps объединили усилия , чтобы предложить лучшее в своем классе решение для решения этих задач . Это решение динамически распределяет ресурсы для всего рабочего процесса ; следовательно , управляет как инфраструктурой для вашего развития , так и вашими операционными потребностями .

Рис . 1. Вычислительное решение ИИ для приложений высокопроизводительного ИИ и машинного обучения

UbiOps предоставляет вашей команде мощные возможности обслуживания и оркестровки моделей ИИ с непревзойденной простотой , скоростью и масштабируемостью . Он позволяет управлять , обучать и выполнять бесчисленное количество заданий AI/ML одновременно из единой плоскости управления .

UbiOps позволяет специалистам по данным легко совместно работать над моделями , данными и рабочими процессами . Он поставляется с множеством встроенных функций MLOps, таких как контроль версий , простой откат , мониторинг и ведение журнала для развернутых моделей и заданий . UbiOps как интегрированное решение MLOps повышает производительность вашей команды и сокращает время выхода на рынок решений и продуктов ИИ .

Более того , UbiOps можно использовать как SaaS или устанавливать в гибридных облачных средах . Получите доступ по запросу к мощному оборудованию ЦП и ГП с помощью бессерверного распределения рабочей нагрузки в нескольких облаках . Оптимизируйте вычислительные узлы в соответствии с вашими моделями и создавайте модульные оптимизированные конвейеры с помощью нашего инструмента управления рабочими процессами данных .

WEKA создала программно - определяемую платформу данных , которая использует передовые серверы и системы хранения Lenovo, а также быстрые сетевые технологии , чтобы раскрыть ценность ваших данных .

Платформа данных WEKA, работающая на серверах Lenovo, обеспечивает постоянный молниеносный доступ к данным в масштабах от терабайтов до эксабайтов , когда это необходимо в рабочем процессе ИИ . Этот быстрый доступ поддерживается отмеченной наградами аппаратной платформой Lenovo TruScale, а запатентованная архитектура поддерживает как малые , так и очень большие конфигурации без ущерба для производительности . Платформа данных WEKA устраняет необходимость в нескольких вариантах хранения и копиях данных для рабочих процессов MLOps, снижая сложность операций , повышая эффективность конвейера и увеличивая использование графического процессора .

Единая платформа данных WEKA поддерживает все популярные методы доступа к данным , включая файловую систему , совместимую с POSIX, NFS, SMB, S3, CSI для Kubernetes и прямое хранилище GPU ( для прямого перемещения данных между графическими процессорами и хранилищем ). Кроме того , благодаря SDDP он обеспечивает развертывание как в локальной среде , в частном облаке , так и в гибридном облаке . WEKA также перемещает данные между различными облачными конфигурациями .

Рисунок 2. Рабочий процесс WEKA

Дополнительные преимущества включают в себя :

• Эффективное перемещение и резервное копирование данных . Расширенные возможности управления данными обеспечивают быстрое и эффективное перемещение данных между различными узлами и упрощают резервное копирование в локальные или удаленные облачные регионы .
• Уровневая автоматизация . WEKA может автоматически размещать холодные данные в недорогом объектном хранилище , локально или в облаке для повышения экономической эффективности . Все данные остаются в пространстве имен , а метаданные остаются на уровне флэш - памяти для быстрого доступа .
• Обеспечение безопасности . Платформа данных WEKA была разработана для обеспечения безопасности ваших данных с помощью расширенной аутентификации , шифрования во время передачи и хранения , а также гибкого управления ключами .

Lenovo TruScale для высокопроизводительных вычислений обеспечивает упрощенный доступ к технологии высокопроизводительных вычислений благодаря гибкой модели по требованию , объединяющей оборудование , программное обеспечение и услуги в единое настраиваемое решение с предсказуемой и доступной регулярной оплатой .

Предоставляемый как услуга , TruScale HPC помогает ускорить внедрение инноваций , предоставляя доступ к новейшим передовым решениям в рамках модели без риска , без сюрпризов и с оплатой по мере роста . По сути , он сочетает в себе лучшее из локальной и облачной среды в одном решении .

Преимущества очевидны . Во - первых , нет необходимости в капитальных вложениях , и вы можете избежать длительных циклов закупок с нашей моделью OPEX. Кроме того , TruScale упрощает управление центром обработки данных и предоставление ИТ - ресурсов , снижая бюджетные и кадровые ограничения . Это дает вам время и ресурсы , чтобы сосредоточиться на ускорении бизнес - результатов и достижении конкурентных преимуществ . Управляемые услуги TruScale HPC позаботятся об обновлениях , обслуживании и планах расширения для клиента . Поэтому вы сосредотачиваетесь на своей основной компетенции , в то время как Lenovo предоставляет инфраструктуру вместе с нашими партнерами .

Некоторые из преимуществ Lenovo HPC включают в себя :

• сервер № 1 по надежности семь лет подряд;
• поставки продуктов шести из 10 крупнейших гиперскейлеров в мире ;
• сертификаты и охват более чем 100 рынков ;
• модель централизованного финансирования / выставления счетов / заключения контрактов / доставки для поддержки сложных глобальных сделок ;
• действуют хорошо зарекомендовавшие себя программы предоставления услуг .

Рис . 3. Пример архитектуры TruScale HPC

Заключение

Lenovo, WEKA и UbiOps объединили свои усилия , чтобы предоставить комплексное решение для запуска , управления и координации рабочих нагрузок AI/ML с интенсивным использованием данных , а также предоставить возможности MLOps группам специалистов по обработке и анализу данных. Среди преимуществ решения :

• объединяет разрозненные стеки в единую управляемую платформу данных , работающую локально и / или в гибридном облаке ;
• предназначено для развертывания , запуска и управления современными решениями AI/ML в масштабе ;
• предоставляет вашей команде возможности MLOps для захвата и отслеживания всех артефактов проекта , включая код , версии пакетов и параметры , для обеспечения полной видимости , повторяемости и воспроизводимости в любое время как для разработки модели , так и для управления официальным выпуском ;
• включает в себя полностью управляемые , лучшие в своем классе автоматически масштабируемые хранилища и вычислительные узлы , чтобы ваша команда могла быть спокойной и сосредоточиться на своих компетенциях , а не на повседневных задачах инфраструктуры .

Выставление счетов на основе потребления делает это не только мощным , но и очень экономичным решением для организаций любого размера , чтобы дать толчок их пути AI/ML.

Марк Азадпур ( Mark Azadpour )— старший менеджер по стратегическим продуктам TruScale в Lenovo, специализирующийся на высокопроизводительных вычислениях , искусственном интеллекте , виртуализации ( облаке ) и программно - определяемой инфраструктуре . Он имеет многолетний опыт работы с корпоративным программным и аппаратным обеспечением и имеет докторскую степень . В компьютерной инженерии и MBA в стратегическом маркетинге .

Lenovo и логотип Lenovo являются товарными знаками или зарегистрированными товарными знаками Lenovo в США и / или других странах . Текущий список товарных знаков Lenovo доступен в Интернете по адресу https://www.lenovo.com/us/en/legal/copytrade/ .

Следующие термины являются товарными знаками Lenovo в США и / или других странах :
Lenovo®

Другие названия компаний , продуктов или услуг могут быть товарными знаками или знаками обслуживания других лиц .