Weka представила результаты тестирования NVIDIA® Magnum IO GPUDirect® совместно с Microsoft Research Lab
25, март 2021 WekaIO ™ (Weka), самая быстрорастущая платформа данных для искусственного интеллекта / машинного обучения (AI / ML), исследований в области биологических наук, корпоративных технических вычислений и высокопроизводительного анализа данных (HPDA ) объявила о результатах тестирования, проведенного с Microsoft, которое показало, что файловая система Weka ( WekaFS ™ ) обеспечивает одну из самых высоких совокупных показателей пропускной способности хранилища NVIDIA® Magnum IO GPUDirect® среди всех систем хранения, протестированных на сегодняшний день. Weka решает проблемы хранения, типичные для рабочих нагрузок с интенсивным вводом-выводом, таких как искусственный интеллект (AI). . Она обеспечивает высокую пропускную способность, низкую задержку и видимость в едином пространстве имен для всего конвейера данных, что позволяет директорам по данным (CDO), специалистам по обработке данных и инженерам данных ускорить MLOps и ускорить окупаемость. Тесты проводились в Microsoft Research с использованием одного сервера NVIDIA® DGX-2 ™ *, подключенного к кластеру WekaFS через коммутатор NVIDIA Mellanox InfiniBand. Инженеры Microsoft Research в сотрудничестве со специалистами WekaIO и NVIDIA смогли достичь одного из самых высоких уровней пропускной способности в системах, протестированных с 16 графическими процессорами NVIDIA V100 Tensor Core с использованием GDS. Такой высокий уровень производительности был достигнут и подтвержден запуском утилиты NVIDIA gdsio более 10 минут и показателем стабильной производительности в течение этого времени. WekaFS - это самая быстрая и наиболее масштабируемая параллельная файловая система в мире, совместимая с POSIX, разработанная для преодоления ограничений устаревших файловых систем, использующих локальное хранилище, NFS или блочное хранилище, что делает ее идеальной для ИИ, интенсивно использующего данные, и высокопроизводительных вычислений (HPC ) рабочие нагрузки. WekaFS - это чистый дизайн, объединяющий флеш-хранилище на основе NVMe для уровня производительности с серверами графического процессора, объектным хранилищем и межкомпонентными структурами со сверхнизкой задержкой в ??архитектуру NVMe-over-Fabrics, создавая чрезвычайно высокопроизводительную горизонтально масштабируемую систему хранения. Производительность WekaFS линейно масштабируется по мере того, как в кластер хранения добавляется больше серверов, что позволяет инфраструктуре расти в соответствии с растущими требованиями бизнеса. «Результаты исследовательской лаборатории Microsoft превосходны, и мы рады, что команда может использовать преимущества своей технологии ускорения вычислений с помощью Weka для достижения своих бизнес-целей», - сказал Кен Гроэ, президент и главный директор по доходам WekaIO. «Для достижения успешных результатов, подобных этим, полученных в исследовательской лаборатории Microsoft, необходимы три важных компонента: технология ускорения вычислений, такая как графические процессоры, высокоскоростная сеть и современная параллельная файловая система, такая как WekaFS. Комбинируя WekaFS и NVIDIA GPUDirect Storage (GDS), заказчики могут ускорить инициативы AI / ML, чтобы значительно ускорить окупаемость и время вывода продуктов на рынок. Наша миссия состоит в том, чтобы и дальше заполнять критический пробел в хранении данных в ИТ-инфраструктуре, который способствует созданию гибких и ускоренных центров обработки данных ». «Тесты проводились в системе, в которой WekaFS была развернута вместе с несколькими серверами NVIDIA DGX-2 в промежуточной среде, что позволило нам достичь наивысшей пропускной способности среди всех решений для хранения данных, которые были протестированы на сегодняшний день», - сказал Джим Джерниган, руководитель отдела исследований и разработок. системный инженер в Microsoft Corp. «Мы были впечатлены показателями производительности, которых удалось достичь с помощью решения GDS и WekaFS». Для получения дополнительной информации о WekaFS перейдите по адресу : https://www.weka.io/parallel-file-system/, а чтобы запросить бесплатную пробную версию WekaFS, перейдите в раздел « Начало работы с Weka» . Дополнительные ресурсы:
* Сервер NVIDIA DGX-2 использовал нестандартную конфигурацию с однопортовыми сетевыми адаптерами, замененными двухпортовыми сетевыми адаптерами. О WekaIO WekaIO, WekaFS, Weka AI, Weka Innovation Network, Weka Within, логотип Weka AI, логотип WIN, логотип Weka Within и логотип WekaIO являются товарными знаками WekaIO, Inc. |
|