Публикации
2023 г. – новый этап практического применения CXL, статья
VMware сдвигает акцент в проекте Capitola на CXL, статья
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья
GigaIO: CDI_решение на базе AMD для высшего образования, статья
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья
End-to-end 64G FC NAFA, статья
Computational Storage, статья
Технология KIOXIA Software-Enabled Flash™, статья
Pavilion: 200 млн IOPS на стойку, статья
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья
SmartNIC – новый уровень инфраструктурной обработки, статья
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья
Compute, Memory и Storage, статья
Lenovo: CXL – будущее серверов с многоуровневой памятью , статья
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья
Intel® Agilex™ FPGA, статья
Weka для AI-трансформации, статья
Cloudera Data Platform – “лучшее из двух миров”, статья
Fujitsu ETERNUS DSP - разработано для будущего, статья
Технологии охлаждения для следующего поколения HPC-решений, статья
Что такое современный HBA?, статья
Fugaku– самый быстрый суперкомпьютер в мире, статья
НРС – эпоха революционных изменений, статья
Новое поколение СХД Fujitsu ETERNUS, статья
Зональное хранение данных, статья
За пределами суперкомпьютеров, статья
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья
IPsec в пост-квантовую эру, статья
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья
 
Обзоры
Все обзоры в Storage News
 
Тематические публикации
Flash-память
Облачные вычисления/сервисы
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
Современные СХД
Информационная безопасность (ИБ), борьба с мошенничеством
Рынки
Решение Lenovo для высокопроизводительной файловой системы с платформой данных WEKA

7, февраль 2023  — 

https://lenovopress.lenovo.com/lp1691-lenovo-high-performance-file-system-solution-with-weka-data-platform

Решение Lenovo High Performance File System Solution с WEKA Data Platform — это программно-определяемое хранилище ( SDS ), которое сочетает в себе ведущие в отрасли серверы Lenovo ThinkSystem с сверхвысокопроизводительной гибридной облачной платформой данных WEKA . Это решение создано для приложений с интенсивным использованием данных, таких как рабочие нагрузки искусственного интеллекта, машинного обучения и высокопроизводительных вычислений, помогая ускорить получение информации и сократить связанные с этим расходы.

Ускорение высокопроизводительных и технических вычислительных рабочих нагрузок

Большие данные создали новые возможности для инноваций, но также и непредвиденные проблемы для приложений с интенсивным использованием данных, особенно в области искусственного интеллекта (ИИ), машинного обучения (МО), глубокого обучения (ГО), финансовой аналитики, геномики, наук о жизни и высокопроизводительных приложений. вычислений (HPC). Эти приложения, интенсивно использующие вычисления и данные, требуют максимальной производительности, даже если их наборы данных масштабируются до предельных возможностей. Устаревшие решения для хранения данных и управления данными были разработаны для решения вчерашних проблем и не могут справиться с проблемами хранения данных, с которыми организации, работающие с передовыми приложениями, сталкиваются сейчас или столкнутся в будущем. Эти новые требовательные рабочие нагрузки могут создать значительную нагрузку на устаревшие решения, которые изначально не были предназначены для решения этих новых задач.

Решение Lenovo High Performance File System Storage с платформой данных WEKA®, созданное на базе серверов Lenovo ThinkSystem SR630 V2, SR635, SR650 V2 и SR655, представляет собой современное решение для инфраструктуры данных, созданное специально для решения серьезных проблем, которые ранее не имели решения. . Он устраняет сложности и компромиссы, связанные с устаревшим хранилищем данных, и предлагает непревзойденную производительность в ЛЮБОМ масштабе, при этом предоставляя все необходимые корпоративные функции и преимущества за небольшую часть стоимости. Удовлетворяя жестким требованиям к хранению данных для ключевых отраслевых рабочих нагрузок, решение Lenovo и WEKA ускоряет процесс получения информации из гор данных и расширяет возможности открытия прорывных инноваций и помощи в решении самых серьезных проблем человечества.


Рисунок 1. Единая платформа данных WEKA

Рабочие нагрузки, решающие эти проблемы, требуют современной инфраструктуры с высочайшей производительностью вычислительных ресурсов, хранилищ и сетевых ресурсов. Разработанное Lenovo и WEKA решение удовлетворяет эти потребности и помогает вам получить информацию, необходимую для получения конкурентного преимущества, обеспечения ценности для клиентов и развития вашего бизнеса.

Серверные платформы Lenovo ThinkSystem и платформа данных WEKA работают вместе, чтобы максимизировать ускорение, сократить время обучения и обеспечить непревзойденную производительность и надежность в любом масштабе. Это решение идеально подходит для всех современных приложений, интенсивно использующих данные. Это решение для хранения данных доказало масштабируемость производительности, обеспечивая более чем в 10 раз более высокую производительность, чем горизонтально масштабируемая система NAS, использующая только флеш-накопители, и в 3 раза более высокую, чем локально подключенные твердотельные накопители NVMe. Вместе Lenovo и WEKA поддерживают высокопроизводительные рабочие нагрузки в области ИИ, финансов, геномики и технических вычислений. Поскольку эти рабочие нагрузки состоят из миллиардов файлов, маленьких и больших, система хранения должна обеспечивать высокую пропускную способность, малую задержку и отличную производительность метаданных в экстремальных масштабах, чтобы эти высокопроизводительные приложения были насыщены данными. Это недостижимо для устаревших систем хранения,

Это программно-определяемое решение для хранения использует программное обеспечение WEKA для поддержки модели гибридного облака, позволяя предприятиям использовать общедоступные вычислительные ресурсы по требованию для разрыва облака, удаленного резервного копирования и аварийного восстановления.


Рисунок 2. Платформа данных WEKA для AI/ML и HPC

Выберите решение, обеспечивающее производительность, гибкость и ценность

С серверами Lenovo ThinkSystem и программным обеспечением WEKA Data Platform вы можете воспользоваться преимуществами решения plug-and-play, которое поможет извлечь большую пользу из данных. Решение позволяет начать с малого и гибко масштабировать систему в соответствии с вашими требованиями к производительности и емкости.

Серверы Lenovo ThinkSystem предлагают бескомпромиссную производительность, масштабируемость, надежность и плотность в форм-факторах 1U или 2U на ваш выбор. В основе платформы данных WEKA лежит WekaFS — файловая система, совместимая с POSIX, которая равномерно распределяет как данные, так и метаданные по всему кластеру хранения, чтобы обеспечить массово-параллельный доступ. Это позволяет платформе WEKA сократить время на внедрение инноваций, предоставляя больше данных приложениям, которые в них нуждаются, быстрее, чем любое другое доступное решение. Благодаря единому пространству имен, которое предлагает локальное хранилище и возможность подключения к облаку, программное обеспечение обеспечивает упрощенное управление хранилищем и защиту данных. Адаптеры ThinkSystem обеспечивают подключение Ethernet и InfiniBand, обеспечивая пропускную способность до 200 Гбит/с на одном сетевом порту, минимальную доступную задержку и разгрузку аппаратного обеспечения приложений.

Получите преимущества для своего бизнеса

Это высокопроизводительное решение для хранения данных не только удовлетворяет ваши конкретные потребности в зависимости от типов рабочих нагрузок и требований к производительности и емкости, но и выходит за рамки этого, обеспечивая более общие преимущества для вашего бизнеса:

  • Оптимизация вашей ИТ-среды с помощью современной инфраструктуры хранения и упрощенного управления хранением
  • Гибкость центра обработки данных с более быстрым доступом к данным и эффективным использованием ресурсов
  • Преобразование данных для ИИ, аналитики и технических вычислений с более быстрой окупаемостью и пониманием

Lenovo рекомендует следующий минимальный строительный блок начального уровня для первоначального развертывания системы хранения, что дает вам возможность масштабирования до большей емкости и уровня производительности путем добавления дополнительных серверов.

6 серверов Lenovo ThinkSystem SR630 V2 или SR635, каждый из которых имеет следующую конфигурацию:

  • 256 ГБ или 512 ГБ памяти
  • 2 сетевых адаптера Mellanox ConnectX-6
  • 4–10 твердотельных накопителей PCIe 4.0 NVMe

Lenovo и WEKA предлагают дифференцированное решение, выходящее за рамки текущих рыночных стандартов и стандартов производительности для систем хранения данных, и предлагают лучшие решения для ваших ИТ- и бизнес-задач.

Минимальная рекомендуемая конфигурация

В следующей таблице указана минимальная рекомендуемая конфигурация для Lenovo Storage Solution с Weka Data Platform.

Таблица 1. Минимальная рекомендуемая конфигурация
Спецификация Рекомендация
Сервер Lenovo ThinkSystem SR630 V2 (Intel) или
Lenovo ThinkSystem SR635 (AMD)
Количество серверов 6
Диски/Сервер 10
Емкость SSD/диск 3,84 ТБ
Полезная емкость (Примечание 1) 115 ТБ
Процессор 2x Intel Xeon Gold 6326 16C или
1x AMD EPYC 7543P 32C
Сеть Высокоскоростной Ethernet или InfiniBand
Программное обеспечение WEKA
Защита данных Distributed Data Protection (N+2 or N+4) (Note 2)
Drive Virtual Hot Sparing
Error Detection: End-to-End Data Protection
In-Flight and At-Rest Data Encryption
Протоколы POSIX, NFS, SMB, S3, NVIDIA GPUDirect и подключаемый модуль Kubernets CSI
Снимки и клоны Уровень файловой системы, до 24 КБ моментальных снимков (14 КБ для записи)
Многоуровневое S3-совместимое облачное хранилище объектов (общедоступное или частное)
Мониторинг хранилища Облачный мониторинг и аналитика для настройки приложений и удаленной поддержки
Управление системой Контроллер ThinkSystem XClarity Enterprise
Размеры на сервер 1 стойка, максимальная глубина: 715 мм
Группа поддержки Программное обеспечение: 3 года, включая поддержку в тот же день
Аппаратное обеспечение: 3 года, поддержка на следующий рабочий день
Расчетная производительность (Примечание 3) Пропускная способность чтения до 180 ГБ/с, до 14 миллионов операций ввода-вывода в секунду при чтении

Примечания:

  1. Размер полосы 4+2 с одним сконфигурированным горячим резервом. Конфигурации могут различаться в зависимости от многоуровневой конфигурации клиентской сети. Обратитесь к представителю Lenovo за рекомендациями по решению, подходящему для вашей среды.
  2. N+4 доступно только для кластера с 14 и более серверами
  3. Оценки производительности даны для кластера из 6 серверов в сети 200 Гбит/с.

Детали конфигурации могут быть изменены без предварительного уведомления. Доступны дополнительные конфигурации емкости, дисков и серверов. Для получения дополнительной информации позвоните своему представителю Lenovo.

Дополнительная информация

Чтобы узнать больше о решениях Lenovo для управления данными, посетите нашу веб-страницу решений для управления данными . Более подробную информацию о программном обеспечении WEKA Data Platform можно найти на сайте weka.io. Вы также можете обратиться к торговому представителю Lenovo или авторизованному торговому партнеру.

Связанные семейства продуктов

Семейства продуктов, относящиеся к этому документу, следующие:

Товарные знаки

Lenovo и логотип Lenovo являются товарными знаками или зарегистрированными товарными знаками Lenovo в США и/или других странах. Текущий список товарных знаков Lenovo доступен в Интернете по адресу https://www.lenovo.com/us/en/legal/copytrade/ .

Следующие термины являются товарными знаками Lenovo в США и/или других странах:
Lenovo®
ThinkSystem®
XClarity®

Следующие термины являются товарными знаками других компаний:

Intel® и Xeon® являются товарными знаками корпорации Intel или ее дочерних компаний.

Другие названия компаний, продуктов или услуг могут быть товарными знаками или знаками обслуживания других лиц.

Публикации по теме
Центры обработки данных
 
Новости Lenovo

© "Storage News" journal, Russia&CIS
(495) 233-4935;
www.storagenews.ru; info@storagenews.ru.