Публикации
2023 г. – новый этап практического применения CXL, статья
VMware сдвигает акцент в проекте Capitola на CXL, статья
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья
GigaIO: CDI_решение на базе AMD для высшего образования, статья
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья
End-to-end 64G FC NAFA, статья
Computational Storage, статья
Технология KIOXIA Software-Enabled Flash™, статья
Pavilion: 200 млн IOPS на стойку, статья
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья
SmartNIC – новый уровень инфраструктурной обработки, статья
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья
Compute, Memory и Storage, статья
Lenovo: CXL – будущее серверов с многоуровневой памятью , статья
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья
Intel® Agilex™ FPGA, статья
Weka для AI-трансформации, статья
Cloudera Data Platform – “лучшее из двух миров”, статья
Fujitsu ETERNUS DSP - разработано для будущего, статья
Технологии охлаждения для следующего поколения HPC-решений, статья
Что такое современный HBA?, статья
Fugaku– самый быстрый суперкомпьютер в мире, статья
НРС – эпоха революционных изменений, статья
Новое поколение СХД Fujitsu ETERNUS, статья
Зональное хранение данных, статья
За пределами суперкомпьютеров, статья
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья
IPsec в пост-квантовую эру, статья
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья
 
Обзоры
Все обзоры в Storage News
 
Тематические публикации
Flash-память
Облачные вычисления/сервисы
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
Современные СХД
Информационная безопасность (ИБ), борьба с мошенничеством
Рынки
РСК представляет интеллектуальные системы хранения данных «по требованию» с поддержкой DAOS на FMS 2020

11, ноябрь 2020  —  Группа компаний РСК, ведущий российский разработчик и интегратор инновационных высокоплотных и энергоэффективных решений для высокопроизводительных вычислений (HPC, high-performance computing), центров обработки данных (ЦОД), облачных платформ и систем хранения данных « по требованию » (storage-on-demand), впервые принимает участие в статусе Бронзового спонсора в виртуальной всемирной конференции Flash Memory Summit 2020 .

РСК уже более двух лет, с 2018 года, является разработчиком, производителем и интегратором интеллектуальных систем хранения данных « по требованию » (RSC Data Storage-on-Demand). Такие системы уже установлены в Объединенном институте ядерных исследований (ОИЯИ, Дубна), в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ) и Межведомственном суперкомпьютерном центре Российской академии наук (МСЦ РАН).

Российские системы в рейтинге IO500

На данный момент две системы производства РСК являются единственными представителями России в мировом рейтинге IO500 самых высокопроизводительных систем хранения данных – суперкомпьютер « Говорун » с системой хранения данных РСК в ОИЯИ занимает 17-е место в этом списке, а суперкомпьютер « Политехник – РСК Торнадо » в СПбПУ находится на 22-й позиции. Столь хороших результатов удалось достичь благодаря применению в обеих проектах уникальной технологии создания масштабируемых распределённых и компонуемых « по требованию » систем хранения данных RSC Data Storage-on-demand на основе твердотельных дисков Intel ® SSD и Intel ® Optane™ SSD с интерфейсами NVMe. Уместно напомнить, что суперкомпьютер « Говорун » еще в июне 2018 г., сразу после установки и запуска в эксплуатацию в ОИЯИ, занял высокое 9-е место в мировом рейтинге IO500.

Поддержка DAOS в решениях RSC Data Storage-on-Demand

На FMS 2020 группа компаний РСК объявила о поддержке в своих решениях RSC Data Storage-on-Demand новой кластерной файловой системы с открытым кодом DAOS (Distributed Asynchronous Object Storage) корпорации Intel. Теперь стало возможным построение не только многослойных систем хранения данных на базе файловой операционной системы Lustre в архитектуре Composable Disaggregated Infrastructure и гибкое управление пулами дисков с интерфейсом NVMe, но и включение в такие слои высокопроизводительных компонент на основе DAOS.

Долгие годы, несмотря на рост номинальной производительности устройств хранения данных, прирост обеспечивался, в основном, за счет повышения производительности последовательных операций чтения-записи. Использование DAOS позволяет уйти от ограничений старых подходов к построению высокопроизводительных систем хранения данных, связанных с работой протокола TCP/IP, архитектурой ядра ОС Linux и ряда других узких мест, ликвидировав так называемые « бутылочные горлышки » для работы в тех случаях, когда приложению необходим высокоскоростной произвольный доступ к данным.

Существенный рост производительности в случае поддержки DAOS стал возможным благодаря нескольким принципам, заложенным в ее архитектуре:

•  максимально возможному уменьшению использования ресурсов центрального процессора, ядра операционной системы, прерываний, переключения контекста в ходе перемещения данных от устройства хранения к месту обработки;

•  хранению данных, к которым требуется произвольный доступ (мета-данные и кэши данных) на устройствах с эффективной поддержкой побайтного доступа (Byte Level Access) – устройствах класса Storage Class Memory;

•  максимально прозрачной трансляции потоковых и блочных операций чтения/записи в устройствах с интерфейсом NVMe.

Платформа оркестрирования « РСК БазИС » для создания высокопроизводительных составных архитектур хранения данных

РСК переносит свой опыт в построении компонуемых дезагрегированных решений и на управление DAOS, а именно предлагает использование для этого программной платформы оркестрации « РСК БазИС ».

Реализованные до настоящего момента решения на основе DAOS требовали жестко определенного – на уровне установленной аппаратной конфигурации – соотношения между процессорными ресурсами, наличием энергонезависимой памяти с произвольным доступом (Intel ® Optane™ DC Persistent Memory, PMEM), твердотельных накопителей с интерфейсом NVMe. В рамках платформы « РСК БазИС » можно применить компонуемый подход для управления DAOS, разделив сервера с PMEM и сервера с устройствами NVMe в пулы, объединённые быстрой сетевой фабрикой. Оснащение серверов высокопроизводительными адаптерами с поддержкой RDMA с одной стороны, накопителями с интерфейсом NVMe и части серверов – энергонезависимой памятью Intel ® Optane™ DC Persistent Memor у с другой, позволяет произвести такую дезагрегацию и дальнейшую компоновку « по запросу » без снижения производительности.

Какие преимущества дает такой подход? Во-первых, он позволяет уйти от жесткого соотношения накопителей PMEM/NVMe в серверах хранения. Во-вторых, он позволяет значительно увеличить допустимый объем системы хранения данных. Сегодня требования к объему PMEM в DAOS – не менее 6% от объема локальных накопителей с интерфейсом NVMe – серьезно ограничивают максимальное полезное количество дисков на один сервер хранения. При этом, благодаря компонуемости, неиспользуемые в какой-то момент времени диски можно подключить к другому серверу на основе DAOS или Lustre.

Помимо этого, можно вообще разделить сервера с DAOS и сервера c накопителями NVMe на два пула, тем самым максимально устранив ограничения аппаратной архитектуры сервера (ограниченного возможностями шины PCIe, используемой как накопителями, так и сетевыми адаптерами, а также физических ограничений шасси сервера по размещению дополнительных устройств и их охлаждению).

Эти подходы будут раскрыты в докладе РСК на сессии DUG (DAOS User Group), которая состоится 19 ноября во время крупнейшей всемирной виртуальной конференции-выставки SC20 по суперкомпьютерным технологиям и решениям.

Система хранения данных RSC Tornado AFS

Специалисты РСК представили на FMS 2020 свою обновленную интеллектуальную систему хранения данных « по требованию » RSC Tornado AFS, один узел которой может обеспечивать рекордную емкость до 1 Петабайт благодаря использованию 32-х твердотельных дисков Intel ® SSD с интерфейсом NVMe в форм-факторе EDSFF.L (так называемый « рулер »). В таком узле также используются 2 процессора семейства Intel ® Xeon ® Scalable 2- го поколения, твердотельные диски Intel ® Optane™ SSD и модули энергонезависимой памяти Intel ® Optane™ DC Persistent Memory. В RSC Tornado AFS реализовано 100% жидкостное охлаждение узла в режиме « горячая вода » с рекордно низким показателем эффективности использования электроэнергии PUE на уровне 1,04.

Гиперконвергентный узел RSC Tornado HS

Еще одно решение РСК для создания систем хранения данных « по требованию » – гиперконвергентный узел RSC Tornado HS. Он построен на базе 2-х процессоров семейства Intel ® Xeon ® Scalable 2- го поколения, серверной платы Intel ® Server Board S2600BP с 2-мя портами 10GigE и (опционально) Intel ® Quick Assist Support. Такой узел поддерживает до 12-ти твердотельных дисков « с горячей заменой » (hot-swap) Intel ® SSD с интерфейсом NVMe, например:

- Intel ® SSD DC P4511 (NVMe, M.2) емкостью 1-2 TБ, сконфигурирован как диск;

- или Intel ® Optane™ SSD DC 4801X (M.2) емкостью 375 ГБ, сконфигурирован как диск или память с помощью технологии Intel ® Memory Drive Technology (IMDT).

Это обеспечивает большой объем быстрой памяти - до 24 ТБ на узел, а также большой объем оперативной памяти на 1 узел благодаря применению Intel ® Memory Drive Technology (IMDT) – до 4,2 ТБ RAM.

Гиперконвергентный узел RSC Tornado HS также работает со 100% жидкостным охлаждением в режиме « горячая вода ».

О группе компаний РСК

Группа компаний РСК — ведущий российский разработчик и интегратор « полного цикла » инновационных сверхплотных, масштабируемых, энергоэффективных гиперконвергентных решений для высокопроизводительных вычислений (HPC). центров обработки данных (ЦОД) и интеллектуальных систем хранения данных « по требованию » на основе архитектур корпорации Intel и передового жидкостного охлаждения, а также целого ряда собственных ноу-хау. РСК с 2018 года является участником приоритетного проекта « Национальные чемпионы », реализуемым Министерством экономического развития Российской Федерации.

Существующий потенциал компании позволяет: создавать самые энергоэффективные решения с рекордным показателем эффективности использования электроэнергии (PUE), реализовать самую высокую вычислительную плотность в индустрии на базе стандартных процессоров архитектуры x86, использовать полностью « зеленый » дизайн, обеспечить высочайшую надежность решения, полную бесшумность работы вычислительных модулей, 100% совместимость и гарантированную масштабируемость, при этом достигается беспрецедентно низкая стоимость владения и невысокий уровень энергопотребления. Кроме того, специалисты РСК имеют опыт разработки и внедрения интегрированного программного стека решений для повышения эффективности работы и прикладного использования суперкомпьютерных комплексов: от системного ПО до вертикально-ориентированных платформ на базе технологии облачных вычислений.

РСК является партнером корпорации Intel в программах Intel ® Technology Provider Program высшего уровня Platinum, Intel ® Select Solution for Simulation and Modeling, Intel ® Select Solution for Professional Visualization, Intel ® Fabric Builders Program, обладает статусами Intel ® HPC Data Center Specialist и Intel ® Solutions for Lustre Reseller Elite. Производительность и масштабируемость решений на базе архитектуры « РСК Торнадо » подтверждена сертификатом Intel ® Cluster Ready.

Дополнительную информацию можно найти на корпоративном сайте www.rscgroup.ru .

РСК, РСК БазИС, RSC, PetaStream, RSC BasIS и логотипы РСК, RSC являются зарегистрированными товарными знаками группы компаний РСК в России, США, Японии и многих странах Европы.

Публикации по теме
Высокопроизводительные вычисления (HPC), параллельные файловые системы, HPC-СХД
 
Новости РСК

© "Storage News" journal, Russia&CIS
(495) 233-4935;
www.storagenews.ru; info@storagenews.ru.