Публикации |
|
2023 г. – новый этап практического применения CXL, статья |
|
VMware сдвигает акцент в проекте Capitola на CXL, статья |
|
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья |
|
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья |
|
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья |
|
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья |
|
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья |
|
GigaIO: CDI_решение на базе AMD для высшего образования, статья |
|
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья |
|
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья |
|
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья |
|
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья |
|
End-to-end 64G FC NAFA, статья |
|
Computational Storage, статья |
|
Технология KIOXIA Software-Enabled Flash™, статья |
|
Pavilion: 200 млн IOPS на стойку, статья |
|
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья |
|
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья |
|
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья |
|
SmartNIC – новый уровень инфраструктурной обработки, статья |
|
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья |
|
Compute, Memory и Storage, статья |
|
Lenovo: CXL – будущее серверов с многоуровневой памятью
, статья |
|
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья |
|
Intel® Agilex™ FPGA, статья |
|
Weka для AI-трансформации, статья |
|
Cloudera Data Platform – “лучшее из двух миров”, статья |
|
Fujitsu ETERNUS DSP - разработано для будущего, статья |
|
Технологии охлаждения для следующего поколения HPC-решений, статья |
|
Что такое современный HBA?, статья |
|
Fugaku– самый быстрый суперкомпьютер в мире, статья |
|
НРС – эпоха революционных изменений, статья |
|
Новое поколение СХД Fujitsu ETERNUS, статья |
|
Зональное хранение данных, статья |
|
За пределами суперкомпьютеров, статья |
|
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья |
|
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья |
|
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья |
|
IPsec в пост-квантовую эру, статья |
|
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья |
|
Обзоры |
|
Все обзоры в Storage News |
|
Тематические публикации |
|
Flash-память |
|
Облачные вычисления/сервисы |
|
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных |
|
Современные СХД |
|
Информационная безопасность (ИБ), борьба с мошенничеством |
|
Рынки |
|
Блог ScaleFlux: доступность QLC для корпоративных флэш- развертываний, как преодолеть ограничения QLC на долговечность и производительность
3, июнь 2021
Узнайте у доктора Тонга Чжунга ( Tong Zhong ), главного научного сотрудника ScaleFlux, о том, как использование прозрачного сжатия в контроллере флэш-накопителя в сочетании с FTL улучшает характеристик долговечности и производительности QLC NAND (https://www.scaleflux.com/blog/item-59 ).
Флэш-память NAND имеет долгую историю применения технологии использования нескольких битов на ячейку для снижения битовой стоимости, и большинство пользователей твердотельных накопителей ( SSD ), должно быть, уже хорошо знакомы с терминами MLC (2 бита на ячейку), TLC ( 3 бита на ячейку) и QLC (4 бита на ячейку). Ходят слухи, что скоро появится флеш-память NAND PLC (5 бит / ячейка). Всякий раз, когда количество битов на ячейку увеличивается на 1, запас эксплуатационного шума флэш-памяти уменьшается почти в 2 раза, что неизбежно приводит к снижению продолжительности цикла и увеличению задержки чтения / записи флэш-памяти. Поэтому неудивительно, что каждый раз, когда флэш-память NAND переходила от n бит на ячейку к ( n + 1) битам на ячейку, ее всегда «встречали» с серьезными опасениями и скептицизмом по поводу ее применимости к твердотельным накопителям корпоративного уровня, требующим высокой цикличности. выносливость и высокие случайные IOPS ( IO в секунду). Опасения / скептицизм последовательно преодолеваются коммерческим успехом SSD -накопителей MLC и TLC корпоративного уровня на протяжении многих лет. По мере того, как производители флэш-памяти NAND наращивают производство продуктов QLC , естественно, снова возникают те же опасения и скептицизм. Повторится ли история, или на этот раз ситуация изменится? Действительно, по сравнению с MLC и TLC , у людей есть гораздо более веские причины сомневаться в целесообразности / валидности твердотельных накопителей QLC корпоративного уровня:
- Устойчивость к циклическим нагрузкам: флеш-память QLC NAND имеет ~ 1000 циклов наработки, в отличие от ~ 5000 циклических нагрузок у своего аналога TLC . В результате, для QLC имеем менее 0,14 DWPD (запись на диск в день) за 5 лет, что явно вызывает опасения относительно жизнеспособности QLC для многих. пользователи предприятий и центров обработки данных.
- Производительность случайных операций в/в (IOPS) : как наиболее важная метрика производительности SSD корпоративного уровня, произвольные IOPS в основном ограничены минимумом из ( i ) пропускной способности интерфейса ввода-вывода внешнего интерфейса и ( ii ) пропускной способности агрегированного доступа к данным внутренней флеш-памяти. Последнее дополнительно зависит от архитектурного параллелизма внутри SSD (например, количества каналов и кристаллов флэш-памяти) и задержки доступа к данным на кристалле. Сегодня большинство твердотельных накопителей TLC по-прежнему работают через интерфейс PCIe Gen 3 x 4, пропускная способность которого обычно ниже, чем пропускная способность внутренней флеш-памяти. Следовательно, их случайные IOPS ограничены интерфейсом ввода-вывода PCIe Gen 3 x 4, что объясняет, почему твердотельные накопители NVMe 3,2 ТБ / 6,4 ТБ на сегодняшнем рынке имеют почти такие же случайные операции ввода-вывода в секунду, хотя твердотельные накопители 6,4 ТБ имеют в 2 раза больше кристаллов флэш-памяти (следовательно, более высокий архитектурный параллелизм ). Это также объясняет, почему на случайные IOPS SSD не повлиял переход MLC - to - TLC , хотя флеш-память MLC имеет меньшую задержку чтения / записи, чем ее аналог TLC . Однако из-за более длительной задержки чтения / записи флэш-памяти QLC (особенно задержки записи) даже при том же интерфейсе PCIe Gen3x4, переход TLC-to-QLC сместит ограничивающий фактор случайных операций ввода-вывода в секунду с внешнего (frontend) интерфейса ввода-вывода к пропускной способности доступа к данным внутренней (backend) флэш-памяти QLC. В результате, в отличие от перехода MLC-to-TLC, переход TLC-to-QLC вызовет заметное снижение производительности произвольных операций ввода-вывода SSD в секунду. Появление интерфейса ввода-вывода PCIe Gen4 приведет к еще большей разнице в количестве операций ввода-вывода в секунду между твердотельными накопителями TLC и QLC.
Как показано на рис. 1, вышеупомянутые обсуждения показывают, что, несмотря на экономию затрат на ~ 30% по сравнению с твердотельными накопителями TLC , твердотельным накопителям QLC действительно может быть очень трудно конкурировать со своими старшими братьями TLC на корпоративном рынке. Итак, должны ли мы просто списать флэш-память QLC с корпоративного рынка? Не так быстро. Мы считаем, что QLC все еще может играть важную роль на корпоративном рынке, и ключом является сокращение разрыва между долговечностью и производительностью с помощью прозрачного сжатия.
|
Рисунок 1: Иллюстрация сравнения MLC , TLC и QLC SSD с точки зрения ( a ) DWPD за 5 лет, ( b ) случайных операций ввода-вывода в секунду при интерфейсе ввода-вывода PCIe Gen 3 x 4 и ( c ) случайных операций ввода-вывода в секунду при вводе-выводе PCIe Gen 4 x 4 интерфейс. |
На рис. 2 показана архитектура твердотельных накопителей со встроенным прозрачным сжатием: внутренние твердотельные накопители выполняют аппаратное высокоскоростное сжатие / распаковку данных на пути ввода-вывода, будучи прозрачными для хоста. Несмотря на повсеместную сжимаемость данных, многие приложения / системы не сжимают свои данные явным образом, чтобы избежать накладных расходов ЦП, вызванных сжатием, и снижения производительности системы, что особенно верно для приложений корпоративного уровня (например, реляционных баз данных), в которых преобладают с шаблонами произвольного доступа к данным.
|
Рисунок 2: Изображение SSD со встроенным прозрачным сжатием. |
ScaleFlux недавно выпустил свой продукт CSD 2000 для вычислительных накопителей ( CSD ) 2- го поколения, который объединяет возможность прозрачного сжатия, где для максимального увеличения степени сжатия используется сильный алгоритм сжатия GZIP . Благодаря беспрепятственному использованию сжимаемости данных во время выполнения, CSD 2000 может улучшить различные показатели стоимости / производительности без каких-либо изменений в существующей программной экосистеме. Теперь посмотрим, как прозрачное сжатие может сделать QLC практически жизнеспособным для корпоративного рынка:
- Использование прозрачного сжатия для повышения выносливости: Хорошо известно, что можно уменьшить усиление записи на SSD , увеличив избыточное выделение пространства для хранения внутри SSD . Например, увеличив избыточное выделение ресурсов со стандартных 7% до 33%, мы могли бы уменьшить усиление записи с 4 x до 1,6 x . В дополнение к снижению стоимости хранения прозрачное сжатие может привести к избыточному выделению большего объема памяти, что может способствовать снижению усиления записи и, следовательно, улучшению DWPD . Предположим, мы форматируем диск QLC CSD 2000, который содержит флэш-память NAND 8 ТБ, как полезную емкость хранилища 16 ТБ, а средний коэффициент сжатия данных во время выполнения составляет 2,5: 1, тогда прозрачное сжатие позволит диску CSD 2000 внутренне работать с 33% избыточным выделением ресурсов ( то есть 1,6-кратное усиление записи). Поскольку объем данных каждого запроса на запись уменьшается в 2 раза. 5 x за счет прозрачного сжатия, общее усиление записи привода CSD 2000 составляет около 0,65. При такой же выносливости на 1000 циклов, что и флеш-память QLC , накопитель CSD 2000 может выдерживать 0,46 DWPD в течение 5 лет, предлагая при этом емкость накопителя 16 ТБ. Короче говоря, прозрачное сжатие не только снижает стоимость хранения в 2 раза (т. Е. Полезная емкость хранения 16 ТБ с физической флэш-памятью всего 8 ТБ), но также улучшает DWPD более чем в 3 раза (то есть с 0,14 до 0,46).
- Использование прозрачного сжатия для улучшения случайных операций ввода-вывода в секунду : путем прямого сжатия данных на пути ввода-вывода CSD 2000 эффективно увеличивает пропускную способность доступа к внутренней флеш-памяти, как показано на рис.3. В контексте флеш-памяти TLC и интерфейса PCIe Gen3, производительность IOPS SSD в основном ограничено пропускной способностью внешнего интерфейса ввода-вывода. Следовательно, увеличенная пропускная способность доступа к внутренней флеш-памяти не приводит к более высокому количеству произвольных операций ввода-вывода в секунду. Напротив, переход TLC-to-QLC делает производительность SSD IOPS ограниченной пропускной способностью доступа к внутренней (backend) флеш-памяти. Следовательно, за счет увеличения пропускной способности доступа к внутренней флеш-памяти прозрачное сжатие может напрямую улучшить производительность случайных IOPS твердотельных накопителей QLC. В результате QLC CSD 2000 может достигать произвольных операций ввода-вывода в секунду, намного более близких к таковым у обычных твердотельных накопителей TLC. После появления PCIe Gen4 произвольные операции ввода-вывода SSD в секунду полностью определяются пропускной способностью доступа к внутренней флеш-памяти. Соответственно, прозрачное сжатие может полностью использовать сжимаемость данных во время выполнения для увеличения пропускной способности доступа к внутренней флэш-памяти и, следовательно, повышения производительности произвольных операций ввода-вывода в секунду как для TLC, так и для QLC.
Как показано на рисунке 4, вышеупомянутые обсуждения предполагают, что, помимо уменьшения разницы в стоимости SSD QLC и HDD , прозрачное сжатие может тем временем эффективно решать два препятствия (например, длительность цикла и случайное количество операций ввода-вывода в секунду), которые препятствуют использованию флэш-памяти QLC . от развертывания для корпоративных приложений.
|
Рисунок 4: Иллюстрация эффективности прозрачного сжатия. |
-----------------------------------
Доктор Тонг Чжан - главный научный сотрудник и соучредитель ScaleFlux . Он также является профессором Политехнического института Ренсселера ( RPI ), специализируясь на базах данных, файловых системах и технологиях хранения данных.
|
|