7, март 2023  — 

https :// blog . purestorage . com / purely - technical / directcompress - accelerator - packs - more - data - into - flasharray - xl /
Автор: Бен Кейси ( Ben Casey )
Новая карта сжатия разгружает встроенное сжатие, чтобы высвободить вычислительную мощность и еще больше увеличить емкость хранилища.

Как и многие геймеры, я создавал свои собственные системы. Мне нравилось выбирать процессор, видеокарту, какой модем на базе ISA (это реальная вещь) я собирался использовать и почему. Вы могли потратить свои деньги именно на то, что хотели, будь то больше денег на графику для игр или более быстрый модем для выхода в интернет. Или, может быть, все дело в звуковой карте.

Поскольку корпоративное хранилище глубоко спрятано среди стоек в каком-нибудь центре обработки данных, мы не всегда можем увидеть внутри абсолютно потрясающее оборудование. Если бы вы заглянули внутрь системы FlashArray™, вы бы обнаружили изготовленную на заказ флэш-память в специальном корпусе с контроллерами с возможностью «горячей» замены и специальным программным обеспечением для оптимизации всего этого.

Итак, как специалист по аппаратному обеспечению, я был взволнован, когда узнал о новой аппаратной версии Pure под названием DirectCompress Accelerator (DCA). Сокращение данных Pure уже является лучшим в отрасли благодаря использованию программного обеспечения Purity, работающего на обычных процессорах. Но наши команды инженеров не хотели просто останавливаться на достигнутом и хотели выжать больше пользы. Они чувствовали, что могут добиться большего успеха, перенеся сокращение данных на специализированную разгрузочную карту.

И сейчас мы видим успех этого плана. Сегодня мы начинаем поставлять DCA бесплатно в каждый FlashArray//XL ™, наш самый производительный и самый большой массив FlashArray, чтобы повысить его рентабельность.

DCA — это карта разгрузки ЦП, устанавливаемая в слот PCI, которая берет на себя встроенное сокращение данных и позволяет ЦП массива сосредоточиться на других задачах. Взяв на себя встроенное сжатие входящих данных, DCA обеспечивает большую отдачу со следующими преимуществами:

•  Освобождает ЦП массива для важных задач, таких как репликация, управление массивом или сборка мусора во время ресурсоемких рабочих нагрузок.

•  Увеличивает место для хранения. Мы видим в среднем примерно на 6% больше, но это будет сильно варьироваться в зависимости от рабочей нагрузки и типа записываемых данных. Как и проценты по сберегательному счету, они могут накапливаться со временем. Кто не хотел бы иметь дополнительную емкость на своем массиве FlashArray//XL?

•  Обладает большей энергоэффективностью в расчете на эффективный ТБ.

•  Оптимизирует высокоскоростную миграцию за счет улучшения встроенного сжатия на 30%. С помощью DCA принимаемые данные немедленно глубоко сжимаются, что позволяет максимально снизить использование емкости во время миграции.

•  Поскольку данные глубоко сжимаются перед записью во флэш-память, по сравнению с предыдущим состоянием во флэш-память записывается меньше данных. Это, в свою очередь, может улучшить скорость износа NAND, повысив надежность и срок службы флэш-памяти.

Чтобы лучше понять, где и как DCA вписывается в Pure Storage ® FlashArray, давайте рассмотрим, как работает наше сокращение данных. Процесс сокращения данных достаточно прост. Данные поступают из различных приложений через соединения Fibre Channel или iSCSI. Процессоры немедленно начинают работу по удалению пустого пространства, шаблонов в данных, затем дедуплицируют избыточные данные, создавая метаданные (указатели), представляющие удаленные шаблоны и дублированные байты.

Далее применяется легкое сжатие (сжатие LZO). Первоначальное встроенное сокращение не является исчерпывающим; его цель - разумная эффективность с минимальной задержкой. Алгоритмы сжатия LZO минимизируют потребление ресурсов ЦП за счет тщательности . Весь этот процесс называется «встроенным сокращением данных».

Наконец, данные поступают в NVRAM и затем записываются во флэш-память. Здесь важно понимать две детали:

•  Входящие данные сокращаются и сжимаются «по максимуму». Этот процесс зависит от мощности ЦП, количества ЦП и степени занятости этих ЦП. Даже при большой мощности, если массив обслуживает миллионы запросов, реплицирует данные, сообщает о метриках в управляющие приложения и т. д., он постоянно ограничен тем, насколько эффективно сокращаются объемы данных. Вот почему после записи данных во флэш-память мы выполняем фоновую постобработку « глубокое сжатие ».

•  Таким образом, при переносе данных можно превысить сокращение объема данных, поскольку это является максимальным усилием. Это может усложнить миграцию данных, когда переносимые данные легко сокращаются и без сокращения превысили бы емкость целевого массива. DCA смягчает это, разгружая весь процесс.

Сокращение данных с использованием различных методов, таких как удаление нулей (тонкое выделение ресурсов), удаление шаблонов и дедупликация, может взять, например, 1 ТБ данных и уменьшить его до 500 ГБ для общего набора данных. Для инфраструктуры VDI он может быть уменьшен в 10 раз до сжатия, учитывая сходство виртуальных дисков с одной и той же операционной системой.

Затем мы берем 500 ГБ оставшихся данных и сжимаем их; сжатие обычно вдвое уменьшает объем данных, поэтому первоначальный 1 ТБ данных теперь составляет около 250 ГБ, что дает нам сокращение данных 4: 1. Сжатие — критический процесс, поскольку он влияет на все данные, а не только на отдельные строки данных, как при удалении шаблонов.

После, выполняем первоначальное сокращение. Позже, в менее загруженные периоды, мы инициируем «глубокое сжатие», используя сжатие типа Хаффмана. Это очень эффективно, но может занять значительное время.

Окупаемость глубокого сжатия после обработки заключается в наблюдении за уменьшением массива в выходные или праздничные дни. Но предостережение здесь заключается в том, что вам нужны отрезки времени небольшой активности, чтобы массив мог переключить передачу и начать выполнять глубокое сжатие. С DCA вам не нужно ждать, пока массив станет менее загруженным, чтобы получить высокую степень сжатия.

Мы знаем о преимуществах DCA, о том, как он вписывается в массив FlashArray, и о том, что мне нравится аппаратное обеспечение. Говоря об этом, DCA использует FPGA, которые представляют собой программируемые процессоры, которые могут выполнять код очень и очень быстро. У ПЛИС есть много весомых преимуществ перед процессорами. Благодаря более простым наборам инструкций алгоритм сжатия работает намного эффективнее, как с точки зрения скорости вычислений, так и с точки зрения энергопотребления. Так что возьмите это конкретное оборудование PCIe, используя специальные наборы кодов со специализированными процессорами, FPGA, а затем дайте ему конкретную работу: сжатие данных.

Да, и мы также сохраняем сжатие постобработки в фоновом режиме для еще более глубокого сжатия.

Перенос сжатия на DCA делает ваш FlashArray//XL более ценным. Это освобождает ЦП контроллера для большей вычислительной мощности. Он обеспечивает более быструю миграцию с массивов конкурентов на FlashArray, поскольку сжатие происходит сразу после загрузки. И, конечно же, это увеличивает емкость вашего хранилища за счет повышения общей степени сжатия и продлевает срок службы хранилища за счет записи меньшего количества данных.

С DCA вы получаете больше отдачи от затраченных средств: более эффективное пространство, большая вычислительная мощность и более длительный срок службы ваших носителей.

Чтобы узнать больше о том, как DirectCompress Accelerator может увеличить емкость хранилища, посмотрите видеоролик .