Публикации
2023 г. – новый этап практического применения CXL, статья
VMware сдвигает акцент в проекте Capitola на CXL, статья
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья
GigaIO: CDI_решение на базе AMD для высшего образования, статья
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья
End-to-end 64G FC NAFA, статья
Computational Storage, статья
Технология KIOXIA Software-Enabled Flash™, статья
Pavilion: 200 млн IOPS на стойку, статья
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья
SmartNIC – новый уровень инфраструктурной обработки, статья
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья
Compute, Memory и Storage, статья
Lenovo: CXL – будущее серверов с многоуровневой памятью , статья
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья
Intel® Agilex™ FPGA, статья
Weka для AI-трансформации, статья
Cloudera Data Platform – “лучшее из двух миров”, статья
Fujitsu ETERNUS DSP - разработано для будущего, статья
Технологии охлаждения для следующего поколения HPC-решений, статья
Что такое современный HBA?, статья
Fugaku– самый быстрый суперкомпьютер в мире, статья
НРС – эпоха революционных изменений, статья
Новое поколение СХД Fujitsu ETERNUS, статья
Зональное хранение данных, статья
За пределами суперкомпьютеров, статья
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья
IPsec в пост-квантовую эру, статья
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья
 
Обзоры
Все обзоры в Storage News
 
Тематические публикации
Flash-память
Облачные вычисления/сервисы
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
Современные СХД
Информационная безопасность (ИБ), борьба с мошенничеством
Рынки
IBM представляет новую технологию программно-определяемых систем хранения для обработки больших данных

13, май 2014  —  Компания IBM ( NYSE : IBM ) расширяет портфолио программно-определяемых систем хранения, давая возможность организациям сократить издержки и обрабатывать данные в любом количестве, виде и с помощью различных устройств хранения, расположенных в любой точке мира.

Одна из новых технологий– Elastic Storage – предлагает беспрецедентную производительность и неограниченное масштабирование. Она автоматически перемещает данные на самое экономичное устройство хранения, тем самым снижая издержки хранения на 90 процентов.

Эта новая запатентованная технология была создана в исследовательской лаборатории IBM Research . Elastic Storage позволяет организациям не просто управлять, а с выгодой для себя использовать растущие объемы данных, генерируемые многочисленными устройствами, сенсорами, различными бизнес-процессами и социальными сетями. Новое решение для хранения идеально подходит для приложений, требующих обработки большого количества данных и высокоскоростного доступа к массивам информации – от обработки сейсмических данных, управления рисками и финансовой аналитики, составления прогнозов погоды и научных исследований до планирования действий в режиме реального времени.

«Количество цифровой информации растет такими темпами, что традиционные системы хранения постепенно уходят в прошлое, – комментирует Том Розамилья (Tom Rosamilia), старший вице-президент IBM Systems and Technology Group . – Наша технология предлагает улучшенную скорость, масштабирование и сокращение издержек, позволяя клиентам пользоваться данными как конкурентным преимуществом».

Программно-определяемые системы хранения – это набор средств ПО, которые автоматически управляют данными на локальном и глобальном уровне, обеспечивая беспрецедентную скорость доступа, легкое управление и возможность масштабирования инфраструктуры по мере роста объемов информации. Помимо этого, эти технологии могут работать на любом оборудовании и обеспечить автоматизированное и виртуализированное хранение.

Качественно новая технология

Технологии, положенные в основу Elastic Storage , были также использованы в суперкомпьютере IBM Watson для его победы над двумя чемпионами телевизионной игры Jeopardy ! (аналоге российской «Своей игры»). С помощью Elastic Storage около пяти терабайтов «знаний» были загружены в память суперкомпьютера всего за несколько минут. Таким образом, во время телевизионного матча у IBM Watson был доступ к 200 миллионам страниц структурированных и неструктурированных данных, включая полный текст Википедии.

Одной из главных причин того, что Elastic Storage была использована для IBM Watson , стало то, что она может масштабироваться до тысяч йоттабайтов. Йоттабайт – это один миллиард петабайт, требующий центр обработки данных размером в один миллион городских кварталов.

Исследовательская лаборатория IBM Research продемонстрировала, что Elastic Storage может успешно просканировать 10 биллионов файлов на один блок памяти за 43 минуты, что гарантирует непревзойденную производительность подобных систем при анализе огромных массивов данных.

В основе технологии Elastic Storage лежит глобальное файловое программное обеспечение IBM , которое обеспечивает управление хранением в режиме онлайн, масштабируемый доступ и интегрированные инструменты, способные управлять огромными массивами данных и миллиардами файлов. К примеру, Elastic Storage использует серверную флеш-память для увеличения производительности более чем в шесть раз по сравнению с SAS -дисками. В случае если у сервера есть флеш-память, она автоматически используется как кэш-память для увеличения производительности.

Elastic Storage виртуализирует системы хранения, позволяя нескольким системам и приложениям пользоваться общими ресурсами памяти. Это также обеспечивает прозрачный глобальный доступ к данным без необходимости модифицировать приложения или добавлять дополнительные системы управления хранением. Так как Elastic Storage не полагается на центральную систему для определения места записи файла, клиенты имеют доступ к данным даже в случае сбоев работы ПО или оборудования.

Для Лаборатории вычислительных и информационных сервисов ( Computational and Information Services Laboratory , CISL ), находящейся в составе Национального центра США по исследованию земной атмосферы ( National Center for Atmospheric Research ), растущие объемы данных – неотъемлемая часть ее структуры. Организация управляет более чем 50 петабайтами информации, которая хранится в центрах в Вайоминге и Колорадо, и использует Elastic Storage с целью предоставить исследователям быстрый доступ к разнообразным данным.

«Мы предоставляем услуги обработки и передачи данных в сфере вычислений, образования и проведения исследований, которыми пользуется более 1000 сотрудников, занятых на более чем 200 геофизических предприятиях, – прокомментировала Памела Гиллман (Pamela Gillman), руководитель группы анализа данных в CISL. – Программное обеспечение от IBM предоставляет масштабируемый, надежный и быстрый доступ к этим массивам данных, и уже успело положительно повлиять как функционирование отдельно взятых сервисов, так и организации в целом».

Ключевым компонентом Elastic Storage является его возможность автоматически перемещать данные в стратегически предпочтительную и наиболее экономически эффективную систему хранения. Благодаря функциям, ориентированным на актуальные политики, и возможностям анализа данных в режиме реального времени Elastic Storage может автоматически перенаправлять редко используемую информацию на менее дорогие ленточные накопители. В то же время часто используемые данные могут храниться в высокоскоростных флеш-системах, что гарантирует пользователям оперативный доступ к информации.

Более того, функции нативного шифрования и безопасного удаления данных позволяют безвозвратно стирать информацию, что соответствует нормативным требованиям HIPAA и Sarbanes-Oxley.

Благодаря поддержке программного обеспечения OpenStack для управления облачными вычислениями, Elastic Storage также предоставляет заказчикам возможности хранения, управления данными и совместной работы в частных, публичных и гибридных облачных средах. Помимо совместимости с сервисами OpenStack Cinder и Swift, Elastic Storage также поддерживает другие открытые API, такие, как POSIX и Hadoop.

В то время как традиционные СХД перемещают информацию между обозначенными системами для последующей обработки и анализа транзакции, Elastic Storage может автоматически настраивать баланс ресурсов для поддержки всех типов нагрузки приложения, включая инструменты аналитики на основе Hadoop. Это позволяет значительно ускорить процесс анализа информации и избавляет от дорогостоящей необходимости создания многочисленных копий.

Elastic Storage также будет доступно в качестве облачного сервиса на базе IBM SoftLayer уже в этом году. 

Об IBM Big Data & Analytics

Каждый день мы обрабатываем 2,5 нониллиона байтов данных, генерируемых самыми разными источниками: системами прогнозирования погоды, социальными сетями, онлайн-магазинами и медицинскими учреждениями. Компания IBM верит в то, что данные – новый мировой источник конкурентного преимущества, и аналитика является ключом к их пониманию. IBM помогает клиентам внедрять инструменты для аналитики больших данных с целью принятия лучших решений, создания ценности и предоставления высококачественных услуг заказчикам и обществу. IBM обладает наиболее широким портфелем решений и технологий для аналитики больших данных, а также сервисов, исследовательских материалов, программного и аппаратного обеспечения. Более подробную информацию об IBM Big Data & Analytics можно получить по ссылке http://ibm.co/bigdataanalytics . Следите за новостями в Twitter на @IBMbigdata и @IBMAnalytics.
Публикации по теме
Современные СХД
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
 
Новости IBM

© "Storage News" journal, Russia&CIS
(495) 233-4935;
www.storagenews.ru; info@storagenews.ru.