Публикации
2023 г. – новый этап практического применения CXL, статья
VMware сдвигает акцент в проекте Capitola на CXL, статья
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья
GigaIO: CDI_решение на базе AMD для высшего образования, статья
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья
End-to-end 64G FC NAFA, статья
Computational Storage, статья
Технология KIOXIA Software-Enabled Flash™, статья
Pavilion: 200 млн IOPS на стойку, статья
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья
SmartNIC – новый уровень инфраструктурной обработки, статья
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья
Compute, Memory и Storage, статья
Lenovo: CXL – будущее серверов с многоуровневой памятью , статья
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья
Intel® Agilex™ FPGA, статья
Weka для AI-трансформации, статья
Cloudera Data Platform – “лучшее из двух миров”, статья
Fujitsu ETERNUS DSP - разработано для будущего, статья
Технологии охлаждения для следующего поколения HPC-решений, статья
Что такое современный HBA?, статья
Fugaku– самый быстрый суперкомпьютер в мире, статья
НРС – эпоха революционных изменений, статья
Новое поколение СХД Fujitsu ETERNUS, статья
Зональное хранение данных, статья
За пределами суперкомпьютеров, статья
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья
IPsec в пост-квантовую эру, статья
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья
 
Обзоры
Все обзоры в Storage News
 
Тематические публикации
Flash-память
Облачные вычисления/сервисы
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
Современные СХД
Информационная безопасность (ИБ), борьба с мошенничеством
Рынки
TIBCO ActiveSpaces: grid-система управления данными in-memory

5, март 2013  —  Интервью с Марком Дарбишира (Mark Darbyshire), директором по технологиям в регионе EMEA, TIBCO.

 

Марк Дарбишир (Mark Darbyshire), директор по технологиям в регионе EMEA, TIBCO

SN. Поддерживается ли поколоночное хранение таблиц?

М.Д. TIBCO ActiveSpaces — исключительно строчно-ориентированное пространство кортежей.

SN. Поддерживается ли какая-либо автоматизация перевода таблиц в построчное и поколоночное хранение (при миграции или в процессе работы)?

М.Д. Платформа TIBCO ActiveSpaces работает по технологии in-memory, поэтому с точки зрения производительности разница между строчной и колоночной ориентацией несущественна. Данный аспект не является проблемой.

SN. Можно ли использовать платформу TIBCO в качестве унифицированной платформы для OLAP - и OLTP -приложений?

М.Д. TIBCO ActiveSpaces — это grid-система управления данными in-memory, поэтому она работает действительно очень быстро. Она очень хорошо подходит для OLTP-приложений. Кроме того, распределение данных peer-to-peer, горизонтальная масштабируемость и «локальность данных» делают ее подходящей платформой для некоторых OLAP-приложений.

SN. На базе каких решений обеспечивается интеграция даныых OLTP - и OLAP -приложений. Насколько эти механизмы приближены к реальному времени?

М.Д. Обработка событий, или фактическая трансляция изменений в данных по сети, работает аналогично системе обмена сообщениями. Возможность создания непрерывных («потоковых») запросов является базовой функцией TIBCO ActiveSpaces и обеспечивает ее исключительную эффективность для работы в режиме реального времени. В отличие от традиционных БД TIBCO ActiveSpaces может «уведомлять» приложения об изменениях в данных в тот момент, когда эти изменения происходят. Это позволяет приложениям и разработчикам максимально точно и эффективно работать с данными.

SN. Требует ли TIBCO ActiveSpaces какой-либо сертификации аппаратных платформ?

М.Д. Система TIBCO ActiveSpaces не требует какой-либо специальной сертификации аппаратных платформ. Она прекрасно работает даже на недорогом «традиционном» оборудовании. Более того, она имеет встроенную функцию сохранения на диск «без разделения ресурсов». Иными словами, каждый узел записывает собственное подмножество данных в файл, который может находиться на локальном диске (жесткие диски, в особенности SSD, обеспечивают исключительно высокую скорость записи), а также создает копию этого файла на других машинах. Таким образом, имеющиеся системы или «узлы» (обычные компьютеры с локальными жесткими дисками) представлены в виде единого накопителя с возможностью «горячей замены» в RAID-массиве: при отказе одного узла вы не потеряете данные, и вам не придется выполнять работу дважды. Это означает, в частности, что пользователю не нужно иметь физические RAID-массивы (или SAN, или серверы БД) для хранения данных. 

SN. Насколько удалось приблизить аналитику к реальному времени? Примеры и цифры.

М.Д. Изменения в данных могут инициировать либо обратные вызовы в клиентских процессах (локально или по сети), либо разблокировку итератора, связанного с непрерывным запросом (в том числе по сети). Эта передача новых значений данных происходит в режиме реального времени (т.е. за какие-то микросекунды, обусловленные задержками обработки данных компьютером и сетью). Изменения в данных могут также инициировать исполнение кода, который совмещен с данными. Это обеспечивает дополнительную надежность и масштабируемость. TIBCO ActiveSpaces поддерживает модель «map/reduce», при которой обновление одной строки в исходных данных инициирует повторную обработку в режиме реального времени только измененной строки.

SN. Какие базы данных поддерживает TIBCO ActiveSpaces?

М.Д. TIBCO ActiveSpaces через ODBC и JDBC поддерживает:

  • Oracle 10g, 10g/RAC, 11g, 11g/RAC, 11g R2, 11g R2/RAC
  • Microsoft SQL Server 2005, 2008
  • Sybase Adapter Server Enterprise 15, 15.5
  • Sybase Adapter Server Anywhere 10.1
  • DB2 UDB v9.1, v9.5, v9.7
  • DB2 UDB v8.x, v9.1 for z/OS (via remote connection only)
  • DB2 UDB V5R4, V6R1, V7R1 for iSeries (via remote connection only)
  • MySQL 5.0, 5.1, 5.5
  • Teradata Database 12.0, 13.0, 13.1 .

SN. Поддерживается распараллеливание обработки SQL между ядрами процессора? Какое?

М.Д. Запросы могут обрабатываться распределенно, когда обработку выполняет каждый узел, хранящий данные. Такая обработка эффективна при параллельной работе с другими узлами. По сути, это реализация модели «map/reduce» для обработки запросов.

SN. Интегрируются ли решения TIBCO с большими данными, хранящимися на базе, напр., hadoop -кластеров?

М.Д. На сайте разработчиков TIBCommunity, www.tibcommunity.com , мы опубликовали исходный код для интеграции Hadoop (включая PIG и HIVE) с TIBCO ActiveSpaces. Этот проект существенно упрощает передачу данных между HDFS и TIBCO ActiveSpaces.

SN. Каковы преимущества TIBCO перед конкурентами?

SN. Мы выделяем несколько преимуществ:

  1. TIBCO ActiveSpaces использует распределенную одноранговую архитектуру peer-to-peer. Это обеспечивает линейную масштабируемость и гибкость без ущерба для атомарности, целостности, изоляции и долговечности.
  2. Система TIBCO ActiveSpaces имеет уникальное конкурентное преимущество: она написана на C++, а не на Java. Это означает в равной степени эффективную поддержку платформ C, Java и .Net, а также возможность встраивания TIBCO ActiveSpaces в другие решения. TIBCO ActiveSpaces не хранит в «куче» JVM никакие данные — ни значения, ни ключи, ни индексы.
  3. В TIBCO ActiveSpace предусмотрена полная поддержка событий.
  4. TIBCO ActiveSpaces имеет встроенную функцию сохранения на диск «без разделения ресурсов», включая репликацию типа active-active. По нашему мнению, это единственная модель распределенного хранения данных, в которой запрос возвращает все релевантные записи. Это означает, что запросы возвращают даже те релевантные записи, которые сохраняются на диск в момент запроса, а не только те, которые кэшированы в памяти.
  5. TIBCO ActiveSpaces обеспечивает полную поддержку индексирования. Пользователи могут создавать любое количество индексов по любым полям. Они могут формировать составные индексы, выбирать тип индекса (Hash и Tree) Можно даже добавлять или удалять индексы в процессе работы, когда система запущена и обслуживает запросы.
  6. Благодаря TIBCO ActiveSpaces подключение и отключение (или отказ) узлов не влияет на эффективность обслуживания текущих запросов, что делает данную платформу идеальным решением для сред с высокими требованиями к работе в режиме реального времени и устойчивости к сбоям.

Пресс-релиз о внедрении TIBCO ActiveSpaces в банке Ренессанс Капитал

Публикации по теме
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
 
Новости TIBCO

© "Storage News" journal, Russia&CIS
(495) 233-4935;
www.storagenews.ru; info@storagenews.ru.