29, июнь 2011  —  Корпорация EMC (NYSE: EMC) объявила результаты проведенного по ее заказу аналитическим агентством IDC исследования Цифровой Вселенной "Extracting Value from Chaos" ("Как получить пользу от хаоса")", согласно которому

• Объем информации во всем мире увеличивается более чем в два раза каждые два года и в 2011 году будет создано и реплицировано 1,8 зеттабайт данных - быстрее, чем по закону Мура.
• По прогнозам этого исследования, в 2011 году будет создано и реплицировано 1,8 зеттабайт (1,8 трлн. гигабайт) данных.
• Цифровая Вселенная и Большие объемы данных стали одними из движущих сил фундаментальных изменений в социальной жизни, технологиях, науке и экономике.
• Технологии "Укрощения информации (Information Taming)" снижают стоимость создания, сбора, хранения информации и управления ею, и в 2011 году эти расходы уменьшились в шесть раз по сравнению с 2005-м.
• Инвестиции корпоративного сектора в Цифровую Вселенную по сравнению с 2005 годом выросли на 50% до 4 трлн. долл. США.

Это проводимое уже четвертый год подряд исследование (в ходе которого оценивается и прогнозируется объем ежегодно создаваемой и копируемой цифровой информации, а также анализируется ее влияние на потребителей, корпоративный сектор и ИТ-специалистов) крайне важно для понимания экономических, социальных и технологических изменений и новых возможностей, которые создают большие данные.

Основные стимулы такого непрерывного роста - прогресс технологий и деньги. Новые технологии "укрощения информации" снизили стоимость создания, сбора, классификации информации и управления ею в шесть раз по сравнению с 2005 годом. Кроме того, с 2005 года ежегодные инвестиции корпоративного сектора в Цифровую Вселенную (включая облака, оборудование, программное обеспечение, сервисы и персонал для создания информации, управления ею и извлечения с ее помощью прибыли) выросли на 50% -до 4 трлн. Долларов США.

Основные выводы исследования

• Численность ИТ-персонала не соответствует быстрому росту числа серверов, потребностей в управлении данными и объемов файлов: IDC отмечает, что квалификация, опыт и ресурсы ИТ-персонала явно не соответствуют бурному росту объемов данных. В следующие десять лет вплоть до 2020 года ИТ-департаменты по всему миру могут столкнуться со следующими проблемами:
  - в 10 раз станет больше серверов (как физических, так и виртуальных);
  - объем информации, которой нужно управлять, вырастет в 50 раз;
  - в 75 раз вырастет число файлов или контейнеров, в которых информация инкапсулируется в Цифровой Вселенной. Число этих объектов будет расти даже быстрее, чем объем хранимой в них информации, поскольку будет использоваться все больше встроенных систем, например, интеллектуальные датчики в одежде, мостах, медицинских устройствах;
  - численность ИТ-персонала, который управляет всей этой информацией и серверами, вырастет всего лишь в 1,5 раза!
• Внедрение облачных вычислений снижает расходы и улучшает эффективность операций: хотя сегодня на долю облачных вычислений приходится менее 2% затрат на ИТ, IDC прогнозирует, что к 2015 году почти 20% информации будет проходить через провайдеров услуг облачных вычислений, т. е. в течение своего жизненного цикла она какое-то время будет храниться в облаке или обрабатываться в нем. Возможно, до 10% информации будет постоянно храниться в облаке.
• Цифровая вселенная живет собственной жизнью: объемы информации, которые генерируют люди, когда составляют документы, снимают фото, загружают музыку и т. п., намного меньше, чем информация, которая о них создается в Цифровой Вселенной.
• Ответственность ложится на плечи корпораций: хотя 75% информации в Цифровой Вселенной генерируется индивидуальными пользователями, корпорации несут определенную долю ответственности за 80% информации в Цифровой Вселенной в течение жизненного цикла этой информации.

Другие выводы исследования

• Новые инструменты для сбора данных, их поиска, обнаружения и анализа помогают организациям извлечь важную информацию из своих неструктурированных данных, на долю которых приходится более 90% Цифровой Вселенной. Эту инструменты могут создавать данные о данных автоматически, подобно тому, как работает программа распознавания лиц, с помощью которой снабжаются метками фотографии Facebook. Объемы метаданных (данных о данных) растут вдвое быстрее, чем вся Цифровая Вселенная.
• Инструменты Business Intelligence все чаще имеют дело с данными реального времени, идет ли речь об определении размера страховки на автомобиль в зависимости от маршрутов, которыми пользуется его владелец, передачи электроэнергии через интеллектуальную сеть grid или выставлении счета за автоматически выплывающие рекламные сообщения в зависимости от реакции на них в социальных сетях.
• Новые средства управления хранением, включая дедупликацию, автоматическое перемещение данных между уровнями хранения (auto-tiering) и виртуализацию, сокращают стоимость хранения Цифровой Вселенной, а также помогают нам определить, что именно будет храниться, как это делают решения для управления содержанием.
• Новые практики и средства безопасности помогают предприятиям идентифицировать информацию, которую необходимо защитить, и определить, какой уровень защиты этой информации нужен. Это реализуется с помощью специальных приставок безопасности и программного обеспечения защиты от угроз, систем предотвращения мошенничества и защиты репутации компании.
• Решения для облачных вычислений, в том числе общедоступные, частные и гибридные, предоставляют предприятиям более выгодные с экономической точки зрения возможности масштабирования, обеспечения динамичности и гибкости, чем традиционные ИТ-среды. В долговременной перспективе они станут ключевым инструментом решения проблемы усложнения Цифровой Вселенной.
• Облачные вычисления реализуют использование ИТ как сервиса (IT-as-a-Service). В сочетании с феноменом Больших объемов данных они создают сильный стимул для организаций потреблять ИТ как внешний сервис вместо инвестирования в свою внутреннюю инфраструктуру.
• Рост Цифровой Вселенной, по-прежнему, опережает рост емкости систем хранения. Однако следует учитывать, что 1 гигабайт хранимого контента может генерировать 1 петабайт и более временных данных, которые обычно не сохраняются (например, мы смотрим, но не сохраняем передачи цифрового телевидения, как и обычно не сохраняем свои разговоры по телефону даже если они сделаны с помощью цифровой телефонии).
• Менее трети информации в Цифровой Вселенной имеет какую-либо защиту и только половина важной информации защищена.