Поделиться
Новая версия Arenadata Hadoop: SQL-движок для выполнения федеративных запросов и объектное хранилище
Arenadata представила новую версию Arenadata Hadoop (ADH) — корпоративного дистрибутива для хранения, обработки и анализа больших объемов данных любого типа. Релиз 3.3.6.2 пополнили дата-сервисы: S3-совместимое хранилище объектов и инструмент для выполнения федеративных запросов. Об этом CNews сообщили представители Arenadata.
В обновленном ADH реализована поддержка распределенного объектного хранилища Apache Ozone (поставляется в составе enterprise-редакции продукта). Сервис дополняет файловое хранилище HDFS в соответствии с потребностями современных дата-платформ и подходит для работы в средах, где необходима совместимость с S3. Он предоставляет как стандартный HDFS протокол для взаимодействия, так и S3 API.
Благодаря многоуровневой архитектуре Ozone обеспечивает высокую масштабируемость. Он предназначен для хранения свыше 100 млрд объектов в одном кластере и способен обрабатывать как маленькие, так и большие файлы. Ozone отличает высокая отказоустойчивость и легкость восстановления, сопоставимая с HDFS; он может использовать те же политики безопасности кластера и работать вместе с HDFS на тех же хостах.
Александр Анисимов, технический руководитель продукта Arenadata Hadoop: «Как HDFS, так и Ozone отвечают требованиям бизнеса к хранилищам данных, при этом у них есть различия, позволяющие подойти к построению дата-платформы максимально гибко. HDFS де-факто остается файловой системой для больших данных, демонстрируя высокую отказоустойчивость и производительность. В свою очередь, Ozone имеет преимущество в средах, где требуется эффективная работа с большим количеством маленьких файлов и совместимость с S3».
Релиз также включает Trino — SQL-движок для параллельной обработки данных, распределенных по хранилищам разного типа (объектным хранилищам, базам данных и файловым системам). Он позволяет выполнять сложные федеративные запросы — обращаться к разрозненным источникам с помощью одного и того же SQL. Поддержка Trino позволяет снизить дублирование информации и открывает новые сценарии анализа данных без увеличения затрат на инфраструктуру.
Екатерина Ульяшова, менеджер по продуктовому маркетингу Arenadata: «Клиенты Arenadata могут влиять на дорожную карту развития наших продуктов, и в соответствии с ожиданиями рынка мы приняли решение включить Trino в состав дистрибутива ADH. Инструмент для выполнения федеративных запросов повысит эффективность работы с данными и расширит возможности аналитики в корпоративных хранилищах и озерах данных».
В релиз вошла новая версия Smart Storage Manager (SSM) — инструмента для оптимизации хранения и управления данными в HDFS в зависимости от их востребованности («температуры»), настройки асинхронной репликации и др. Обновленный сервис включает ряд улучшений и доработок и готов к использованию в продуктивной среде.
Новая версия Arenadata Hadoop совместима с российской операционной системой ««Ред ОС»» 7.3 (сертифицированной редакции, доступно в составе enterprise-редакции продукта). Поддержка сертифицированной ФСТЭК России операционной системы позволяет интегрировать продукт в более широкий спектр инфраструктур с повышенными требованиями к безопасности.
Вместе с обновленным ADH представлен релиз подсистемы безопасности Arenadata Platform Security (ADPS). Версия 1.2.1 включает обновление сервиса Ranger, новое действие Add/Remove components для Knox, поддержку ««Ред ОС»» 7.3 и другие улучшения.
Arenadata Hadoop (ADH) — корпоративный дистрибутив на базе Apache Hadoop, предназначенный для хранения, обработки и анализа структурированных и неструктурированных данных.
Решаемые задачи: хранение, обработка больших объемов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД); распределенная обработка информации; построение озер и фабрик данных (единый центр всех данных компании, быстрое развертывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде); машинное обучение и искусственный интеллект; источник данных для КХД; импортозамещение систем западного производства.
На ADH получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.
Поделиться
Короткая ссылка
