Поделиться
Релиз Arenadata Streaming: новые возможности потоковой передачи и обработки данных
Arenadata обновила продукт для потоковой передачи и обработки данных Arenadata Streaming (ADS). Версия 3.7.2.1 включает обновления сервисов и новые функции, улучшающие пользовательский опыт и расширяющие возможности платформы. Об этом CNews сообщили представители Arenadata.
В релизе Arenadata Streaming обновлены версии Kafka, Kafka Connect, Schema Registry, Kafka REST Proxy и ksqlDB. Апгрейд позволяет привнести в систему новую функциональность, улучшить производительность, оптимизировать работу с большими объемами данных и расширить поддержку Kafka Raft (KRaft).
В релиз включен Iceberg Sink Connector — компонент, обеспечивающий запись потоковых данных из Kafka в таблицы Apache Iceberg. В связке с коннектором Debezium, который также входит в ADS, Iceberg Sink Connector позволяет реализовать полноценный технологический процесс CDC (Change Data Capture), обеспечивая непрерывную и согласованную интеграцию данных из оперативных баз данных, например PostgreSQL и MS SQL, в табличный формат Iceberg, который может использоваться в lakehouse-платформе на базе Arenadata Hadoop (ADH). Такой подход избавляет от необходимости проектировать и поддерживать сложные ETL-процессы, ускоряя внедрение аналитических решений на основе актуальных данных.
Новая версия Arenadata Streaming поддерживает миграцию из ZooKeeper в KRaft с помощью интерфейса Arenadata Cluster Manager (ADCM). Функция предназначена для кластеров, в которых сервис Kafka уже используется вместе с ZooKeeper. Нововведение упрощает процесс перехода на новую архитектуру управления кластером, обеспечивает более удобное администрирование и управление ресурсами.
Кроме того, в новой версии предусмотрена возможность автоматической установки Java из репозитория Arenadata, что упрощает процесс установки или обновления Arenadata Streaming.
Александр Анисимов, технический руководитель продукта Arenadata Streaming: «В ближайшем релизе мы выполним все необходимые работы для предоставления стабильной и готовой к использованию в продуктивной среде версии Kafka, работающей с KRaft. Кроме того, расширим функциональность продукта с помощью новых open source компонентов, таких как Kafka Cruise Control, и собственных разработок, например NiFi ADB Connector».
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет: в реальном времени строить потоковые конвейеры данных, передающие данные между системами или приложениями; в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них; хранить потоки записей отказоустойчивым долговечным способом; разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включен в Единый реестр российских программ для электронных вычислительных машин и баз данных.
Поделиться
Короткая ссылка
