Mover dados de um local para outro é uma operação vital em aplicativos empresariais modernos. Aqui a relação das fontes de dados aos respectivos destinos torna-se parte do processo de negócios. Este artigo apresenta de forma resumida os novos recursos do WSO2 Streaming Integrator.

O que há de novo no WSO2 Streaming Integrator 7.1?

Streaming ETL Task Wizard: A movimentação de dados entre aplicações diferentes é um problema comum que todo sistema de integração precisa resolver. O ETL baseado em streaming está se tornando cada vez mais popular, já que a maioria dos casos de uso agora exige que os dados estejam disponíveis quase em tempo real. Para usar técnicas de streaming de forma eficaz para construir fluxos ETL de streaming, os desenvolvedores precisam de conhecimento adequado sobre streaming de dados.

No entanto, isso pode ser complexo para um usuário não técnico ou até mesmo para um usuário que é novo em streaming de dados. O recém-introduzido assistente de tarefa ETL para WSO2 Enterprise Integrator acaba com essa complexidade induzida pelo uso do streaming, permite que os usuários percorram 6 etapas autoguiadas e criem fluxos ETL de streaming ponta a ponta em questão de minutos. Os usuários podem configurar suas fontes e destinos de dados e construir lógicas com ferramentas visuais para manipular e processar os dados de entrada / saída com facilidade exportando como uma imagem docker ou para um servidor Streaming Integrator ou como um artefato.

Figura 01 Streaming ETL Task Wizard

Figura 02 Streaming ETL Task Wizard

Painel de monitoramento para fluxos de ETL: Uma organização precisa construir e manter vários fluxos de integração de dados. Para garantir que os fluxos de integração de dados estejam funcionando conforme o esperado, um processo de monitoramento adequado é vital. Um sistema de monitoramento bem projetado deve permitir que você identifique erros rapidamente e facilitar outras ações apontando para a origem do erro. Além disso, deve ser possível ter uma ideia clara sobre as características de carga e desempenho do sistema.
O painel de streaming ETL apresentado com esta versão fornece um conjunto abrangente de estatísticas e números que permitirão aos usuários monitorar e compreender o desempenho do sistema, carregar e localizar erros em seus fluxos de dados ETL de streaming. Ele fornece uma visão do sistema em diferentes níveis, desde as estatísticas que cobrem todo o servidor até as estatísticas específicas de uma determinada fonte de dados.

Figura 03 Painel de monitoramento para fluxos de ETL

Figura 04 Painel de monitoramento para fluxos de ETL

Repetição de eventos e armazenamento de erros: Cada parte da informação pode estar potencialmente ocultando dados valiosos ou carregando instruções críticas, assim, perder até mesmo frações de dados pode ter um impacto considerável. Portanto, um sistema de integração de nível empresarial deve fornecer meios para garantir “perda zero de dados” em todos os níveis, começando com implantações altamente disponíveis e resilientes até ferramentas de gerenciamento de erros que permitem a detecção de erros e tomam ações corretivas prontamente.
WSO2 Streaming Integrator é projetado para processar um grande número de eventos por unidade de tempo. No meio de um fluxo de eventos de alta taxa, é possível que alguns eventos possam resultar em erros. A funcionalidade “Armazenamento de erros” permite que os usuários coletem esses eventos com erros em um log com informações que serão úteis para retificar o erro. E o “repetidor de evento” permite que os usuários naveguem pelos erros que estão sendo armazenados e reproduzam os eventos com as modificações necessárias.

Figura 05 Repetição de eventos e armazenamento de erros

Figura 06 Repetição de eventos e armazenamento de erros

Instalador de extensão: Existem mais de 60 extensões disponíveis para WSO2 Streaming Integrator que permite aos usuários se conectar a vários sistemas, terminais e transportes. A instalação dessas extensões não é feita de forma automática. O que torna o procedimento uma tarefa tediosa e difícil de gerenciar em um sistema de produção, pois um desenvolvedor deve controlar as dependências e buscá-las quando necessário.

O utilitário de instalação de extensão adicionado ao WSO2 Streaming Integrator ajuda a lidar com essa complexidade com facilidade. Ele permite que os usuários identifiquem facilmente os conectores que estão instalados no servidor e os conectores disponíveis para instalação. Além disso, permite que os usuários instalem extensões junto com suas dependências com um único comando, eliminando toda ação manual.

Figura 07 Instalador de extensão

Link de referência: https://wso2.com/library/articles/introducing-wso2-streaming-integrator-7-1/