O Apache NiFi é um sistema de processamento e distribuição de dados, fácil de usar, poderoso e confiável, pois além da ingestão de dados, é capaz de transferir e gerenciar a transferência de dados entre fontes e sistemas. Ele suporta uma grande variedade de formatos de dados como logs, dados de geolocalização, feeds sociais, dentre outros. Foi construído para automatizar o fluxo de dados entre sistemas.

Embora os desenvolvedores possam implementar muitos aplicativos na nuvem, nem todas as cargas de trabalho de dados pertencem a eles. Os provedores de nuvem estão bem cientes desse desafio de dados, pois todos fornecem cada vez mais soluções para executar cargas de trabalho no local para trabalhar com suas tecnologias. Alguns dos desafios podem ser uma segurança menos abrangente, aumentos de preços não planejados quando o processamento de dados acelera ou uma simples incapacidade de cumprir prazos de SLA mais agressivos. Portanto, a nuvem pública nem sempre é adequada para todas as necessidades de negócios.

A Tecnisys, em parceria com Cloudera, fornece um conjunto de soluções consistentes, com execução local em nuvem, para garantir que os clientes tenham sucesso em sua jornada de dados para todos os seus casos de uso, independentemente de onde sejam implantados. O Cloudera DataFlow fornece Apache NiFi nos produtos Cloudera Data Platform Private Cloud Base (local) e Public Cloud (AWS, Azure e Google Cloud), nesta estratégia de nuvem híbrida. Esta solução abrangente e flexível oferece aos nossos clientes uma maneira muito segura, eficiente e fácil de movimentar e transferir dados entre os diferentes ambientes que eles possuem e em diferentes locais.

A importância de uma estratégia de nuvem híbrida

Com o crescimento e desenvolvimento da área de Ciência de Dados nos mais variados setores de negócio, a necessidade de utilização da nuvem para processamento de dados tornou-se cada vez maior. Com possibilidades de utilização e, consequentemente, o pagamento por uso dos recursos computacionais, esta se tornou uma opção muito procurada pelo menor custo a curto e longo prazo.

O armazenamento de dados históricos de uma organização acontece de forma muito mais linear e previsível e exige um nível maior de segurança. Também, por regimentos internos, muitas dessas organizações não podem fazer o armazenamento massivo de dados em um ambiente que não seja totalmente controlado pelos seus detentores.

Visto isso, o conceito de nuvem híbrida garante que os papéis possam ser divididos de acordo com a necessidade, no que diz respeito a processamento como, por exemplo, no caso de um processo de treinamento de modelo de dado, onde esta atividade pode ser realizada em uma nuvem pública e o seu custo se dá de acordo com a utilização pontual de recursos, e já o seu armazenamento pode ser realizado em uma nuvem privada, onde é possível mensurar o crescimento em volume e também garantir um controle de segurança interno dessas informações.

A nuvem híbrida é uma arquitetura de TI que incorpora algum nível de portabilidade, orquestração e gerenciamento de cargas de trabalho entre dois ou mais ambientes. Dependendo de quem fala, esses ambientes precisam incluir: no mínimo, uma nuvem privada e uma pública; duas ou mais nuvens privadas; duas ou mais nuvens públicas.

Com o nascimento do Anthos, o produto Google Cloud lançado para fornecer uma estratégia de nuvem híbrida, é possível executar a tecnologia do Google na infraestrutura de outro provedor de nuvem, bem como no local usando o Google Kubernetes Engine. A capacidade de executar consistentemente o mesmo trecho de código em qualquer lugar, seja em nuvem ou em seu data center, é o esperado por todos.

A capacidade de implantar cargas de trabalho em vários ambientes é o que a Cloudera oferece com Cloudera Data Platform. Mas, e quanto aos dados? Como você pode mover dados facilmente entre seus ambientes, de maneira consistente, para todos os seus casos de uso? Além disso, como uma empresa pode garantir que não haja dependência de fornecedor ao usar os serviços gerenciados dos provedores de nuvem? E quanto à complexidade associada, quando você usa dois ou mais provedores de nuvem?

Com Cloudera Public Cloud e Cloudera Private Cloud, você obtém uma plataforma consistente, com uma camada de gerenciamento, segurança e governança que abrange suas infraestruturas locais e em qualquer provedor de nuvem. Você pode executar as mesmas cargas de trabalho em qualquer lugar, sem alterações, e pode realmente se beneficiar das promessas da nuvem com o recurso de elasticidade da computação. Pensando nos clientes que desejam obter a melhor tecnologia de cada provedor de nuvem e desejam alavancagem quando se trata de negociações de preços, a Cloudera oferece a mesma plataforma de nuvem pública em qualquer provedor de nuvem.

Obtenha seus dados onde e quando precisar

Agora todos sabemos que ter um negócio de sucesso significa ter os dados certos. Para qualquer empresa, para qualquer caso de uso, tudo começa com os dados. Onde estão meus dados? Quais são meus dados? Por que eu preciso disso? Como obter os dados e como obter percepções a partir deles? Mover dados para analisar e processar pode parecer a parte mais fácil de um caso de uso, mas não é! Obter os dados e acertá-los é um problema muito desafiador. É por isso que a Cloudera fornece o Cloudera Flow Management com tecnologia Apache NiFi. Esta solução de fluxo de dados é a mais fácil tecnologia para levar seus dados para onde você precisar para processá-los. Você quando você adota uma verdadeira arquitetura de nuvem híbrida é, também, necessário mover facilmente os dados em todos os sentidos e entre seus ambientes, garantindo o nível adequado de segurança, resiliência, auditabilidade e governança.

O Apache NiFi fornece uma maneira fácil e segura de trocar dados bidirecionalmente com eficiência entre clusters NiFi, garantindo políticas consistentes em seus ambientes, com o Apache Ranger, e fornecendo linhagem de dados e governança com o Apache Atlas. O NiFi oferece alta disponibilidade e balanceamento de carga adequado, ao mesmo tempo que permite a compactação de dados, garantindo que seus custos de entrada e saída estejam sob controle o tempo todo. NiFi também pode ser usado para coletar dados de uma ampla gama de fontes, especialmente com Cloudera Edge Management e os agentes MiNiFi, que você pode implantar na borda e escala. Além disso, o NiFi fornece uma ampla gama de processadores para interagir com os serviços gerenciados nativos dos provedores de nuvem.

Outro caso de uso é quando você tem muitas fontes de dados de streaming e não deseja enviar tudo para o(s) seu(s) provedor(es) de nuvem pública. Como você opera em todo o mundo, não quer que suas fontes enviem dados pela Internet. Você deseja um único gateway para todas as suas transferências de dados e deseja controlar seus custos de entrada e saída. Mais uma vez, você pode usar o Cloudera Flow Management como o gateway para mover dados entre seus ambientes. Ele fornece uma única maneira confiável de mover dados, tornando as coisas mais simples e oferecendo segurança, linhagem de dados e governança de dados consistentes.

O Cloudera Flow Management, desenvolvido com Apache NiFi, é a melhor tecnologia para enfrentar os desafios de movimentação de dados, seja para casos de uso em lote ou streaming, em um verdadeiro ambiente de nuvem híbrida. NiFi deve ser sua porta de entrada para mover qualquer conjunto de dados.

Fontes:

https://blog.cloudera.com/apache-nifi-the-data-movement-enabler-in-a-hybrid-cloud-environment/

https://br.cloudera.com/products/cdf.html