Você já parou para pensar na quantidade e variedade de dados que geramos e armazenamos a cada dia? Bancos, companhias aéreas, operadoras de telefonia, serviços de busca on-line e redes varejistas são apenas alguns dos inúmeros exemplos de empresas que convivem diariamente com grandes volumes de informações. Mas apenas ter dados não basta: é importante conseguir e saber usá-los. É aí que o conceito de Big Data entra em cena.

Imagine a seguinte situação: você vai a um restaurante e, ao sentar-se à mesa que lhe foi reservada, você tira o celular do bolso e o conecta à rede sem fio do estabelecimento. Imediatamente, o sistema do seu celular exibe um alerta informando que você precisa logar com uma conta do Facebook para que você tenha acesso à internet. Após fornecer suas credenciais de acesso à rede social, o sistema do estabelecimento automaticamente faz um post no Facebook mostrando que você está no estabelecimento em questão. A partir daí, você pode navegar na internet livremente, acessando conteúdos como notícias, seu extrato bancário ou até mesmo postar no Instagram que você está jantando com amigos. A situação descrita não suscita espanto algum nos dias de hoje: é mais que corriqueiro passarmos por esse tipo de situação.

O que muita gente nem imagina é que tanto o post automático no Facebook, quanto todos os cliques que você eventualmente realiza enquanto você navega pela rede social, são enviados para os servidores da plataforma e acabam por se juntar a um gigantesco mar de dados, alimentado a todo segundo pelos mais de 2 bilhões de usuários da maior rede social do mundo.

Todos esses comportamentos são utilizados pela plataforma para traçar um perfil de cada usuário e, em posse desse perfil, a plataforma te recomenda páginas similares às que você curte, pessoas que você talvez conheça e anúncios patrocinados de produtos ou serviços que o algoritmo do site julga serem pertinentes às pessoas com perfis parecidos com o seu.

O que há por trás dessas recomendações são modelos matemáticos bem elaborados, e, na maioria das vezes, extremamente complexos, rodando em poderosos computadores. Tudo isso para manter o usuário interessado em continuar utilizando a plataforma e, consequentemente, gerando mais dados para alimentar (e testar) esses modelos.

“Data” se torna “Big Data” em situações quando a quantidade de dados é tão grande, gerada tão rapidamente e em formas tão complexas que é difícil, quase impossível, de se processar usando métodos tradicionais. A partir daí, máquinas mais poderosas e métodos mais eficientes são necessários para dar conta de se extrair informação relevante dos dados.

Essas informações são extraídas utilizando-se técnicas de tratamento de dados e métodos estatísticos. Algumas ferramentas são utilizadas para auxiliar na implementação de soluções de Big Data como, por exemplo, o framework Apache Hadoop e as linguagens de programação Python e R.

Inteligência Artificial e Machine Learning são alguns métodos aplicados para se extrair informações desse grande volume de dados. Essas informações podem ser utilizadas por gestores para traçar estratégias e tomar decisões de negócios. Apesar de ser muito utilizado pelas grandes corporações, o Big Data também é de fundamental importância para governantes, tanto para fazer análise de satisfação da população frente à gestão quanto para traçar políticas públicas que ajudem na melhoria da qualidade de vida e, consequentemente, no progresso da sociedade.

Um exemplo simples disso pode ser visto no modelo a seguir, que foi construído analisando os dados da evolução da Dívida Bruta do Governo Geral ao longo do tempo, no período de junho de 2014 a junho de 2019 (disponível em http://dados.gov.br/dataset/13762-divida-bruta-do-governo-geral-pib-metodologia-utilizada-a-partir-de-2008). Com este modelo, pode-se inferir que em 2024 a Dívida Bruta do Governo Geral chegará ao montante de, aproximadamente 90% do PIB brasileiro, caso o ritmo de crescimento dessa dívida se mantenha no mesmo patamar.

Novamente, este é um modelo relativamente simples, mas que traz um dado alarmante e de extrema importância, não só para a administração pública brasileira, mas também para a sociedade brasileira como um todo.

Agora imagine uma análise mais complexa, envolvendo soluções de Big Data, na qual seja possível identificar quais os tipos de políticas públicas ou metas de governo que mais contribuíram para o aumento da Dívida Pública nos últimos 10 anos. E com base nessas informações traçar estratégias de gestão e controle, em diferentes níveis (municipal, estadual e federal), para os gastos públicos dos próximos anos.

O uso da Inteligência Artificial e Machine Learning em um ambiente de Big Data nos permite compreender melhor o presente e o passado (erros, comportamentos, padrões, etc.) para realizar ações mais efetivas no futuro.

Referências:

https://www.sas.com/en_us/insights/big-data/what-is-big-data.html

https://www.statista.com/statistics/264810/number-of-monthly-active-facebook-users-worldwide/

http://dados.gov.br/dataset/13762-divida-bruta-do-governo-geral-pib-metodologia-utilizada-a-partir-de-2008