Um pouco sobre Big Data!

A geração de dados sempre existiu, desde o início dos tempos o ser humano produz dados. Porém com o tempo, essa geração de dados foi sendo cada vez mais intensa.

Segundo Eric Schmidt, antigo CEO do Google, do início da civilização até o ano de 2003, a humanidade gerou 5 Exabytes de dados, hoje essa mesma quantidade é gerado em apenas 1 hora (provavelmente em menos tempo agora).

Bom, de forma bem resumida… isso é Big Data… esse VOLUME absurdamente grande de dados gerados, na VELOCIDADE em que são gerados e na VARIEDADE dos tipos de dados (os 3 principais V’s). E esses dados podem vir de qualquer lugar, desde os tradicionais bancos de dados relacionais, passando pelos dados gerados numa simples pesquisa inocente no Google até os posts em redes sociais. Tudo pode ser coletado, processado e utilizado para atender uma demanda específica.

É claro que no meio desse tsunami de dados, existem muitos, mas muitos dados completamente inúteis. E esses dados podem mais atrapalhar do que ajudar.

Assim nasceram mais 2 V’s para definir de forma mais detalhada o que é o Big Data: VERACIDADE e VALOR. Dai pra frente foi um pulo pro pessoal criativo encontrar mais um monte de V’s: Variabilidade, Validade, Vulnerabilidade, Volatilidade e Visualização.

Aqui ficaremos apenas nos 5 V’s iniciais, pois na minha visão são o que realmente definem o que é Big Data, os demais são variações muito sutis.

Os 5 V’s

Volume: A quantidade de dados gerado. O volume de dados produzido só aumenta a cada ano.

Velocidade: A velocidade com que esses dados são gerados. Se levamos milhares de anos para produzir 5 exabytes de dados, hoje levamos apenas 1 hora.

Variedade: A variedade de formatos e tipos de arquivos que são gerados. Em Big Data não olhamos apenas para aquela tabelinha bonita toda normalizada em um banco de dados relacional. Aqui tratamos principalmente dados não estruturados, como textos em uma rede social, fotos, audios, videos, etc.

Veracidade: Essa característica diz respeito ao quão confiável é o dado e a fonte de onde foi extraído. Um critério muito importante principalmente na era das fake news.

Valor: E por último mas não menos importante, essa característica diz respeito ao quão valioso é o dado. Não adianta nada coletar, processar e armazenar um monte de dados que não trará nenhum valor real para o negócio. É preciso ter muito claro qual o problema de negócio que você está tentando resolver. Só assim você saberá de quais dados precisa, e qual o valor deles.

Como a minha empresa pode se beneficiar com Big Data?

Abaixo alguns casos de uso de Big Data:

Desenvolvimento de novos produtos: o uso de big data nessa área é muito forte, visando antecipar tendências de demanda dos clientes.

Manutenção preventiva: Cada vez mais as máquinas vem equipadas com sensores que produzem dados a todo segundo. Esses dados ajudam a prever quando um equipamento pode quebrar, possibilitando assim a manutenção preventiva.

Experiência do cliente/usuário: Ter uma visão clara de como está sendo a experiência do teu cliente e/ou usuário é fundamental para que seja possível o aprimoramento dessa experiência. E isso é completamente possível coletando dados de navegação, dados de mídias sociais, registros de chamadas entre outros possíveis.

Fraude: Com big data você consegue identificar padrões em dados afim de identificar possíveis fraudes.

Machine Learning: Talvez a área mais impactada pelo big data. Hoje somos capazes não somente de programar uma máquina mas ensiná-la. E quanto mais dados, mais “inteligente” essas máquinas ficam.

Eficiência operacional: Outra área positivamente afetada pelo big data. Com big data conseguimos analisar dados da operação de uma empresa, coletar feedbacks de clientes entre outros dados, afim de aprimorar a operação, diminuir interrupções, eliminar gargalos, etc.

O que preciso para iniciar um projeto de Big Data?

Você precisa de um problema de negócio que somente com Big Data você conseguirá resolver.

Com Big Data um mundo de possibilidades se abre na nossa frente, porém é preciso ter muita cautela pois nem sempre as empresas precisam de Big Data. Uma boa Governança de dados é suficiente para a grande maioria das empresas (digo isso sem medo de errar… e sem nenhum estudo para comprovar… rsrs).

Se tudo o que você quer no momento é ter uma visão histórica de como está indo o seu negócio, Big Data ainda não é pra você. Se o seu negócio não gera dados na ordem de Terabytes, Big Data ainda não é pra você (a menos que você veja uma oportunidade de negócio onde você conseguirá utilizar dados de terceiro).

Então antes de tudo, defina o problema de negócio a ser resolvido, somente assim você saberá se precisa mesmo de um projeto de big data ou não.

E antes de iniciar um projeto de Big Data, comece por um projeto de Governança de Dados. É onde você conseguirá “por ordem na casa”. É onde os seus dados serão bem tratados, serão organizados, padronizados, ganharam “tutores”.

Existe um jargão no meio da informática que diz: “Garbage In, Garbage Out” (GIGO). Essa expressão diz respeito a qualidade dos dados que são inseridos, e consequentemente os dados que saem na outra ponta. Lixo entra, Lixo sai!

Conclusão

Sem sombra de dúvidas o big data chegou para ficar, mas ainda não é pra todos (e talvez nunca seja). É preciso não se deslumbrar pelas oportunidades que o big data trouxe, para que não haja perca de foco.

Lembre-se que o big data para ser útil, tem que resolver um problema de negócio, senão é pura perca de tempo e de dinheiro (porque é caro).

Lembre-se também que para o sucesso do projeto, os dados precisam ser bem tratados, para que você não tenho problemas de GIGO. Estudos mostram que a maior parte do tempo gasto por cientistas de dados e engenheiros de dados está na etapa de “limpeza” dos dados. Por isso um projeto de Governança de Dados é tão importante, e que pode acabar por te mostrar que você não precisa de Big Data… ainda!

Antes de sair… dá uma conferida na série de posts para o Projeto Video Creator que eu postei aqui no blog. O projeto é baseado nessa série: Programei 4 robôs que criam vídeos para mim no YouTube.

Pra quem curte automatizar o trabalho, vai gostar do conteúdo =D.

Abraço!