dados – Variavel Constante

Um pouco sobre Governança de Dados

Hoje, onde a quantidade de dados gerados e armazenados cresce exponencialmente, a governança de dados tornou-se essencial para empresas que desejam obter valor estratégico a partir dessas informações. Mas afinal, o que é governança de dados? Neste post, irei explorar de forma simples e acessível o conceito de governança de dados e fornecer um passo a passo básico para iniciar sua implementação em uma empresa. Compreender e aplicar práticas de governança de dados é fundamental para garantir a qualidade, integridade, segurança e conformidade dos dados, impulsionando o sucesso dos negócios.

Entendendo a Governança de Dados

A governança de dados é um conjunto de práticas, políticas, processos e controles que garantem que os dados sejam utilizados de maneira adequada e eficiente em uma organização. Envolve a definição de responsabilidades, diretrizes, padrões e métricas para a gestão dos dados em toda a empresa. O objetivo final da governança de dados é assegurar que as informações sejam confiáveis, consistentes, completas e disponíveis para tomada de decisões estratégicas.

Benefícios da Governança de Dados

A implementação adequada da governança de dados traz uma série de benefícios para as empresas. Primeiramente, promove a transparência e a colaboração entre os diversos setores, estabelecendo uma linguagem comum para a compreensão dos dados. Além disso, melhora a qualidade dos dados, reduzindo erros e inconsistências, o que resulta em melhores análises e tomadas de decisão. A governança de dados também auxilia no cumprimento de leis e regulamentações, como a proteção de dados pessoais, fortalecendo a segurança e a privacidade dos dados.

Passo a passo para Implementar a Governança de Dados

Para iniciar a implementação da governança de dados em uma empresa, é importante seguir alguns passos fundamentais:

Primeiramente, é necessário identificar e mapear os dados existentes na organização, incluindo sua localização, formato e origem.

Em seguida, deve-se estabelecer um comitê de governança de dados, com representantes de diferentes áreas, para definir políticas e diretrizes. Essas políticas devem abordar aspectos como padrões de nomenclatura, definição de papéis e responsabilidades, políticas de acesso e uso dos dados, entre outros.

Implementação e Monitoramento

Com as políticas definidas, é hora de implementar as mudanças necessárias para aprimorar a governança de dados. Isso pode envolver a adoção de novas tecnologias, como sistemas de gerenciamento de dados, ferramentas de controle e monitoramento, e a capacitação dos colaboradores por meio de treinamentos específicos. É importante também estabelecer indicadores de desempenho para avaliar a eficácia da governança de dados ao longo do tempo e realizar ajustes conforme necessário.

Cultura de Dados

Por fim, a implementação bem-sucedida da governança de dados requer a criação de uma cultura de dados dentro da empresa. Isso envolve conscientizar os colaboradores sobre a importância dos dados, promover a educação sobre boas práticas de gestão e incentivar a colaboração e o compartilhamento responsável das informações. A cultura de dados deve estar alinhada aos objetivos estratégicos da empresa, permitindo que os dados sejam usados como um ativo valioso para impulsionar a inovação e a vantagem competitiva.

Conclusão:

A governança de dados é um elemento-chave para uma gestão eficiente e bem-sucedida de informações nas organizações. Este post apresentou uma visão simples e prática do conceito, além de um passo a passo básico para iniciar a implementação da governança de dados em uma empresa. Ao adotar a governança de dados, as empresas estarão melhor preparadas para lidar com os desafios e oportunidades trazidos pela era dos dados, alcançando uma vantagem competitiva sustentável no mercado atual.

Esse é um assunto bastante amplo e um tanto quanto complexo. Recomendo fortemente a leitura do livro “Governança de Dados” do Carlos Barbieri.

Antes de ir embora, dá uma olhada nesse post sobre Alfabetização de dados, ficou bem legal

Abraço e até a próxima!

Alfabetização em dados: Isso vai mudar a sua carreira

A alfabetização em dados, também conhecida como data literacy, envolve desenvolver habilidades para entender, interpretar e comunicar informações com base em dados. Essas habilidades capacita as pessoas a analisar e questionar informações, identificar tendências, padrões e insights ocultos nos dados. Isso é crucial para tomar decisões eficazes e estratégicas em diversos contextos, como desenvolvimento de produtos, marketing, previsão de demanda, políticas públicas e tomada de decisões pessoais.

Em um mundo cada vez mais orientado por dados, a alfabetização em dados é uma habilidade essencial para enfrentar os desafios e aproveitar as oportunidades que surgem.

Abaixo deixo algumas dicas para quem deseja iniciar:

Compreenda os conceitos básicos:

Dados: Entenda o que são dados e como são coletados. Aprenda sobre os diferentes tipos de dados, como dados numéricos, categóricos e textuais.

Análise de dados: Familiarize-se com as técnicas básicas de análise de dados, como resumir dados, encontrar padrões e identificar correlações.

Visualização de dados: Explore os princípios da visualização de dados, incluindo a escolha de gráficos adequados para diferentes tipos de dados e a criação de visualizações claras e informativas.

Aprenda estatística básica:

Média: É a soma de todos os valores dividida pelo número total de valores. Ajuda a entender o valor médio de um conjunto de dados.

Mediana: É o valor que separa a metade inferior da metade superior de um conjunto de dados ordenado. É útil para entender a tendência central dos dados.

Moda: Refere-se ao valor mais frequente em um conjunto de dados. Ajuda a identificar valores que ocorrem com mais frequência.

Desvio padrão: Mede a dispersão dos dados em relação à média. Indica o quão diferentes os valores estão em relação à média.

Distribuição normal: É uma distribuição simétrica em torno da média, onde a maioria dos valores se concentra perto da média. É um conceito importante para muitas análises estatísticas.

Explore ferramentas de análise de dados:

Microsoft Excel: É uma ferramenta amplamente utilizada para análise de dados. Possui recursos para manipulação de dados, fórmulas, tabelas dinâmicas e gráficos.

Google Sheets: É uma alternativa baseada na web ao Excel. Permite colaboração em tempo real e também possui recursos de análise de dados.

Tableau: É uma poderosa ferramenta de visualização de dados que permite criar painéis interativos e gráficos avançados.

Desenvolva habilidades em programação:

Python: Aprender Python pode ser útil na manipulação e análise de dados. Bibliotecas como Pandas, NumPy e Matplotlib são amplamente utilizadas para tarefas relacionadas a dados.

R: R é uma linguagem popular para análise estatística e visualização de dados. Possui uma vasta coleção de pacotes especializados em análise de dados.

Procure cursos e recursos online:

Coursera: É uma plataforma de aprendizado online que oferece uma ampla variedade de cursos relacionados a dados, desde introdução à ciência de dados até análise estatística avançada.

Udemy: Oferece uma variedade de cursos sobre análise de dados, visualização e ferramentas específicas.

DataCamp: É uma plataforma focada em cursos interativos de ciência de dados e análise de dados, abrangendo desde conceitos básicos até tópicos avançados.

Pratique com projetos reais:

Encontre conjuntos de dados interessantes: Procure por conjuntos de dados disponíveis gratuitamente em repositórios online, como o Kaggle, o UCI Machine Learning Repository, Portal da transparência e Dados.gov.

Defina perguntas: Estabeleça perguntas específicas que deseja responder com base nos dados disponíveis.

Análise e visualização: Utilize as ferramentas e técnicas aprendidas para explorar, analisar e visualizar os dados em busca de insights e respostas às suas perguntas.

Mantenha-se atualizado:

Blogs: Siga blogs especializados em análise de dados, ciência de dados e visualização de dados para se manter atualizado sobre as últimas tendências e práticas.

Comunidades online: Participe de fóruns, grupos de discussão e comunidades relacionadas a dados, onde você pode compartilhar conhecimento e aprender com outros profissionais.

Conferências: Acompanhe conferências e eventos relacionados a dados, como a Data Science Conference e a Tableau Conference, para ficar por dentro das novidades e conhecer especialistas da área.

E depois?

Lembre-se de que a prática constante e a aplicação dos conceitos e técnicas aprendidos são fundamentais para aprimorar suas habilidades. Por isso, tente incorporar o máximo possível dessas dicas ao seu dia-a-dia.

Espero que tenham gostado!

Abraço e até a próxima!

Um pouco sobre Big Data!

A geração de dados sempre existiu, desde o início dos tempos o ser humano produz dados. Porém com o tempo, essa geração de dados foi sendo cada vez mais intensa.

Segundo Eric Schmidt, antigo CEO do Google, do início da civilização até o ano de 2003, a humanidade gerou 5 Exabytes de dados, hoje essa mesma quantidade é gerado em apenas 1 hora (provavelmente em menos tempo agora).

Bom, de forma bem resumida… isso é Big Data… esse VOLUME absurdamente grande de dados gerados, na VELOCIDADE em que são gerados e na VARIEDADE dos tipos de dados (os 3 principais V’s). E esses dados podem vir de qualquer lugar, desde os tradicionais bancos de dados relacionais, passando pelos dados gerados numa simples pesquisa inocente no Google até os posts em redes sociais. Tudo pode ser coletado, processado e utilizado para atender uma demanda específica.

É claro que no meio desse tsunami de dados, existem muitos, mas muitos dados completamente inúteis. E esses dados podem mais atrapalhar do que ajudar.

Assim nasceram mais 2 V’s para definir de forma mais detalhada o que é o Big Data: VERACIDADE e VALOR. Dai pra frente foi um pulo pro pessoal criativo encontrar mais um monte de V’s: Variabilidade, Validade, Vulnerabilidade, Volatilidade e Visualização.

Aqui ficaremos apenas nos 5 V’s iniciais, pois na minha visão são o que realmente definem o que é Big Data, os demais são variações muito sutis.

Os 5 V’s

Volume: A quantidade de dados gerado. O volume de dados produzido só aumenta a cada ano.

Velocidade: A velocidade com que esses dados são gerados. Se levamos milhares de anos para produzir 5 exabytes de dados, hoje levamos apenas 1 hora.

Variedade: A variedade de formatos e tipos de arquivos que são gerados. Em Big Data não olhamos apenas para aquela tabelinha bonita toda normalizada em um banco de dados relacional. Aqui tratamos principalmente dados não estruturados, como textos em uma rede social, fotos, audios, videos, etc.

Veracidade: Essa característica diz respeito ao quão confiável é o dado e a fonte de onde foi extraído. Um critério muito importante principalmente na era das fake news.

Valor: E por último mas não menos importante, essa característica diz respeito ao quão valioso é o dado. Não adianta nada coletar, processar e armazenar um monte de dados que não trará nenhum valor real para o negócio. É preciso ter muito claro qual o problema de negócio que você está tentando resolver. Só assim você saberá de quais dados precisa, e qual o valor deles.

Como a minha empresa pode se beneficiar com Big Data?

Diferentemente do BI (Business Intelligence), que tem como foco a análise de dados do passado para mostrar o que aconteceu, o Big Data é usado com foco no futuro, para criação de novos produtos, aprimoramento de processos, estimativas, entre outros.

Abaixo alguns casos de uso de Big Data:

Desenvolvimento de novos produtos: o uso de big data nessa área é muito forte, visando antecipar tendências de demanda dos clientes.

Manutenção preventiva: Cada vez mais as máquinas vem equipadas com sensores que produzem dados a todo segundo. Esses dados ajudam a prever quando um equipamento pode quebrar, possibilitando assim a manutenção preventiva.

Experiência do cliente/usuário: Ter uma visão clara de como está sendo a experiência do teu cliente e/ou usuário é fundamental para que seja possível o aprimoramento dessa experiência. E isso é completamente possível coletando dados de navegação, dados de mídias sociais, registros de chamadas entre outros possíveis.

Fraude: Com big data você consegue identificar padrões em dados afim de identificar possíveis fraudes.

Machine Learning: Talvez a área mais impactada pelo big data. Hoje somos capazes não somente de programar uma máquina mas ensiná-la. E quanto mais dados, mais “inteligente” essas máquinas ficam.

Eficiência operacional: Outra área positivamente afetada pelo big data. Com big data conseguimos analisar dados da operação de uma empresa, coletar feedbacks de clientes entre outros dados, afim de aprimorar a operação, diminuir interrupções, eliminar gargalos, etc.

O que preciso para iniciar um projeto de Big Data?

Você precisa de um problema de negócio que somente com Big Data você conseguirá resolver.

Com Big Data um mundo de possibilidades se abre na nossa frente, porém é preciso ter muita cautela pois nem sempre as empresas precisam de Big Data. Uma boa Governança de dados é suficiente para a grande maioria das empresas (digo isso sem medo de errar… e sem nenhum estudo para comprovar… rsrs).

Se tudo o que você quer no momento é ter uma visão histórica de como está indo o seu negócio, Big Data ainda não é pra você. Se o seu negócio não gera dados na ordem de Terabytes, Big Data ainda não é pra você (a menos que você veja uma oportunidade de negócio onde você conseguirá utilizar dados de terceiro).

Então antes de tudo, defina o problema de negócio a ser resolvido, somente assim você saberá se precisa mesmo de um projeto de big data ou não.

E antes de iniciar um projeto de Big Data, comece por um projeto de Governança de Dados. É onde você conseguirá “por ordem na casa”. É onde os seus dados serão bem tratados, serão organizados, padronizados, ganharam “tutores”.

Existe um jargão no meio da informática que diz: “Garbage In, Garbage Out” (GIGO). Essa expressão diz respeito a qualidade dos dados que são inseridos, e consequentemente os dados que saem na outra ponta. Lixo entra, Lixo sai!

Conclusão

Sem sombra de dúvidas o big data chegou para ficar, mas ainda não é pra todos (e talvez nunca seja). É preciso não se deslumbrar pelas oportunidades que o big data trouxe, para que não haja perca de foco.

Lembre-se que o big data para ser útil, tem que resolver um problema de negócio, senão é pura perca de tempo e de dinheiro (porque é caro).

Lembre-se também que para o sucesso do projeto, os dados precisam ser bem tratados, para que você não tenho problemas de GIGO. Estudos mostram que a maior parte do tempo gasto por cientistas de dados e engenheiros de dados está na etapa de “limpeza” dos dados. Por isso um projeto de Governança de Dados é tão importante, e que pode acabar por te mostrar que você não precisa de Big Data… ainda!

Antes de sair… dá uma conferida na série de posts para o Projeto Video Creator que eu postei aqui no blog. O projeto é baseado nessa série: Programei 4 robôs que criam vídeos para mim no YouTube.

Pra quem curte automatizar o trabalho, vai gostar do conteúdo =D.

Abraço!