BUSINESS INTELLIGENCE E BIG DATA
Enquanto Business Intelligence se concentra na análise de dados para apoiar a tomada de decisões estratégicas, Big Data lida com a gestão e análise de grandes volumes de dados para obter insights valiosos que possam impulsionar o crescimento e a inovação empresarial. Juntos, esses dois conceitos desempenham um papel crucial na transformação digital e na competitividade das empresas no mercado atual.
Aulas - Conceitos
BIG DATA
Este termo é utilizado quando nos referimos a uma base de dados com uma grande ou enorme quantidade de dados, pode estar armazenada em um servidor ou alocada em múltiplos servidores, dados estes que necessariamente não precisam estar estruturados, como ocorre nos bancos de dados relacional.
LAKE DATA
Um data lake é um grande repositório de dados que armazena informações de várias fontes e formatos, sem a necessidade de estruturação prévia. Ele permite o armazenamento flexível e escalável de grandes volumes de dados brutos para análises posteriores.
DATA WAREHOUSE
Um data warehouse é um sistema de armazenamento de dados centralizado que reúne e organiza informações de diversas fontes dentro de uma organização. Ele é projetado para suportar análises e consultas complexas, fornecendo uma visão integrada e histórica dos dados da empresa.
DATA SWAMP
Data swamp é um termo usado para descrever uma situação em que os dados de uma organização estão desorganizados, mal gerenciados ou de baixa qualidade. É como um "pântano" de dados confusos e inutilizáveis, dificultando a análise e a extração de insights úteis.
5Vs DE BIG DATA
Os 5Vs do Big Data resumem as características essenciais dos conjuntos de dados: Volume: Refere-se à quantidade de dados; Velocidade: Indica a velocidade de geração e atualização dos dados; Variedade: Refere-se à diversidade dos tipos de dados; Veracidade: Indica a qualidade e confiabilidade dos dados; Valor: Representa o valor e a relevância dos dados para a tomada de decisões e criação de valor.
TIPOS DE DADOS
Dados Estruturados: São dados organizados em tabelas com colunas fixas, como em bancos de dados. Dados Semi-Estruturados: São dados com alguma estrutura, mas flexível, como documentos XML ou JSON. Dados Não Estruturados: São dados que não possuem uma estrutura definida, como texto livre, áudio e vídeo.
DATA MART
Enquanto um Data Warehouse combina bases de dados espalhados por toda a empresa, um Data Mart (DM) geralmente é menor e se concentra em um tema ou departamento em particular. Data Mart é um subconjunto de um Data Warehouse, tipicamente abarcando uma única área temática (como marketing ou operações).
ETL X ELT
ETL é um processo tradicional de transformação de dados formado por três etapas: a extração, a transformação e o carregamento de dados distribuída tornam os sistemas de armazenamento mais complexos. O ELT (extração, carregamento, transformação) é um processo mais ágilpara o carregamento e o processamento de dados, pois inverte a ordem das etapas de transformação de dados da abordagem tradicional de ETL.
SIGLAS IMPORTANTES
OLTP, OLAP, ROLAP, MOLAP, HOLAP e DOLAP são siglas que estão relacionadas a diferentes abordagens e tecnologias para armazenamento, processamento e análise de dados em ambientes empresariais. Essas abordagens e tecnologias são fundamentais para apoiar a análise de dados e a tomada de decisões em diferentes contextos empresariais, permitindo que as organizações obtenham insights valiosos de seus dados.
TIPOS DE ANÁLISE DE DADOS
Análise Descritiva: Descreve o que aconteceu no passado, resumindo os dados de uma forma compreensível. Análise Diagnóstica: Examina por que algo aconteceu no passado, identificando as causas e padrões por trás dos eventos. Análise Preditiva: Usa dados passados para fazer previsões sobre eventos futuros, usando modelos estatísticos e algoritmos de machine learning. Análise Prescritiva: Sugere ações específicas para serem tomadas com base nas previsões feitas pela análise preditiva, visando otimizar resultados futuros.
DATA MINING
Data mining é o processo de descobrir padrões e informações úteis em grandes conjuntos de dados, utilizando técnicas estatísticas e de inteligência artificial. É como escavar em busca de insights valiosos que podem ajudar na tomada de decisões e na identificação de tendências e padrões ocultos nos dados.
STAGING AREA
É um local temporário em que os dados originais (sistemas de origem) são copiados. Portanto, ao invés de acessar os dados diretamente da fonte original, os dados serão processados ou até transformados nesta área, que pode ser uma tabela temporária, ou uma view, que é uma maneira alternativa de observação dos dados, que pode ser executada. O ETL solicita os dados da Staging Area, trata-os e realizada a entrega dos dados.
PROCESSO KDD
O processo KDD (Knowledge Discovery in Databases) é um método para extrair informações úteis e significativas a partir de grandes conjuntos de dados. Ele envolve várias etapas, como seleção, pré-processamento, transformação, mineração de dados e avaliação, com o objetivo de identificar padrões e conhecimentos valiosos para apoiar a tomada de decisões.
POWER BI
O Power BI é uma plataforma que integra serviços de software, aplicativos e conectores para transformar várias fontes de dados em informações coerentes e visualmente atraentes. Essas fontes podem ser desde planilhas do Excel até data warehouses locais ou na nuvem. Com o Power BI, é fácil conectar-se a diferentes fontes de dados, visualizar informações importantes e compartilhá-las com quem desejar.