Embora a mídia debata se os dados são o novo petróleo ou não, uma coisa é clara: como o petróleo, os dados precisam de muito processamento. Desde o Facebook até as empresas em crescimento, qualquer organização de sucesso que lide com um volume crescente de dados, deve ser capaz de organizar, acessar, proteger e processar dados para convertê-los em insights e decisões.
Existem muitas ferramentas e fornecedores a considerar, particularmente em termos das necessidades do negócio e da tarefa em mãos. Entretanto, independentemente da tarefa, o objetivo é encontrar um produto de gerenciamento de dados para tornar os dados tão úteis quanto possível, minimizando custos, riscos e consumo de recursos.
Esta é uma lista de software de gerenciamento de dados, porém, não é abrangente. Preparamos uma lista de fornecedores líderes em software de gerenciamento de dados, classificável/filtrável, atualizada regularmente, fique à vontade para verificá-la.
- Software de gerenciamento de dados
- Software de gestão de dados de código aberto
- Arquitectura de dados e desenho de modelos de dados
- Referência e gerenciamento de dados mestre
- Gestão de bases de dados
- Documento, Registo, Gestão de Conteúdos
- Gestão de metadados
- Gestão de Qualidade de Dados
- Armazenamento de dados e gerenciamento de BI
- Análise de dados
Software de gerenciamento de dados
O gerenciamento de dados é uma disciplina ampla, com muitos focos e ferramentas diferentes para gerenciar esses focos. O Data Management Software (DMS) funde registros de vários bancos de dados, extratos, filtros, sintetiza os dados sem perda de integridade e interferência.
Alguns fornecedores e softwares contêm múltiplas funcionalidades e podem eliminar a necessidade de uma ferramenta dedicada. Se você está em busca de um pouco mais de background sobre gerenciamento de dados, não deixe de conferir nosso post no blog sobre o tópico.
Nós podemos estruturar softwares de gerenciamento de dados em torno desses tópicos
- Software de gerenciamento de dados de fonte aberta: Existem numerosas ferramentas de gerenciamento de dados de código aberto que servem a uma variedade das funções abaixo.
- Concepção de dados:
- Concepção de arquitectura de dados e software de desenho de modelos de dados: Primeiro, as empresas precisam modelar suas estruturas de dados
- Gerenciamento de dados mestre e de referência: Estas são as bases das melhores práticas de gerenciamento de banco de dados e ajudam as organizações a gerenciar seus dados em diferentes unidades de negócios
- Gerenciamento de banco de dados: Estas estruturas modeladas de dados precisam ser criadas em bancos de dados
- Coleta e análise de documentos: Documentos e outros conteúdos não estruturados representam desafios para bases de dados especialmente tradicionais. Várias soluções de colecções de documentos facilitam a gestão de conteúdos não estruturados
- Gestão de metadados: Os metadados são valiosos, pois os campos de metadados mais simples como os tempos de actualização e criação permitem às empresas identificar problemas nos seus dados e analisar os processos de criação e actualização de dados
- Gestão da qualidade dos dados: Uma vez iniciada a federação (coleta) de dados, a qualidade dos dados precisa ser monitorada e há inúmeras soluções para medir e aumentar a qualidade dos dados
- Análise dos dados: Finalmente, numerosas soluções de complexidade diferente permitem às empresas analisar estes dados
Software de gestão de dados de código aberto
Antes de categorizarmos as ferramentas de gestão de dados com base no seu recurso, pensamos que você pode preferir soluções de código aberto pela sua transparência e falta de taxas de licenciamento. Portanto, começamos com a tabela de gerenciamento de dados de código aberto:
| Nome | Fundado | Status | Notas |
|---|---|---|---|
| Aéreo | 2012 | Privado | -Airtable é um software de base de dados baseado em nuvem -Free plan oferece tabelas de dados ilimitadas, 1.200 registros por base, 2GB de espaço de arquivo anexo por base, e até 2 semanas de histórico de revisão e instantâneo. |
| GraphDB-Ontotext | 2000 | Private | -GraphDB é uma base de dados gráfica que oferece implantação na nuvem e no local. |
| MariaDB | 2009 | Private | -MariaDB cobre características similares ao MySQL com algumas extensões adicionadas. -Fortune 500 empresas usando MariaDB: Deutsche Bank, DBS Bank, Nasdaq, Red Hat, ServiceNow, Verizon e Walgreens |
| Cubrid | 2008 | Private | -CUBRID é um SGBD de código aberto otimizado para OLTP. |
| FirebirdSQL | 2005 | Private | -CouchDB é uma base de dados de documentos online e solução de armazenamento para empresas. -A ferramenta fornece semântica ACID através de controle de múltiplas versões concorrentes. |
Arquitectura de dados e desenho de modelos de dados
Arquitectura de dados são os modelos, políticas ou regras que governam que dados são recolhidos, como são armazenados e como são utilizados. É então dividida ainda mais em arquitetura corporativa ou arquitetura de solução.
Modelação de dados define e analisa os requisitos de dados necessários para os processos de negócio dentro dos sistemas de informação. Existem três tipos diferentes de modelos de dados produzidos, que progridem do modelo conceitual para o modelo lógico de dados e finalmente chegam com o modelo físico de dados.
Todas essas categorias ajudam a organizar e mapear os dados, melhorando sua confiabilidade e também a transparência dentro de uma organização.
Algumas ferramentas úteis relacionadas a esses produtos incluem:
| Nome | Fundado | Status | Notas |
|---|---|---|---|
| Idera | 2004 | Privado | Modelagem de dados -Gestão de bases de dados para reduzir a redundância |
| Teradata | 1979 | Público | -A arquitectura de dados que pode ser construída a partir de múltiplas plataformas de dados |
| Looker | 2011 | Privado | -Análise de dados sem SQL |
| Tableau | 2003 | Público | -Análise ad hoc sem programação -Atualizações automáticas ou conexão ao vivo |
Referência e gerenciamento de dados mestre
Dados de referência é um subconjunto de dados mestre que pode ser usado para classificação em toda uma organização. Alguns dos dados de referência mais comuns incluem códigos postais, moeda, códigos e outras classificações – mas também podem ser dados ‘acordados’ dentro de uma organização. O gerenciamento deste tipo de dados é importante, pois muitas vezes serve como referência para vários sistemas.
Existem várias ferramentas disponíveis para auxiliar no gerenciamento de dados de referência, aqui estão algumas delas:
| Nome | Fundado | Status | Notas |
|---|---|---|---|
| AASG metaRDM | 1986 | Privado | -Foco no suporte de conformidade |
| Acelerador de dados de referência da colíbra | 2008 | Privado | Fácil implantação e implementação |
| Nuvem informática – Referência MDM 360 | 1993 | Público | -Utiliza INFA Cloud MDM foundation |
| Kalido by Magnitude Gestão de Dados de Referência | 2014 | Privado | -Motor de fluxo de trabalho incorporado para administração e governança |
Master Data Management (MDM) é um método abrangente para definir e gerenciar os dados essenciais de uma organização, a fim de fornecer um ponto de referência. O software para este campo suporta a identificação, ligação e sincronização de informações de clientes através de fontes de dados díspares. Esta informação é utilizada em apoio a uma série de iniciativas relacionadas com a administração e governação de dados.
Algumas ferramentas MDM e fornecedores populares incluem:
| Nome | Founded | Status | Notas |
|---|---|---|---|
| Redes de Orchestra EBX | 2000 | Private | -Inclui funcionalidade para master, meta, e dados de referência |
| Dell Boomi | 1984 | Público | -Features tais como ‘Boomi Suggest’ e ‘Boomi Assure’ para ajudar no desenvolvimento e testes |
| Stibo Systems | 1976 | Private | -Ênfase em MDM multidomínio |
| Profisee | 2007 | Privado | -Soluções construídas pela indústria |
Para aprender mais de 100 fornecedores e ferramentas de gestão de dados mestres, sinta-se livre para verificar nossa lista de fornecedores classificáveis e transparentes, onde classificamos os fornecedores com base na popularidade, maturidade do negócio e satisfação do usuário.
Gestão de bases de dados
A gestão de bases de dados tem uma variedade de objectivos que vão desde o desempenho, ao armazenamento, à segurança e muito mais. As ferramentas visam controlar os dados durante todo o seu ciclo de vida, levando a uma melhor inteligência de negócios e a uma melhor tomada de decisões.
Algumas tarefas gerais que devem ser cumpridas com o software de gerenciamento de banco de dados correto incluem:
- Ajuste de aplicativos
- Testes de tempo de resposta
- Testes de rendimento
- Gerenciamento de desempenho
É importante ter em mente a diferença entre SGBD e SGBDR. SGBD é um termo geral para diferentes tipos de tecnologias de gestão de bases de dados que têm sido desenvolvidas nos últimos 50 anos. Na década de 1970, nasceu um sistema de gestão de bases de dados relacional (SGBDD) que rapidamente se tornou a tecnologia dominante no campo. O fator mais importante no RDBMS é sua estrutura de tabela baseada em linhas que pode conectar elementos de dados relacionados, o que é conseguido através da normalização da base de dados. Desde os anos 2000, bancos de dados não-relacionais ou semSQL como o MongoDB começou a ganhar popularidade, mas os bancos de dados relacionais ainda são importantes para o armazenamento de dados estruturados.
Alguns fornecedores que trabalham dentro desta disciplina incluem:
| Nome | Fundado | Status | Notas |
|---|---|---|---|
| Oracle Enterprise Manager | 1977 | Público | Capacidades de auto-gestão incorporadas no kernel do banco de dados -Para Linux, Windows, Solaris, IBM AIX, UP-UX |
| IBM DB2 | 1983 | Público | -Para Linux, Unix, e Windows -Compatibilidade com oQL |
| MongoDB | 2007 | Público | -Obras com AWS, Azure, e Google Cloud Versões Severais: Enterprise Advanced, Stitch, Atlas, Cloud Manager |
Documento, Registo, Gestão de Conteúdos
Gestão de conteúdos empresariais, por vezes denominada gestão de documentos, é o processo de armazenamento, gestão e monitorização de documentos das actividades empresariais diárias.
Algumas funcionalidades gerais que qualquer solução deve incluir são:
- Digitalizador de documentos para fazer cópias digitais de textos em papel
- Reconhecimento óptico de caracteres (OCK) para converter documentos digitalizados
- Acesso baseado no usuário
- Montagem de documentos para criar usando um gabinete-e-estrutura de pastas
- Conversor PDF
- Armazenamento de documentos e backup
- Opções de integração
- Ferramentas de colaboração e controle de versão
>
>
>
| Nome | Fundado | Status | Notas |
|---|---|---|---|
| Alfresco | 2005 | Privado | -Gama de opções de workflow e colaboração |
| Dokmee/Office Gemini | 2006 | Privado | Uma opção de custo inferior a alguns |
| Maxxvault | 2008 | Privado | -Interface direta |
| eFileCabinet | 2001 | Privado | Uma opção forte para equipes remotas |
Gestão de metadados
Gestão de metadados é a administração de dados descrevendo outros dados. Também envolve processos para assegurar que os dados possam ser integrados e utilizados em toda a organização. É importante para manter a consistência das definições, a clareza das relações e a linhagem dos dados.
Algumas tarefas comuns associadas ao gerenciamento de metadados que devem ser cumpridas com qualquer software ou ferramenta incluída:
- Repositórios de metadados para documentação e gerenciamento e para realizar análises
- Linhagem de dados para especificar a origem dos dados e onde eles se moveram ao longo do tempo
- Glossário de negócios para comunicar e governar termos chave
- Gestão de regras para automatizar a aplicação das regras de negócio
- Análise de impacto detalhando quaisquer dependências de informação
| Nome | Fundado | Status | Notas |
|---|---|---|---|
| Gerenciador de Metadados Adaptativo | 1997 | Privado | -Mais de 20 anos de experiência com várias parcerias |
| Data Advantage Group | 1999 | Private | -Known for ease of implementation |
| Informatica Metadata Manager | 1993 | Public | Concentração na governança e análise da informação |
| Smartlogic Semaphore | 2005 | Private | -Captura metadados inconsistentes e incompletos relacionados aos ativos de informação |
Catálogos de dados automatiza o gerenciamento de metadados e os torna colaborativos. Para saber mais sobre a tecnologia de catálogo de dados, sinta-se livre para ler nosso artigo.
Gestão de Qualidade de Dados
De acordo com a IBM, a economia dos EUA perde $3,1 trilhões anualmente devido à má qualidade dos dados. Quando falamos sobre a condição e usabilidade dos dados para sua função pretendida, estamos falando sobre a qualidade dos dados. Alguns dos principais processos associados à garantia de alta qualidade dos dados incluem:
- Parsing e padronização: Quebrando campos de texto em seus componentes e formatando seus valores em layouts consistentes com base nos critérios escolhidos. Alguns layouts comuns são definidos por padrões industriais, regras de negócio definidas pelo usuário, ou bases de conhecimento de valores e padrões.
- “limpeza” geral: Atualização de valores de dados para se enquadrar em restrições de domínio, restrições de integridade ou outras regras de negócios que determinam a qualidade mínima de dados para a organização
- Perfilação: Análise de dados para capturar estatísticas (metadados) para obter uma visão da qualidade dos dados e localizar problemas de qualidade dos dados
- Monitoramento: Processo para assegurar a conformidade dos dados para definir regras de qualidade para a organização
- Enriquecimento: Aumentar o valor dos dados mantidos internamente adicionando atributos relacionados de fontes externas
Ainda ferramenta de qualidade de dados que você considerar deve incluir funcionalidade para todos os acima e muito mais. Alguns dos principais fornecedores incluem:
| Nome | Founded | Status | Notas |
|---|---|---|---|
| Talend Open Studio for Data Quality | 2005 | Público | -Código aberto com mais de 400 conectores de dados incorporados |
| Ataccma | 2007 | Privado | -Aprendizagem da máquina, preparação de dados self-service, catálogo de dados |
| BackOffice Associates (BOA) | 1996 | Privado | -A gama de relatórios pré-embalados disponíveis |
| Sistemas inovadores: Enlighten | 1968 | Private | A validação de endereço e recurso de geocodificação |
Armazenamento de dados e gerenciamento de BI
Um armazenamento de dados é a consolidação de dados de uma ampla gama de fontes que estabelece a base para o Business Intelligence (BI). Todos os dados aqui são armazenados no mesmo formato, mas algoritmos inteligentes como a indexação permitem uma análise eficaz.
Business Intelligence é o conjunto de métodos e ferramentas usadas pelas organizações para tomar dados e tomar decisões mais bem informadas com base nos mesmos. As plataformas de BI descrevem ou o que está a acontecer com o seu negócio no momento exacto ou o que aconteceu – de preferência em tempo real.
Para compreender melhor as ferramentas para cada uma delas, a tabela seguinte compara as principais diferenças:
| O que é | Fonte | Saída | Audiência | |
|---|---|---|---|---|
| Business Intelligence | Sistema para obter insights de negócios | Dados do data warehouse | Relatórios, gráficos, gráficos | Executivos, gestão |
| Armazém de dados | Armazém de dados, históricos e actuais | Dados de diferentes fontes | Dados em formato consistente para ferramentas de BI | Engenheiros de dados, analistas de dados e de negócio. |
Alguns exemplos de ferramentas para estes processos:
| Nome | Uso | Fundado | Status | Notas |
|---|---|---|---|---|
| Microsoft Power BI | BI | 2013* | Público | -Interface similar ao Excel |
| QlikView | BI | 1993 | Privado | -Inclui data mining and analytics |
| Cognos | BI | 1969 | Private | -Fontes de dados multidimensionais e relacionais |
| Tableau | BI | 2003 | Público | -Amplamente considerada como uma das melhores opções em termos de visualizações |
| Teradata Data Warehouse | DW* | 1979 | Público | -Utiliza AMPs (Processadores de Módulo de Acesso) para aumentar a velocidade de processamento de dados |
| Amazon Redshift | DW | 2012* | Público | -Ferramenta completamente gerenciada – sem necessidade de DBA |
| Oracle Data Warehouse | DW | 1977 | Público | -Inclui alguma funcionalidade do BI |
*DW = Data Warehousing
*Ano de fundação do produto, e não a fundação da empresa
Armazéns de dados muitas vezes existem em conjunto com uma solução ETL (Extract, Transform, Load) que tira dados de muitas fontes diferentes e os ‘transforma’ em um formato único e utilizável para o armazém de dados. Para saber mais, veja nosso blog sobre ETL e ferramentas ETL posts.
Análise de dados
Análise de dados é o resultado de todo esse processamento de dados. A análise de dados é o processo de inspeção, limpeza, transformação e modelagem de dados, a fim de encontrar informações úteis. A análise de dados também inclui mineração de dados, aplicações estatísticas (estatística descritiva, análise exploratória de dados) e uma ampla gama de técnicas para analisar dados estatísticos, tais como testes de hipóteses ou análise de regressão.
Interessado em aprender mais sobre as tecnologias e fornecedores que estão mudando a forma como as organizações conseguem fazer as coisas? Confira nosso blog para posts sobre uma ampla gama de tópicos relacionados à IA/tecnologia.