Mientras los medios de comunicación debaten si los datos son el nuevo petróleo o no, una cosa está clara: como el petróleo, los datos necesitan mucho procesamiento. Desde Facebook hasta las startups en crecimiento, cualquier organización de éxito que maneje un volumen de datos cada vez mayor, debe ser capaz de organizar, acceder, asegurar y procesar los datos para convertirlos en ideas y decisiones.
Hay muchas herramientas y proveedores a tener en cuenta, sobre todo en función de las necesidades del negocio y de la tarea a realizar. Sin embargo, independientemente de la tarea, el objetivo es encontrar, en última instancia, un producto de gestión de datos que haga que los datos sean lo más útiles posible al tiempo que minimiza el coste, el riesgo y el consumo de recursos.
Esta es una lista de software de gestión de datos, sin embargo, no es exhaustiva. Hemos preparado una lista exhaustiva, que se actualiza regularmente y que se puede filtrar, de los principales proveedores de software de gestión de datos, no dude en consultarla.
- Software de gestión de datos
- Software de gestión de datos de código abierto
- Arquitectura de datos y diseño de modelos de datos
- Gestión de datos de referencia y maestros
- Gestión de bases de datos
- Gestión de documentos, registros, contenidos
- Gestión de metadatos
- Gestión de la calidad de los datos
- Almacenamiento de datos y gestión de BI
- Análisis de datos
Software de gestión de datos
La gestión de datos es una disciplina amplia, con muchos enfoques diferentes y herramientas para gestionar estos enfoques. El software de gestión de datos (DMS) fusiona los registros de varias bases de datos, extrae, filtra y resume los datos sin pérdida de integridad e interferencia.
Algunos proveedores y softwares contienen múltiples funcionalidades y pueden eliminar la necesidad de una herramienta dedicada. Si busca un poco más de información sobre la gestión de datos, no deje de consultar nuestra entrada del blog sobre el tema.
Podemos estructurar el software de gestión de datos en torno a estos temas
- Software de gestión de datos de código abierto: Hay numerosas herramientas de gestión de datos de código abierto que sirven para una variedad de las funciones siguientes.
- Diseño de datos:
- Software de arquitectura de datos y diseño de modelos de datos: En primer lugar, las empresas necesitan modelar sus estructuras de datos
- Gestión de datos maestros y de referencia: Son los fundamentos de las mejores prácticas de gestión de bases de datos y ayudan a las organizaciones a gestionar sus datos en las diferentes unidades de negocio
- Gestión de bases de datos: Estas estructuras de datos modeladas deben crearse en bases de datos
- Recopilación y análisis de documentos: Los documentos y otros contenidos no estructurados suponen un reto para las bases de datos especialmente tradicionales. Diversas soluciones de recopilación de documentos facilitan la gestión de contenidos no estructurados
- Gestión de metadatos: Los metadatos son valiosos, ya que los campos de metadatos más sencillos, como las horas de actualización y creación, permiten a las empresas identificar problemas en sus datos y analizar los procesos de creación y actualización de datos
- Gestión de la calidad de los datos: Una vez que comienza la federación de datos (recopilación), es necesario supervisar la calidad de los datos y existen numerosas soluciones para medir y aumentar la calidad de los datos
- Análisis de datos: Por último, numerosas soluciones de diferente complejidad permiten a las empresas analizar estos datos
Software de gestión de datos de código abierto
Antes de clasificar las herramientas de gestión de datos en función de sus características, pensamos que quizá prefieras las soluciones de código abierto por su transparencia y la ausencia de costes de licencia. Por lo tanto, comenzamos con la tabla de gestión de datos de código abierto:
| Nombre | Fundada | Estado | Notas |
|---|---|---|---|
| Airtable | 2012 | Privada | -Airtable es un software de base de datos basado en la nube El plan gratuito ofrece tablas de datos ilimitadas, 1.200 registros por base, 2GB de espacio para adjuntar archivos por base y hasta 2 semanas de historial de revisiones e instantáneas. |
| GraphDB-Ontotext | 2000 | Private | -GraphDB es una base de datos gráfica que ofrece implementación en la nube y en las instalaciones. |
| MariaDB | 2009 | Privada | -MariaDB cubre características similares a MySQL con algunas extensiones añadidas. -Empresas de la lista Fortune 500 que utilizan MariaDB: Deutsche Bank, DBS Bank, Nasdaq, Red Hat, ServiceNow, Verizon y Walgreens |
| Cubrid | 2008 | Privado | -CUBRID es un DBMS de código abierto optimizado para OLTP. |
| FirebirdSQL | 2005 | Privado | -CouchDB es una base de datos de documentos en línea y una solución de almacenamiento para empresas. -La herramienta proporciona semántica ACID a través del control de concurrencia multiversión. |
Arquitectura de datos y diseño de modelos de datos
La arquitectura de datos son los modelos, políticas o reglas que rigen qué datos se recogen, cómo se almacenan y cómo se utilizan. Luego se divide en arquitectura empresarial o arquitectura de soluciones.
El modelado de datos define y analiza los requisitos de datos necesarios para los procesos de negocio dentro de los sistemas de información. Se producen tres tipos diferentes de modelos de datos, que progresan desde el modelo conceptual, al modelo lógico de datos, y finalmente llegan al modelo físico de datos.
Todas estas categorías ayudan a organizar y mapear los datos, mejorando su fiabilidad y también la transparencia dentro de una organización.
Algunas herramientas útiles relacionadas con estos productos incluyen:
| Nombre | Fundada | Estado | Notas |
|---|---|---|---|
| Idera | 2004 | Privada | Modelado de datos -.Gestión de bases de datos para reducir la redundancia |
| Teradata | 1979 | Pública | -Arquitectura de Big Data que puede construirse a partir de múltiples plataformas de datos |
| Looker | 2011 | Privada | -Análisis de datos sin SQL |
| Tableau | 2003 | Público | -Análisis rápido ad hoc sin programación -Actualizaciones automáticas o conexión en directo |
Gestión de datos de referencia y maestros
Los datos de referencia son un subconjunto de datos maestros que pueden utilizarse para la clasificación en toda una organización. Algunos de los datos de referencia más comunes son los códigos postales, la moneda, los códigos y otras clasificaciones, pero también pueden ser datos «acordados» dentro de una organización. La gestión de este tipo de datos es importante, ya que a menudo sirve como referencia para una serie de sistemas.
Hay una serie de herramientas disponibles para ayudar a la gestión de datos de referencia, aquí hay algunos:
| Nombre | Fundación | Estado | Notas |
|---|---|---|---|
| ASG metaRDM | 1986 | Privado | -Centrado en el apoyo al cumplimiento |
| Acelerador de datos de referencia de Collibra | 2008 | Privado | -Fácil despliegue e implementación |
| Informatica Cloud – MDM Reference 360 | 1993 | Público | -Utiliza la base de INFA Cloud MDM |
| Kalido by Magnitude Reference Data Management | 2014 | Privado | -Motor de flujo de trabajo integrado para la administración y el gobierno |
La gestión de datos maestros (MDM) es un método integral para definir y gestionar los datos esenciales de una organización con el fin de proporcionar un punto de referencia. El software para este campo apoya la identificación, vinculación y sincronización de la información del cliente a través de fuentes de datos dispares. Esta información se utiliza en apoyo de una serie de iniciativas relacionadas con la administración y el gobierno de los datos.
Algunas herramientas y proveedores populares de MDM incluyen:
| Nombre | Fundado | Estado | Notas |
|---|---|---|---|
| Orchestra Networks EBX | 2000 | Privado | Incluye funcionalidad para datos maestros, meta, y de referencia |
| Dell Boomi | 1984 | Público | -Características como ‘Boomi Suggest’ y ‘Boomi Assure’ para ayudar al desarrollo y a las pruebas |
| Stibo Systems | 1976 | Privado | -Énfasis en MDM multidominio |
| Profisee | 2007 | Privado | -Soluciones construidas por la industria |
Para conocer más de 100 proveedores y herramientas de gestión de datos maestros, no dude en consultar nuestra lista de proveedores clasificable y transparente en la que hemos clasificado a los proveedores en función de la popularidad, la madurez del negocio y la satisfacción de los usuarios.
Gestión de bases de datos
La gestión de bases de datos tiene una variedad de objetivos que van desde el rendimiento, al almacenamiento, a la seguridad y más. Las herramientas tienen como objetivo controlar los datos a lo largo de todo su ciclo de vida, lo que conduce a una mejor inteligencia empresarial y a una mejor toma de decisiones.
Algunas de las tareas generales que deberían cumplirse con el software de gestión de bases de datos adecuado incluyen:
- Ajuste de aplicaciones
- Pruebas de tiempo de respuesta
- Pruebas de rendimiento
- Gestión del rendimiento
Es importante tener en cuenta la diferencia entre DBMS y RDBMS. DBMS es un término general para diferentes tipos de tecnologías de gestión de bases de datos que se han desarrollado en los últimos 50 años. En la década de 1970, nació el sistema de gestión de bases de datos relacionales (RDBMS) y rápidamente se convirtió en la tecnología dominante en este campo. El factor más importante del RDBMS es su estructura de tabla basada en filas que puede conectar elementos de datos relacionados, lo que se consigue mediante la normalización de la base de datos. Desde la década de 2000, las bases de datos no relacionales o sin SQL, como MongoDB, empezaron a ganar popularidad, pero las bases de datos relacionales siguen siendo importantes para almacenar datos estructurados.
Algunos proveedores que trabajan en esta disciplina son:
| Nombre | Fundado | Estado | Notas |
|---|---|---|---|
| Oracle Enterprise Manager | 1977 | Público | Capacidades de autogestión integradas en el núcleo de la base de datos -Para Linux, Windows, Solaris, IBM AIX, UP-UX |
| IBM DB2 | 1983 | Público | -Para Linux, Unix, y Windows -Compatibilidad con SQL |
| MongoDB | 2007 | Público | Funciona con AWS, Azure y Google Cloud -Varias versiones: Enterprise Advanced, Stitch, Atlas, Cloud Manager |
Gestión de documentos, registros, contenidos
La gestión de contenidos empresariales, a veces llamada gestión de documentos, es el proceso de almacenamiento, gestión y seguimiento de los documentos de las actividades empresariales diarias.
Algunas funcionalidades generales que debe incluir cualquier solución son:
- Escáner de documentos para realizar copias digitales de textos en papel
- Reconocimiento óptico de caracteres (OCK) para convertir los documentos escaneados
- Acceso basado en el usuario
- Asamblea de documentos para crear utilizando un gabinete-y-estructura de carpetas
- Conversor de PDF
- Almacenamiento de documentos y copias de seguridad
- Opciones de integración
- Herramientas de colaboración y control de versiones
| Nombre | Fundada | Estado | Notas |
|---|---|---|---|
| Alfresco | 2005 | Privado | -Gama de opciones de flujo de trabajo y colaboración |
| Dokmee/Office Gemini | 2006 | Privado | Una opción de menor coste que algunas |
| Maxxvault | 2008 | Privado | -Interfaz sencilla |
| eFileCabinet | 2001 | Private | -Una opción sólida para equipos remotos |
Gestión de metadatos
La gestión de metadatos es la administración de datos que describen otros datos. También implica procesos para asegurar que los datos puedan ser integrados y utilizados en toda la organización. Es importante para mantener la coherencia de las definiciones, la claridad de las relaciones y el linaje de los datos.
Algunas tareas comunes asociadas a la gestión de metadatos que deberían cumplirse con cualquier software o herramienta incluyen:
- Repositorios de metadatos para la documentación y la gestión y para realizar análisis
- Lineamiento de datos para especificar el origen de los datos y hacia dónde se han movido a lo largo del tiempo
- Glosario empresarial para comunicar y gobernar los términos clave
- Gestión de reglas para automatizar la aplicación de las reglas de negocio
- Análisis de impacto que detalla cualquier dependencia de la información
| Nombre | Fundación | Estado | Notas |
|---|---|---|---|
| Adaptive Metadata Manager | 1997 | Privado | -Más de 20 años de experiencia con una serie de asociaciones |
| Data Advantage Group | 1999 | Privado | -Conocido por la facilidad de implementación |
| Informatica Metadata Manager | 1993 | Público | -Concentración en el gobierno de la información y la analítica |
| Smartlogic Semaphore | 2005 | Privado | -Captura los metadatos inconsistentes e incompletos relacionados con los activos de información |
Los catálogos de datos automatizan la gestión de metadatos y la hacen colaborativa. Para saber más sobre la tecnología de los catálogos de datos, no dude en leer nuestro artículo.
Gestión de la calidad de los datos
Según IBM, la economía estadounidense pierde 3,1 billones de dólares al año debido a la mala calidad de los datos. Cuando hablamos del estado y la utilidad de los datos para su función prevista, estamos hablando de la calidad de los datos. Algunos de los principales procesos asociados a la garantía de la calidad de los datos son:
- Análisis sintáctico y estandarización: Descomponer los campos de texto en sus componentes y formatear sus valores en diseños consistentes basados en los criterios elegidos. Algunos diseños comunes están definidos por estándares de la industria, reglas de negocio definidas por el usuario o bases de conocimiento de valores y patrones.
- «Limpieza» general: Actualización de los valores de los datos para que se ajusten a las restricciones de dominio, a las restricciones de integridad o a otras reglas de negocio que determinan la calidad mínima de los datos para la organización
- Perfilado: Análisis de datos para capturar estadísticas (metadatos) con el fin de obtener información sobre la calidad de los datos y localizar problemas de calidad de datos
- Supervisión: Proceso para garantizar la conformidad de los datos con las normas de calidad establecidas para la organización.
- Enriquecimiento: Aumentar el valor de los datos internos añadiendo atributos relacionados de fuentes externas
Cualquier herramienta de calidad de datos que considere debe incluir funcionalidades para todo lo anterior y más. Algunos de los principales proveedores son:
| Nombre | Fundado | Estado | Notas |
|---|---|---|---|
| Talend Open Studio for Data Quality | 2005 | Público | -.Código abierto con más de 400 conectores de datos incorporados |
| Ataccma | 2007 | Privado | Aprendizaje automático, preparación de datos de autoservicio, catálogo de datos |
| BackOffice Associates (BOA) | 1996 | Privado | -Gama de informes preempaquetados disponibles |
| Sistemas innovadores: Enlighten | 1968 | Privado | -Función de validación de direcciones y geocodificación |
Almacenamiento de datos y gestión de BI
Un almacén de datos es la consolidación de datos de una amplia gama de fuentes que establece la base para la Inteligencia de Negocios (BI). Aquí todos los datos se almacenan en el mismo formato, pero los algoritmos inteligentes, como la indexación, permiten un análisis eficaz.
Business Intelligence es el conjunto de métodos y herramientas que utilizan las organizaciones para tomar datos y tomar decisiones mejor informadas basadas en ellos. Las plataformas de BI describen lo que está sucediendo con su negocio en el momento exacto o lo que ha sucedido, preferiblemente en tiempo real.
Para entender mejor las herramientas de cada una de ellas, la siguiente tabla compara las principales diferencias:
| Qué es | Fuente | Salida | Audiencia | |
|---|---|---|---|---|
| Inteligencia empresarial | Sistema para obtener información empresarial | Datos del almacén de datos | Informes, cuadros, gráficos | Ejecutivos, dirección |
| Data Warehouse | Almacenamiento de datos, históricos y actuales | Datos de diferentes fuentes | Datos en formato consistente para herramientas de BI | Ingenieros de datos, analistas de datos y de negocio. |
Algunos ejemplos de herramientas para estos procesos:
| Nombre | Uso | Fundación | Estado | Notas |
|---|---|---|---|---|
| Microsoft Power BI | BI | 2013* | Público | -Interfaz similar a la de Excel |
| QlikView | BI | 1993 | Privado | -Incluye minería y análisis de datos |
| Cognos | BI | 1969 | Privado | -Fuentes de datos multidimensionales y relacionales |
| Tableau | BI | 2003 | Público | -Ampliamente considerada como una de las mejores opciones en cuanto a visualizaciones |
| Teradata Data Warehouse | DW* | 1979 | Public | -Utiliza AMPs (Access Module Processors) para aumentar la velocidad de procesamiento de datos |
| Amazon Redshift | DW | 2012* | Public | -Herramienta completamente gestionada – sin necesidad de DBA |
| Oracle Data Warehouse | DW | 1977 | Público | -Incluye alguna funcionalidad de BI |
*DW = data warehousing
*Año de fundación del producto, no fundación de la empresa
Los almacenes de datos a menudo existen en estrecha relación con una solución ETL (Extract, Transform, Load) que toma datos de muchas fuentes diferentes y los «transforma» en un formato único y utilizable para el almacén de datos. Para saber más, consulte nuestras entradas del blog sobre ETL y herramientas ETL.
Análisis de datos
El análisis de datos es el resultado de todo este procesamiento de datos. El análisis de datos es el proceso de inspección, limpieza, transformación y modelado de datos para encontrar información útil. El análisis de datos también incluye la minería de datos, las aplicaciones estadísticas (estadística descriptiva, análisis exploratorio de datos) y una amplia gama de técnicas para el análisis de datos estadísticos, como las pruebas de hipótesis o el análisis de regresión.
¿Interesado en aprender más sobre las tecnologías y los proveedores que están cambiando la forma en que las organizaciones hacen las cosas? Visite nuestro blog para ver las publicaciones sobre una amplia gama de temas relacionados con la IA y la tecnología.