Terwijl de media debatteren over de vraag of data de nieuwe olie is of niet, is één ding duidelijk: net als olie, hebben data veel verwerking nodig. Van Facebook tot groeiende startups, elke succesvolle organisatie die een groeiende hoeveelheid gegevens verwerkt, moet in staat zijn om gegevens te organiseren, te openen, te beveiligen en te verwerken om ze om te zetten in inzichten en beslissingen.
Er zijn veel tools en leveranciers om te overwegen, met name in termen van de behoeften van het bedrijf en de taak bij de hand. Echter, ongeacht de taak, het doel is om uiteindelijk een data management product te vinden om gegevens zo nuttig mogelijk te maken en tegelijkertijd de kosten, risico’s en het verbruik van middelen te minimaliseren.
Dit is een lijst van data management software, echter, het is niet allesomvattend. We bereidde een regelmatig bijgewerkte, uitgebreide sorteerbare / filterbare lijst van toonaangevende leveranciers in data management software, voel je vrij om het te controleren.
Data Management Software
Datamanagement is een brede discipline, met veel verschillende richtingen en tools om deze richtingen te beheren. Data Management Software (DMS) voegt records uit verschillende databases samen, extraheert, filtert, vat de gegevens samen zonder verlies van integriteit en interferentie.
Sommige verkopers en softwares bevatten meerdere functionaliteiten en kunnen de behoefte aan een specifieke tool elimineren. Als u op zoek bent naar wat meer achtergrond over datamanagement, moet u zeker onze blogpost over het onderwerp bekijken.
Wij kunnen datamanagementsoftware rond deze onderwerpen structureren
- Open source datamanagementsoftware: Er zijn tal van open source data management tools die een verscheidenheid van de onderstaande functies dienen.
- Gegevensontwerp:
- Gegevensarchitectuur en software voor het ontwerpen van gegevensmodellen: Ten eerste moeten bedrijven hun gegevensstructuren modelleren
- Master- en referentiegegevensbeheer: Dit zijn de fundamenten van best practice database management en helpen organisaties hun gegevens over verschillende bedrijfseenheden te beheren
- Database management: Deze gemodelleerde gegevensstructuren moeten in databases worden gecreëerd
- Documentverzameling en -analyse: Documenten en andere ongestructureerde inhoud vormen een uitdaging voor met name traditionele databases. Diverse oplossingen voor het verzamelen van documenten vergemakkelijken het beheer van ongestructureerde inhoud
- Metadata-beheer: Metadata zijn waardevol omdat de eenvoudigste metadatavelden, zoals update- en aanmaaktijden, bedrijven in staat stellen problemen in hun gegevens te identificeren en de processen voor het aanmaken en bijwerken van gegevens te analyseren
- Beheer van gegevenskwaliteit: Zodra de gegevensfederatie (verzameling) begint, moet de gegevenskwaliteit worden bewaakt en er zijn talrijke oplossingen om de gegevenskwaliteit te meten en te verbeteren
- Gegevensanalyse: Tenslotte zijn er talrijke oplossingen van verschillende complexiteit waarmee bedrijven deze gegevens kunnen analyseren
Open source data management software
Voordat we data management tools categoriseren op basis van hun functie, dachten we dat u misschien de voorkeur zou geven aan open source oplossingen vanwege hun transparantie en het ontbreken van licentiekosten. Daarom beginnen we met open source data management tabel:
| Naam | Opgezet | Status | Noten |
|---|---|---|---|
| Airtable | 2012 | Private | -Airtable is een cloud-gebaseerde database software Gratis plan biedt onbeperkte data tabellen, 1.200 records per basis, 2GB bestandsopslagruimte per basis, en tot 2 weken revisie- en snapshotgeschiedenis. |
| GraphDB-Ontotext | 2000 | Private | -GraphDB is een grafische database die cloud- en on-premise implementatie biedt. |
| MariaDB | 2009 | Private | -MariaDB bestrijkt soortgelijke functies als MySQL met enkele toegevoegde uitbreidingen. -Fortune 500-bedrijven die MariaDB gebruiken: Deutsche Bank, DBS Bank, Nasdaq, Red Hat, ServiceNow, Verizon en Walgreens |
| Cubrid | 2008 | Private | -CUBRID is een open source DBMS dat voor OLTP is geoptimaliseerd. |
| FirebirdSQL | 2005 | Private | -CouchDB is een online document database en opslag oplossing voor bedrijven. -Het gereedschap biedt ACID semantiek door middel van multi-versie concurrency controle. |
Data Architectuur en Data Model Ontwerp
Data architectuur is de modellen, het beleid, of de regels die bepalen welke gegevens worden verzameld, hoe het wordt opgeslagen, en hoe het wordt gebruikt. Het is dan verder opgesplitst in enterprise architectuur of oplossing architectuur.
Datamodellering definieert en analyseert gegevensvereisten die nodig zijn voor bedrijfsprocessen binnen informatiesystemen. Er worden drie verschillende soorten datamodellen gemaakt, die van het conceptuele model, naar het logische datamodel gaan, en uiteindelijk uitkomen bij het fysieke datamodel.
Al deze categorieën helpen bij het organiseren en in kaart brengen van gegevens, waardoor de betrouwbaarheid en ook de transparantie binnen een organisatie wordt verbeterd.
Enkele nuttige hulpmiddelen met betrekking tot deze producten zijn onder meer:
| Naam | Gesticht | Status | Notes |
|---|---|---|---|
| Idera | 2004 | Private | -Data modeling -.Databasemanagement om redundantie te verminderen |
| Teradata | 1979 | Publiek | -Big Data-architectuur die kan worden opgebouwd uit meerdere dataplatforms |
| Looker | 2011 | Privé | -Gegevensanalyse zonder SQL |
| Tableau | 2003 | Publiek | -Rapid ad hoc analyse zonder programmering -Automatische updates of live verbinding |
Reference and Master Data Management
Reference data is een subset van master data die kunnen worden gebruikt voor classificatie binnen een organisatie. Enkele van de meest voorkomende referentiegegevens zijn postcodes, valuta, codes, en andere classificaties – maar het kunnen ook ‘overeengekomen’ gegevens binnen een organisatie zijn. Het beheer van dit soort gegevens is belangrijk, omdat ze vaak als referentie dienen voor een aantal systemen.
Er zijn een aantal hulpmiddelen beschikbaar om te helpen bij het beheer van referentiegegevens, hier zijn er een paar:
| Name | Founded | Status | Notes |
|---|---|---|---|
| ASG metaRDM | 1986 | Private | -.Focus op compliance-ondersteuning |
| Collibra Reference Data Accelerator | 2008 | Private | -Eenvoudige inzet en implementatie |
| Informatica Cloud -. MDM Reference 360 | 1993 | Public | -Gebruikt INFA Cloud MDM foundation |
| Kalido by Magnitude Reference Data Management | 2014 | Private | -.Embedded workflow engine voor stewardship en governance |
Master Data Management (MDM) is een uitgebreide methode voor het definiëren en beheren van de essentiële gegevens van een organisatie, om zo een referentiepunt te bieden. Software voor dit gebied ondersteunt de identificatie, koppeling, en synchronisatie van klantinformatie over ongelijksoortige gegevensbronnen. Deze informatie wordt gebruikt ter ondersteuning van een aantal initiatieven met betrekking tot data stewardship en governance.
Enkele populaire MDM-tools en -leveranciers zijn onder meer:
| Name | Founded | Status | Notes |
|---|---|---|---|
| Orchestra Networks EBX | 2000 | Private | -Inclusief functionaliteit voor master-, meta-, en referentiedata |
| Dell Boomi | 1984 | Public | -Features zoals ‘Boomi Suggest’ en ‘Boomi Assure’ om te helpen bij ontwikkeling en testen |
| Stibo Systems | 1976 | Private | -.Nadruk op multidomein MDM |
| Profisee | 2007 | Private | -Solutions built by industry |
Om meer dan 100 master data management vendors en tools te leren kennen, kunt u onze sorteerbare en transparante verkoperslijst raadplegen, waarin we verkopers hebben gesorteerd op basis van populariteit, volwassenheid van de business en gebruikerstevredenheid.
Database Management
Database management heeft een verscheidenheid aan doelstellingen, variërend van prestaties, tot opslag, tot veiligheid en nog veel meer. Tools zijn gericht op het beheersen van gegevens gedurende de gehele levenscyclus, wat leidt tot betere business intelligence en betere besluitvorming.
Enkele algemene taken die met de juiste database management software moeten worden vervuld zijn:
- Application tuning
- Response time testing
- Throughput testing
- Performance management
Het is belangrijk om het verschil tussen DBMS en RDBMS in het achterhoofd te houden. DBMS is een algemene term voor verschillende soorten databasebeheerstechnologieën die in de laatste 50 jaar zijn ontwikkeld. In de jaren 1970 zag een relationeel database management systeem (RDBMS) het licht en werd al snel de dominante technologie op dit gebied. De belangrijkste factor in RDBMS is de op rijen gebaseerde tabelstructuur die verwante gegevenselementen met elkaar kan verbinden, hetgeen wordt bereikt via normalisatie van de databank. Sinds de jaren 2000 beginnen niet-relationele of no-SQL databases zoals MongoDB aan populariteit te winnen, maar relationele databases zijn nog steeds belangrijk voor het opslaan van gestructureerde gegevens.
Enkele leveranciers die binnen deze discipline werken zijn onder meer:
| Naam | Gesticht | Status | Noten |
|---|---|---|---|
| Oracle Enterprise Manager | 1977 | Publiek | Zelf-beheermogelijkheden ingebouwd in database kernel -Voor Linux, Windows, Solaris, IBM AIX, UP-UX |
| IBM DB2 | 1983 | Public | -Voor Linux, Unix, en Windows -SQL-compatibiliteit |
| MongoDB | 2007 | Publiek | -Werkt met AWS, Azure, en Google Cloud -Verschillende versies: Enterprise Advanced, Stitch, Atlas, Cloud Manager |
Document, Record, Content Management
Enterprise content management, soms document management genoemd, is het proces van opslaan, beheren en bewaken van documenten uit de dagelijkse bedrijfsactiviteiten.
Enkele algemene functionaliteiten die elke oplossing zou moeten omvatten zijn:
- Documentscanner voor het maken van digitale kopieën van papieren teksten
- Optische tekenherkenning (OCK) voor het converteren van gescande documenten
- Toegang op basis van gebruikers
- Documentassemblage voor het maken met behulp van een kast-en-mappenstructuur
- PDF-converter
- Documentopslag en -back-up
- Integratieopties
- Samenwerkingstools en versiebeheer
| Naam | Gesticht | Status | Noten |
|---|---|---|---|
| Alfresco | 2005 | Private | -Reeks opties voor workflow en samenwerking |
| Dokmee/Office Gemini | 2006 | Private | -Een goedkopere optie dan sommige |
| Maxxvault | 2008 | Private | -Eenvoudige interface |
| eFileCabinet | 2001 | Private | -Een sterke optie voor teams op afstand |
Metadatabeheer
Metadatabeheer is het beheer van gegevens die andere gegevens beschrijven. Het omvat ook processen om ervoor te zorgen dat gegevens kunnen worden geïntegreerd en gebruikt in de hele organisatie. Het is belangrijk voor het handhaven van de consistentie van definities, duidelijkheid van relaties, en gegevens lineage.
Enkele veel voorkomende taken in verband met metadatabeheer die met elke software of tool moeten worden vervuld, zijn onder meer:
- Metadata repositories voor documentatie en beheer en om analyses uit te voeren
- Gegevens lineage om de oorsprong van de gegevens te specificeren en waar ze in de loop der tijd naartoe zijn verplaatst
- Business glossary om sleuteltermen te communiceren en te beheren
- Rules management om de handhaving te automatiseren van bedrijfsregels
- Impactanalyse waarin alle informatieafhankelijkheden in detail worden weergegeven
| Naam | Oprichting | Status | Noten |
|---|---|---|---|
| Adaptive Metadata Manager | 1997 | Private | -Meer dan 20 jaar ervaring met een aantal samenwerkingsverbanden |
| Data Advantage Group | 1999 | Private | -Bekend om het gemak van implementatie |
| Informatica Metadata Manager | 1993 | Public | -Concentratie op informatiegovernance en analyse |
| Smartlogic Semaphore | 2005 | Private | -Vangt inconsistente en onvolledige metadata op met betrekking tot informatieassets |
Datacatalogi automatiseren het beheer van metadata en maken het collaboratief. Om meer te leren over data catalogus technologie, voel je vrij om ons artikel te lezen.
Data Quality Management
Volgens IBM verliest de Amerikaanse economie jaarlijks 3,1 biljoen dollar als gevolg van slechte datakwaliteit. Wanneer we het hebben over de conditie en bruikbaarheid van de gegevens voor de beoogde functie, hebben we het over datakwaliteit. Enkele belangrijke processen die samenhangen met het waarborgen van een hoge gegevenskwaliteit zijn:
- Parsing en standaardisatie: Het opdelen van tekstvelden in hun componenten en het formatteren van hun waarden in consistente lay-outs op basis van de gekozen criteria. Sommige gemeenschappelijke lay-outs worden gedefinieerd door de industrie normen, door de gebruiker gedefinieerde business rules, of kennis bases van waarden en patronen.
- Algemene “opschoning”: Het bijwerken van gegevenswaarden om te vallen binnen domeinbeperkingen, integriteitsbeperkingen of andere bedrijfsregels die de minimale gegevenskwaliteit voor de organisatie bepalen
- Profiling: Gegevensanalyse om statistieken (metadata) vast te leggen om inzicht te krijgen in de kwaliteit van de gegevens en problemen met de gegevenskwaliteit te lokaliseren
- Monitoring: Proces om de conformiteit van de gegevens met de vastgestelde kwaliteitsregels voor de organisatie te waarborgen.
- Verrijking: De waarde van intern bewaarde gegevens verhogen door gerelateerde attributen uit externe bronnen toe te voegen
Elk datakwaliteitshulpmiddel dat u overweegt, moet functionaliteit voor al het bovenstaande en meer bevatten. Enkele belangrijke leveranciers zijn:
| Name | Founded | Status | Notes |
|---|---|---|---|
| Talend Open Studio for Data Quality | 2005 | Public | -.Open source met meer dan 400 ingebouwde data connectors |
| Ataccma | 2007 | Private | -Machine learning, self-service datavoorbereiding, datacatalogus |
| BackOffice Associates (BOA) | 1996 | Privé | -Reeks van voorverpakte rapporten beschikbaar |
| Innovative Systems: Enlighten | 1968 | Private | -Adresvalidatie en geocoderingsfunctie |
Data Warehousing en BI Management
Een data warehouse is de consolidatie van gegevens uit een groot aantal bronnen die de basis legt voor Business Intelligence (BI). Alle gegevens worden hier in hetzelfde formaat opgeslagen, maar intelligente algoritmen, zoals indexering, maken effectieve analyse mogelijk.
Business Intelligence is het geheel van methoden en hulpmiddelen dat door organisaties wordt gebruikt om gegevens te verwerken en op basis daarvan beter geïnformeerde beslissingen te nemen. BI-platforms beschrijven ofwel wat er op het exacte moment met uw bedrijf gebeurt, ofwel wat er is gebeurd – bij voorkeur in realtime.
Om de tools voor elk van deze beter te begrijpen, vergelijkt de volgende tabel de belangrijkste verschillen:
| Wat het is | Bron | Output | Audience | |
|---|---|---|---|---|
| Business Intelligence | Systeem om bedrijfsinzichten af te leiden | Gegevens uit datawarehouse | Rapporten, grafieken, diagrammen | Leidinggevenden, management |
| Data Warehouse | Gegevensopslag, historische en actuele | Gegevens uit verschillende bronnen | Gegevens in consistent formaat voor BI-tools | Data engineers, data- en businessanalisten. |
Enige voorbeelden van tools voor deze processen:
| Naam | Gebruik | Gesticht | Status | Noten |
|---|---|---|---|---|
| Microsoft Power BI | BI | 2013* | Public | -Vergelijkbare interface als Excel |
| QlikView | BI | 1993 | Private | -Inclusief data mining en analytics |
| Cognos | BI | 1969 | Private | -Multidimensionale en relationele gegevensbronnen |
| Tableau | BI | 2003 | Publiek | -Wordt algemeen beschouwd als een van de beste opties op het gebied van visualisaties |
| Teradata Data Warehouse | DW* | 1979 | Public | -Maakt gebruik van AMP’s (Access Module Processors) om de gegevens sneller te verwerken |
| Amazon Redshift | DW | 2012* | Public | -Volledig beheerde tool – geen DBA nodig |
| Oracle Data Warehouse | DW | 1977 | Public | -Inclusief enige BI-functionaliteit |
*DW = data warehousing
*Jaar van oprichting van product, niet oprichting bedrijf
Data warehouses bestaan vaak in nauwe samenhang met een ETL (Extract, Transform, Load) oplossing die gegevens uit vele verschillende bronnen haalt en deze ’transformeert’ in een enkel, bruikbaar formaat voor het data warehouse. Zie voor meer informatie onze blogposts over ETL en ETL-tools.
Gegevensanalyse
Gegevensanalyse is het resultaat van al deze verwerking van gegevens. Gegevensanalyse is het proces van inspecteren, opschonen, transformeren en modelleren van gegevens om nuttige informatie te vinden. Gegevensanalyse omvat ook datamining, statistische toepassingen (beschrijvende statistieken, verkennende gegevensanalyse), en een breed scala aan technieken voor het analyseren van statistische gegevens, zoals het testen van hypothesen of regressieanalyse.
Interesseerd in het leren over meer de technologieën en leveranciers die de manier veranderen waarop organisaties dingen gedaan krijgen? Bekijk onze blog voor berichten over een breed scala van AI / tech-gerelateerde onderwerpen.