Med tanke på att media diskuterar om data är den nya oljan eller inte är en sak klar: Precis som olja behöver data mycket bearbetning. Från Facebook till växande startups, alla framgångsrika organisationer som hanterar en växande datamängd måste kunna organisera, få tillgång till, säkra och bearbeta data för att omvandla dem till insikter och beslut.
Det finns många verktyg och leverantörer att ta hänsyn till, särskilt när det gäller verksamhetens behov och den aktuella uppgiften. Men oavsett uppgift är målet att i slutändan hitta en datahanteringsprodukt för att göra data så användbara som möjligt och samtidigt minimera kostnader, risker och resursförbrukning.
Detta är en lista över programvara för datahantering, men den är inte heltäckande. Vi har förberett en regelbundet uppdaterad, omfattande sorteringsbar/filtrerbar lista över ledande leverantörer av programvara för datahantering, kolla gärna in den.
Programvara för datahantering
Datahantering är en bred disciplin, med många olika fokus och verktyg för att hantera dessa fokus. Data Management Software (DMS) slår samman poster från flera databaser, extraherar, filtrerar, sammanfattar data utan förlust av integritet och störningar.
Vissa leverantörer och programvaror innehåller flera funktioner och kan eliminera behovet av ett särskilt verktyg. Om du är på jakt efter lite mer bakgrund om datahantering, se till att kolla in vårt blogginlägg om ämnet.
Vi kan strukturera datahanteringsmjukvara kring dessa ämnen
- Mjukvara för datahantering med öppen källkod: Det finns ett stort antal datahanteringsverktyg med öppen källkod som tjänar en mängd av nedanstående funktioner.
- Datadesign:
- Programvara för utformning av dataarkitektur och datamodeller: Först måste företagen modellera sina datastrukturer
- Hantering av master- och referensdata: Dessa är grunden för bästa praxis för databashantering och hjälper organisationer att hantera sina data mellan olika affärsenheter
- Databashantering: Dessa modellerade datastrukturer måste skapas i databaser
- Insamling och analys av dokument: Dokument och annat ostrukturerat innehåll utgör utmaningar för särskilt traditionella databaser. Olika lösningar för insamling av dokument underlättar hanteringen av ostrukturerat innehåll
- Metadatahantering: Metadata är värdefulla eftersom de enklaste metadatafälten, t.ex. uppdaterings- och skapelsetider, gör det möjligt för företag att identifiera problem i sina data och analysera processerna för skapande och uppdatering av data
- Hantering av datakvalitet: Det finns många lösningar för att mäta och öka datakvaliteten
- Dataanalys: När datafederation (insamling) börjar måste datakvaliteten övervakas och det finns många lösningar för att mäta och öka datakvaliteten
- Dataanalys: Slutligen finns det många lösningar av olika komplexitet som gör det möjligt för företag att analysera dessa data
Programvara för datahantering med öppen källkod
Innan vi kategoriserar datahanteringsverktygen utifrån deras funktion, tänkte vi att du kanske föredrar lösningar med öppen källkod på grund av deras transparens och avsaknad av licensavgifter. Därför börjar vi med datahanteringstabellen med öppen källkod:
| Namn | Grundat | Status | Noter |
|---|---|---|---|
| Airtable | 2012 | Privat | -Airtable är en molnbaserad databasprogramvara Gratis plan erbjuder obegränsat antal datatabeller, 1 200 poster per databas, 2 GB utrymme för filtilläggen per databas och upp till två veckors revisions- och ögonblicksbildshistorik. |
| GraphDB-Ontotext | 2000 | Private | -GraphDB är en grafisk databas som erbjuder moln- och lokal distribution. |
| MariaDB | 2009 | Privat | -MariaDB täcker liknande funktioner som MySQL med vissa tillägg. -Fortune 500-företag som använder MariaDB: Deutsche Bank, DBS Bank, Nasdaq, Red Hat, ServiceNow, Verizon och Walgreens |
| Cubrid | 2008 | Private | -CUBRID är ett DBMS med öppen källkod som är optimerat för OLTP. |
| FirebirdSQL | 2005 | Privat | -CouchDB är en online-dokumentdatabas och lagringslösning för företag. -verktyget ger ACID-semantik genom flerversionskonkurrenskontroll. |
Dataarkitektur och design av datamodeller
Dataarkitektur är de modeller, policyer eller regler som styr vilka data som samlas in, hur de lagras och hur de används. Den delas sedan vidare upp i företagsarkitektur eller lösningsarkitektur.
Datamodellering definierar och analyserar datakrav som är nödvändiga för affärsprocesser inom informationssystem. Det finns tre olika typer av datamodeller som produceras, vilka utvecklas från den konceptuella modellen, till den logiska datamodellen och slutligen kommer man fram till den fysiska datamodellen.
Alla dessa kategorier hjälper till att organisera och kartlägga data, vilket förbättrar dess tillförlitlighet och även transparensen inom en organisation.
Några användbara verktyg relaterade till dessa produkter inkluderar:
| Namn | Grundat | Status | Noter |
|---|---|---|---|
| Idera | 2004 | Privat | -Datamodellering -Databashantering för att minska redundans |
| Teradata | 1979 | Offentlig | -Big Data-arkitektur som kan byggas upp från flera dataplattformar |
| Looker | 2011 | Privat | -Dataanalys utan SQL |
| Tableau | 2003 | Public | -Snabb ad hoc-analys utan programmering -Automatiska uppdateringar eller direktanslutning |
Hantering av referens- och masterdata
Referensdata är en delmängd av masterdata som kan användas för klassificering i hela organisationen. Några av de vanligaste referensdata är postnummer, valuta, koder och andra klassificeringar – men det kan också vara ”överenskomna” data inom en organisation. Det är viktigt att hantera denna typ av data eftersom den ofta fungerar som referens för ett antal system.
Det finns ett antal verktyg tillgängliga för att hjälpa till med hantering av referensdata, här är några:
| Namn | Grundat | Status | Noter |
|---|---|---|---|
| ASG metaRDM | 1986 | Privat | -Fokus på stöd för efterlevnad |
| Collibra Reference Data Accelerator | 2008 | Privat | -Ett enkelt införande och implementering |
| Informatica Cloud – MDM Reference 360 | 1993 | Offentlig | -Använder INFA Clouds MDM-fundament |
| Kalido by Magnitude Reference Data Management | 2014 | Privat | -Inbäddad arbetsflödesmotor för förvaltning och styrning |
Master Data Management (MDM) är en heltäckande metod för att definiera och förvalta de viktigaste uppgifterna i en organisation i syfte att tillhandahålla en referenspunkt. Programvara för detta område stöder identifiering, länkning och synkronisering av kundinformation i olika datakällor. Denna information används till stöd för ett antal initiativ som rör dataförvaltning och styrning.
Några populära MDM-verktyg och leverantörer inkluderar:
| Namn | Grundat | Status | Noter |
|---|---|---|---|
| Orchestra Networks EBX | 2000 | Privat | -Inkluderar funktionalitet för master-, meta- och datahantering, och referensdata |
| Dell Boomi | 1984 | Public | -funktioner som ”Boomi Suggest” och ”Boomi Assure” för att hjälpa till med utveckling och testning |
| Stibo Systems | 1976 | Private | -Betoning på MDM inom flera områden |
| Profisee | 2007 | Privat | -Lösningar byggda av industrin |
För att lära sig mer än 100 leverantörer och verktyg för hantering av masterdata, är du välkommen att kolla in vår sorteringsbara och transparenta leverantörslista där vi sorterat leverantörerna baserat på popularitet, verksamhetens mognad och användartillfredsställelse.
Databashantering
Databashantering har en mängd olika mål som sträcker sig från prestanda, lagring, säkerhet med mera. Verktygen syftar till att kontrollera data under hela dess livscykel, vilket leder till bättre affärsinformation och bättre beslutsfattande.
Några allmänna uppgifter som bör uppfyllas med rätt programvara för databashantering är bland annat:
- Applikationsjustering
- Testning av svarstid
- Testning av genomströmningstid
- Prestandahantering
Det är viktigt att komma ihåg skillnaden mellan DBMS och RDBMS. DBMS är en allmän term för olika typer av databashanteringsteknik som har utvecklats under de senaste 50 åren. På 1970-talet föddes ett relationellt databashanteringssystem (RDBMS) som snabbt blev den dominerande tekniken på området. Den viktigaste faktorn i RDBMS är dess radbaserade tabellstruktur som kan koppla samman relaterade dataelement, vilket uppnås via databasnormalisering. Sedan 2000-talet har icke-relationella eller no-SQL-databaser som MongoDB börjat vinna popularitet, men relationsdatabaser är fortfarande viktiga för att lagra strukturerade data.
En del leverantörer som arbetar inom denna disciplin är t.ex:
| Namn | Grundat | Status | Notiser |
|---|---|---|---|
| Oracle Enterprise Manager | 1977 | Öppen | -Självhanteringsfunktioner inbyggda i databasens kärna -För Linux, Windows, Solaris, IBM AIX, UP-UX |
| IBM DB2 | 1983 | Public | -För Linux, Unix, och Windows -SQL-kompatibilitet |
| MongoDB | 2007 | Public | -Fungerar med AWS, Azure och Google Cloud -Flera versioner: Enterprise Advanced, Stitch, Atlas, Cloud Manager |
Document, Record, Content Management
Enterprise content management, som ibland kallas dokumenthantering, är en process för att lagra, hantera och övervaka dokument från den dagliga verksamheten.
Några allmänna funktioner som en lösning bör innehålla är:
- Dokumentskanner för att göra digitala kopior av papperstexter
- Optisk teckenigenkänning (OCK) för att konvertera skannade dokument
- Användarbaserad åtkomst
- Dokumentsammanställning för att skapa med hjälp av ett skåp- och-mappstruktur
- PDF-konverterare
- Dokumentlagring och säkerhetskopiering
- Integreringsalternativ
- Samarbetsverktyg och versionskontroll
| Namn | Grundat | Status | Noter |
|---|---|---|---|
| Alfresco | 2005 | Privat | -Flera alternativ för arbetsflöde och samarbete |
| Dokmee/Office Gemini | 2006 | Privat | – Ett billigare alternativ än vissa |
| Maxxvault | 2008 | Privat | -Enkelt gränssnitt |
| eFileCabinet | 2001 | Private | -ett starkt alternativ för fjärrstyrda team |
Metadataförvaltning
Metadataförvaltning är förvaltningen av data som beskriver andra data. Den omfattar också processer för att se till att data kan integreras och användas i hela organisationen. Det är viktigt för att upprätthålla enhetliga definitioner, tydliga relationer och dataledning.
Några vanliga uppgifter i samband med metadatahantering som bör uppfyllas med alla programvaror eller verktyg inkluderar:
- Metadatabaser för dokumentation och hantering och för att utföra analyser
- Data lineage för att specificera datans ursprung och vart den har flyttats över tiden
- Business glossary för att kommunicera och styra nyckeltermer
- Rules management för att automatisera verkställandet. av affärsregler
- Influensanalys som beskriver eventuella informationsberoenden
| Name | Founded | Status | Anteckningar |
|---|---|---|---|
| Adaptive Metadata Manager | 1997 | Privat | -Över 20 års erfarenhet med ett antal partnerskap |
| Data Advantage Group | 1999 | Privat | -Känd för enkel implementering |
| Informatica Metadata Manager | 1993 | Öffentlig | -Koncentration på informationsstyrning och analys |
| Smartlogic Semaphore | 2005 | Privat | -Fångar in inkonsekventa och ofullständiga metadata relaterade till informationstillgångar |
Datakataloger automatiserar hantering av metadata och gör den samarbetsinriktad. Om du vill veta mer om datakatalogteknik är du välkommen att läsa vår artikel.
Datakvalitetshantering
Enligt IBM förlorar den amerikanska ekonomin 3,1 biljoner dollar årligen på grund av dålig datakvalitet. När vi talar om datas tillstånd och användbarhet för den avsedda funktionen talar vi om datakvalitet. Några viktiga processer som är förknippade med att säkerställa hög datakvalitet är:
- Parsning och standardisering: Bryta ner textfält i sina komponenter och formatera deras värden i konsekventa layouter baserat på valda kriterier. Vissa vanliga layouter definieras av branschstandarder, användardefinierade affärsregler eller kunskapsbaser av värden och mönster.
- Allmän ”rensning”: Uppdatering av datavärden så att de faller inom domänbegränsningar, integritetsbegränsningar eller andra affärsregler som bestämmer minsta datakvalitet för organisationen
- Profilering: Dataanalys för att samla in statistik (metadata) för att få en inblick i datakvaliteten och lokalisera datakvalitetsproblem
- Övervakning: Process för att säkerställa att data överensstämmer med fastställda kvalitetsregler för organisationen
- Berikning: Öka värdet av interna data genom att lägga till relaterade attribut från externa källor
Varje datakvalitetsverktyg som du överväger bör innehålla funktionalitet för alla ovanstående och mer därtill. Några viktiga leverantörer är t.ex:
| Namn | Grundat | Status | Noter |
|---|---|---|---|
| Talend Open Studio for Data Quality | 2005 | Offentlig | -Öppen källkod med över 400 inbyggda datakopplingar |
| Ataccma | 2007 | Privat | -Maskininlärning, självbetjäning av data, datakatalog |
| BackOffice Associates (BOA) | 1996 | Privat | -Sortimentet av färdigpaketerade rapporter finns tillgängligt |
| Innovativa system: Enlighten | 1968 | Privat | -Adressvalidering och geokodning |
Datalagring och BI-hantering
Ett datalagringssystem är en konsolidering av data från många olika källor som utgör grunden för Business Intelligence (BI). Alla data här lagras i samma format, men intelligenta algoritmer som indexering möjliggör effektiv analys.
Business Intelligence är den uppsättning metoder och verktyg som organisationer använder för att ta fram data och fatta bättre informerade beslut baserat på dem. BI-plattformar beskriver antingen vad som händer med verksamheten vid exakt samma tidpunkt eller vad som har hänt – helst i realtid.
För att bättre förstå verktygen för var och en av dessa jämför följande tabell de viktigaste skillnaderna:
| Vad det är | Källa | Output | Audience | |
|---|---|---|---|---|
| Business Intelligence | System för att få fram affärsinsikter | Data från datalager | Rapporter, diagram, grafer | Förvaltning, ledning |
| Data Warehouse | Lagring av historiska och aktuella data | Data från olika källor | Data i ett enhetligt format för BI-verktyg | Dataingenjörer, data- och affärsanalytiker. |
Några exempel på verktyg för dessa processer:
| Namn | Användning | Grundat | Status | Noter |
|---|---|---|---|---|
| Microsoft Power BI | BI | 2013* | Public | -Liknande gränssnitt som Excel |
| QlikView | BI | 1993 | Privat | -Omfattar datautvinning och analys |
| Cognos | BI | 1969 | Privat | -Multidimensionella och relationella datakällor |
| Tableau | BI | 2003 | Public | -Allmänt ansedd som ett av de bästa alternativen när det gäller visualiseringar |
| Teradata Data Warehouse | DW* | 1979 | Offentlig | -Använder AMPs (Access Module Processors) för att öka databehandlingshastigheten |
| Amazon Redshift | DW | 2012* | Public | -Helt förvaltat verktyg – inget behov av DBA |
| Oracle Data Warehouse | DW | 1977 | Public | -Inkluderar en del BI-funktioner |
*DW = data warehousing
*År då produkten grundades, inte företagets grundande
Data warehouses finns ofta i nära anslutning till en ETL-lösning (Extract, Transform, Load) som tar data från många olika källor och ”omvandlar” dem till ett enda, användbart format för data warehouse. Om du vill veta mer, se våra blogginlägg om ETL och ETL-verktyg.
Dataanalys
Dataanalys är resultatet av all denna behandling av data. Dataanalys är processen att inspektera, rensa, omvandla och modellera data för att hitta användbar information. Dataanalys omfattar även datautvinning, statistiska tillämpningar (deskriptiv statistik, explorativ dataanalys) och ett stort antal tekniker för att analysera statistiska data, t.ex. hypotesprövning eller regressionsanalys.
Intresserad av att lära dig mer om den teknik och de leverantörer som förändrar hur organisationer får saker gjorda? Kolla in vår blogg där du hittar inlägg om ett stort antal AI/teknikrelaterade ämnen.