Míg a média arról vitatkozik, hogy az adat az új olaj-e vagy sem, egy dolog egyértelmű: az olajhoz hasonlóan az adatok is sok feldolgozást igényelnek. A Facebooktól kezdve a növekvő startupokig minden sikeres szervezetnek, amely növekvő mennyiségű adatot kezel, képesnek kell lennie az adatok rendszerezésére, elérésére, biztosítására és feldolgozására, hogy azokat meglátásokká és döntésekké alakítsa át.
Számos eszközt és szállítót kell figyelembe venni, különösen az üzleti igények és az adott feladat szempontjából. A feladattól függetlenül azonban a cél végső soron az, hogy olyan adatkezelési terméket találjunk, amely a lehető leghasznosabbá teszi az adatokat, miközben minimalizálja a költségeket, a kockázatot és az erőforrás-felhasználást.
Ez az adatkezelési szoftverek listája, azonban nem teljes körű. Készítettünk egy rendszeresen frissített, átfogó, sorolható/szűrhető listát az adatkezelési szoftverek vezető szállítóiról, tekintse meg bátran.
Adatkezelési szoftverek
Az adatkezelés egy széles tudományág, számos különböző fókusszal és e fókuszok kezeléséhez szükséges eszközökkel. Az adatkezelő szoftver (DMS) több adatbázisból származó rekordokat egyesít, kivonatolja, szűri, összegzi az adatokat integritásvesztés és interferencia nélkül.
Egyes gyártók és szoftverek több funkcionalitást tartalmaznak, és kiküszöbölhetik a külön eszköz szükségességét. Ha egy kicsit több háttérinformációra vágyik az adatkezelésről, mindenképpen olvassa el a témával kapcsolatos blogbejegyzésünket.
Az adatkezelő szoftvereket ezek köré a témák köré tudjuk felépíteni
- A nyílt forráskódú adatkezelő szoftverek: Számos nyílt forráskódú adatkezelési eszköz létezik, amelyek az alábbi funkciókat szolgálják.
- Adattervezés:
- Adatarchitektúra- és adatmodell-tervezési szoftverek: Először is a vállalatoknak modellezniük kell az adatszerkezeteiket
- Törzs- és referenciaadatok kezelése:
- Adatbázis-kezelés: Ezek a legjobb gyakorlatú adatbázis-kezelés alapjai, és segítenek a szervezeteknek a különböző üzleti egységek adatainak kezelésében
Nyílt forráskódú adatkezelő szoftverek
Az adatkezelési eszközök funkcióik alapján történő kategorizálása előtt úgy gondoltuk, hogy a nyílt forráskódú megoldásokat átláthatóságuk és a licencdíjak hiánya miatt előnyben részesítheti. Ezért kezdjük a nyílt forráskódú adatkezelési táblázattal:
| Név | Founded | Status | Notes |
|---|---|---|---|
| Airtable | 2012 | Private | -Az Airtable egy felhő alapú adatbázis szoftver Az ingyenes csomag korlátlan számú adattáblát kínál, 1200 rekordot bázisonként, 2 GB fájlcsatolási helyet bázisonként, és akár 2 hetes felülvizsgálati és pillanatfelvételi előzményeket. |
| GraphDB-Ontotext | 2000 | Private | -GraphDB egy grafikus adatbázis, amely felhőalapú és helybeni telepítést kínál. |
| MariaDB | 2009 | Private | -MariaDB a MySQL-hez hasonló funkciókat fed le, néhány hozzáadott bővítéssel. -Fortune 500 vállalat használja a MariaDB-t: Deutsche Bank, DBS Bank, Nasdaq, Red Hat, ServiceNow, Verizon és Walgreens |
| Cubrid | 2008 | Private | -CUBRID egy OLTP-re optimalizált nyílt forráskódú DBMS. |
| FirebirdSQL | 2005 | Private | -CouchDB egy online dokumentumadatbázis és tárolási megoldás vállalkozások számára. -Az eszköz ACID szemantikát biztosít többverziós párhuzamossági vezérléssel. |
Adatarchitektúra és adatmodell-tervezés
Az adatarchitektúra azok a modellek, irányelvek vagy szabályok, amelyek szabályozzák, hogy milyen adatokat gyűjtenek, hogyan tárolnak és hogyan használják. Ezt azután tovább bontják vállalati architektúrára vagy megoldásarchitektúrára.
Az adatmodellezés meghatározza és elemzi az információs rendszereken belüli üzleti folyamatokhoz szükséges adatigényeket. Az adatmodelleknek három különböző típusa készül, amelyek a fogalmi modelltől a logikai adatmodellig haladnak, és végül a fizikai adatmodellhez érkeznek.
Mindegyik kategória segít az adatok rendszerezésében és feltérképezésében, javítva azok megbízhatóságát és átláthatóságát is egy szervezeten belül.
Ezekkel a termékekkel kapcsolatos néhány hasznos eszköz a következő:
| Név | Founded | Status | Notes |
|---|---|---|---|
| Idera | 2004 | Private | -Data modeling .Adatbázis-kezelés a redundancia csökkentésére |
| Teradata | 1979 | Public | -Big Data architektúra, amely több adatplatformból építhető |
| Looker | 2011 | Private | -Adatelemzés SQL nélkül |
| Tableau | 2003 | Public | – Gyors ad hoc elemzés programozás nélkül -Automatikus frissítés vagy élő kapcsolat |
Referencia- és törzsadatok kezelése
A referenciaadatok a törzsadatok egy olyan részhalmaza, amely az egész szervezeten belüli osztályozásra használható. A leggyakoribb referenciaadatok közé tartoznak a postai irányítószámok, pénznemek, kódok és egyéb osztályozások – de lehetnek a szervezeten belül “egyeztetett” adatok is. Az ilyen típusú adatok kezelése fontos, mivel gyakran több rendszer számára is referenciaként szolgálnak.
Számos eszköz áll rendelkezésre a referenciaadatok kezelésének segítésére, íme néhány:
| Név | Founded | Status | Notes |
|---|---|---|---|
| ASG metaRDM | 1986 | Private | -Fókuszban a megfelelőség támogatása |
| Collibra Reference Data Accelerator | 2008 | Private | -Egyszerű telepítés és bevezetés |
| Informatica Cloud – MDM Reference 360 | 1993 | Public | -Kihasználja az INFA Cloud MDM alapját |
| Kalido by Magnitude Reference Data Management | 2014 | Private | -Beágyazott munkafolyamat-motor a stewardshiphez és az irányításhoz |
A Master Data Management (MDM) egy átfogó módszer egy szervezet alapvető adatainak meghatározására és kezelésére annak érdekében, hogy referenciapontot biztosítson. Az e területhez tartozó szoftverek támogatják az ügyfélinformációk azonosítását, összekapcsolását és szinkronizálását a különböző adatforrások között. Ezeket az információkat számos, az adatkezeléssel és -irányítással kapcsolatos kezdeményezés támogatására használják fel.
Az MDM néhány népszerű eszköze és szállítója a következő:
| Név | Founded | Status | Notes |
|---|---|---|---|
| Orchestra Networks EBX | 2000 | Private | -Includes functionality for master, meta, és referenciaadatokat |
| Dell Boomi | 1984 | Public | -Funkciók, mint a “Boomi Suggest” és a “Boomi Assure” a fejlesztés és tesztelés segítésére |
| Stibo Systems | 1976 | Private | -Hangsúly a multidomain MDM |
| Profisee | 2007 | Private | -Solutions built by industry |
Több mint 100 master data management vendor és eszköz megismerése, nézze meg bátran válogatható és átlátható szállítói listánkat, ahol a népszerűség, az üzleti érettség és a felhasználói elégedettség alapján válogattuk össze a szállítókat.
Adatbázis-kezelés
Az adatbázis-kezelésnek számos célja van a teljesítménytől kezdve a tároláson át a biztonságig és még sok másig. Az eszközök célja az adatok ellenőrzése azok teljes életciklusa során, ami jobb üzleti intelligenciát és jobb döntéshozatalt eredményez.
A megfelelő adatbázis-kezelő szoftverrel teljesítendő általános feladatok közé tartoznak:
- alkalmazás-tuning
- válaszidő tesztelés
- átbocsátási tesztelés
- teljesítménykezelés
Nem szabad megfeledkezni a DBMS és az RDBMS közötti különbségről. A DBMS egy általános kifejezés a különböző típusú adatbázis-kezelési technológiákra, amelyeket az elmúlt 50 évben fejlesztettek ki. Az 1970-es években született meg a relációs adatbázis-kezelő rendszer (RDBMS), amely gyorsan a terület domináns technológiájává vált. Az RDBMS legfontosabb tényezője a soralapú táblaszerkezet, amely képes összekapcsolni a kapcsolódó adatelemeket, amit az adatbázis normalizálásával érnek el. A 2000-es évek óta a nem relációs vagy nem SQL-adatbázisok, például a MongoDB kezdett népszerűvé válni, de a relációs adatbázisok továbbra is fontosak a strukturált adatok tárolásához.
Az e szakterületen belül dolgozó gyártók közé tartoznak a következők:
| Név | Founded | Status | Notes |
|---|---|---|---|
| Oracle Enterprise Manager | 1977 | Public | -Self management capabilities built into database kernel -For Linux, Windows, Solaris, IBM AIX, UP-UX |
| IBM DB2 | 1983 | Public | -Linux, Unix, és Windows -SQL kompatibilitás |
| MongoDB | 2007 | Public | -működik az AWS, Azure és Google Cloud -több verzióban: Enterprise Advanced, Stitch, Atlas, Cloud Manager |
Document, Record, Content Management
A vállalati tartalomkezelés, más néven dokumentumkezelés a napi üzleti tevékenységekből származó dokumentumok tárolásának, kezelésének és nyomon követésének folyamata.
Az alábbi általános funkciókat kell minden megoldásnak tartalmaznia:
- Dokumentumszkenner a papíralapú szövegek digitális másolatainak elkészítéséhez
- Optikai karakterfelismerés (OCK) a beolvasott dokumentumok átalakításához
- Felhasználó alapú hozzáférés
- Dokumentum-összeállítás a szekrény használatával történő létrehozáshoz és…mappaszerkezet
- PDF átalakító
- Dokumentumok tárolása és mentése
- Integrációs lehetőségek
- Kollaborációs eszközök és verziókezelés
| név | alapítva | állapot | jegyzetek |
|---|---|---|---|
| Alfresco | 2005 | magán | -Munkafolyamatok és együttműködési lehetőségek választéka |
| Dokmee/Office Gemini | 2006 | Private | – Alacsonyabb költségű lehetőség, mint egyes |
| Maxxvault | 2008 | Private | -.Egyszerű felület |
| eFileCabinet | 2001 | Private | Egy erős lehetőség távoli csapatok számára |
Metaadatok kezelése
A metaadatok kezelése más adatokat leíró adatok kezelése. Ez magában foglalja azokat a folyamatokat is, amelyek biztosítják, hogy az adatok integrálhatók és felhasználhatók legyenek az egész szervezeten belül. Fontos a definíciók konzisztenciájának, a kapcsolatok egyértelműségének és az adatok származásának fenntartása szempontjából.
A metaadat-kezeléssel kapcsolatos néhány gyakori feladat, amelyet bármely szoftverrel vagy eszközzel teljesíteni kell, a következők:
- Metaadattárak a dokumentációhoz és a kezeléshez, valamint az elemzés elvégzéséhez
- Adatok származása az adatok eredetének és időbeli mozgásának meghatározásához
- Üzleti glosszárium a kulcsfontosságú kifejezések közléséhez és szabályozásához
- Szabályok kezelése a végrehajtás automatizálása érdekében. az üzleti szabályok automatizálása
- Az információfüggőségeket részletező hatáselemzés
| Név | Founded | Státusz | Jegyzetek |
|---|---|---|---|
| Adaptive Metadata Manager | 1997 | Private | -Több mint 20 éves tapasztalat számos partnerséggel |
| Data Advantage Group | 1999 | Private | – Ismert a könnyű bevezethetőségről |
| Informatica Metadata Manager | 1993 | Public | -Koncentráció az információirányításra és az analitikára |
| Smartlogic Semaphore | 2005 | Private | – Az információs eszközökkel kapcsolatos inkonzisztens és hiányos metaadatok rögzítése |
Az adatkatalógusok automatizálják a metaadatok kezelését és együttműködővé teszik azt. Ha többet szeretne megtudni az adatkatalógus technológiáról, olvassa el cikkünket.
Adatminőség-kezelés
Az IBM szerint az amerikai gazdaság évente 3,1 billió dollárt veszít a rossz adatminőség miatt. Amikor az adatok állapotáról és rendeltetésszerű felhasználhatóságáról beszélünk, akkor adatminőségről beszélünk. A magas adatminőség biztosításához kapcsolódó néhány fontosabb folyamat:
- Parsing és szabványosítás: A szöveges mezők elemeire bontása és értékeik egységes elrendezésbe formázása a kiválasztott kritériumok alapján. Néhány gyakori elrendezést iparági szabványok, felhasználó által meghatározott üzleti szabályok vagy értékek és minták tudásbázisai határoznak meg.
- Általános “tisztítás”: Az adatértékek frissítése, hogy azok a tartományi korlátozásoknak, integritási korlátozásoknak vagy más, a szervezet számára minimális adatminőséget meghatározó üzleti szabályoknak megfeleljenek
- Profilalkotás: Adatelemzés statisztikák (metaadatok) rögzítésére, hogy betekintést nyerjünk az adatok minőségébe, és megtaláljuk az adatminőségi problémákat
- Monitoring: Az adatoknak a szervezet számára meghatározott minőségi szabályoknak való megfelelését biztosító folyamat.
- Dúsítás: A belsőleg tárolt adatok értékének növelése külső forrásokból származó kapcsolódó attribútumok hozzáadásával
Az adatminőségi eszköznek tartalmaznia kell a fenti és még több funkciót. Néhány fontosabb gyártó a következő:
| Név | Founded | Status | Notes |
|---|---|---|---|
| Talend Open Studio for Data Quality | 2005 | Public | -.Nyílt forráskódú, több mint 400 beépített adatcsatlakozóval |
| Ataccma | 2007 | Private | -gépi tanulás, önkiszolgáló adatelőkészítés, adatkatalógus |
| BackOffice Associates (BOA) | 1996 | Private | -előrecsomagolt jelentések széles választéka elérhető |
| Innovative Systems: Enlighten | 1968 | Private | -címérvényesítési és geokódolási funkció |
Adattárház és BI menedzsment
Az adattárház a legkülönbözőbb forrásokból származó adatok konszolidációja, amely megalapozza az üzleti intelligenciát (BI). Itt minden adatot ugyanabban a formátumban tárolnak, de az intelligens algoritmusok, például az indexelés lehetővé teszik a hatékony elemzést.
Az üzleti intelligencia olyan módszerek és eszközök összessége, amelyeket a szervezetek arra használnak, hogy az adatokat felhasználva, azok alapján megalapozottabb döntéseket hozzanak. A BI-platformok vagy azt írják le, hogy mi történik a vállalkozással a pontos időpontban, vagy azt, hogy mi történt – lehetőleg valós időben.
Az egyes eszközök jobb megértéséhez az alábbi táblázatban összehasonlítjuk a főbb különbségeket:
| Miről van szó | Forrás | Kimenet | Közönség | |
|---|---|---|---|---|
| Üzleti intelligencia | Rendszer az üzleti meglátások levezetésére | Adatok az adattárházból | Reportok, diagramok, grafikonok | Vezetők, menedzsment |
| Adattárház | Adattárolás, historikus és aktuális | Adatok különböző forrásokból | Adatok egységes formátumban a BI eszközök számára | Adatmérnökök, adat- és üzleti elemzők. |
Néhány példa az ezen folyamatokhoz szükséges eszközökre:
| Név | Használat | Funded | Status | Notes |
|---|---|---|---|---|
| Microsoft Power BI | BI | 2013* | Public | -Hasonló felület, mint az Excel |
| QlikView | BI | 1993 | Privát | -hez.Adatbányászat és analitika |
| Cognos | BI | 1969 | Private | -Többdimenziós és relációs adatforrások |
| Tableau | BI | 2003 | Public | -Széles körben az egyik legjobb lehetőségnek tartják a vizualizáció tekintetében |
| Teradata Data Warehouse | DW* | 1979 | Public | -AMP-ket (Access Module Processors) használ az adatfeldolgozási sebesség növelésére |
| Amazon Redshift | DW | 2012* | Public | -Teljesen menedzselt eszköz – nincs szükség DBA-ra |
| Oracle Data Warehouse | DW | 1977 | Public | -Beleértve bizonyos BI funkciókat |
*DW = data warehousing
*A termék alapításának éve, nem a vállalat alapítása
Az adattárházak gyakran szorosan kapcsolódnak egy ETL (Extract, Transform, Load) megoldáshoz, amely sok különböző forrásból veszi az adatokat, és “átalakítja” azokat egyetlen, az adattárház számára használható formátumba. További információkért lásd az ETL-ről és az ETL-eszközökről szóló blogbejegyzéseinket.
Adatelemzés
Az adatelemzés az összes ilyen adatfeldolgozás eredménye. Az adatelemzés az adatok vizsgálatának, tisztításának, átalakításának és modellezésének folyamata a hasznos információk megtalálása érdekében. Az adatelemzés magában foglalja az adatbányászatot, a statisztikai alkalmazásokat (leíró statisztika, feltáró adatelemzés), valamint a statisztikai adatok elemzésére szolgáló technikák széles skáláját, mint például a hipotézisvizsgálat vagy a regresszióelemzés.
Indeklődik, hogy többet tudjon meg azokról a technológiákról és gyártókról, amelyek megváltoztatják a szervezetek munkáját? Nézze meg blogunkat, ahol a mesterséges intelligenciával/technológiával kapcsolatos témák széles skálájáról talál bejegyzéseket.