Mi az adategyeztetés?
Az adategyeztetés (DR) az adatáttelepítés során az adatok ellenőrzésének folyamata. Ebben a folyamatban a céladatokat összehasonlítják a forrásadatokkal annak érdekében, hogy az áttelepítési architektúra adatokat továbbítson. Az adatok ellenőrzése és egyeztetése (DVR) olyan technológiát jelent, amely matematikai modelleket használ az információk feldolgozásához.
Ebben az oktatóanyagban megtanulod,
- Mi az adategyeztetés?
- Miért fontos az adatok egyeztetése?
- Az adategyeztetéssel kapcsolatos terminológia
- Az adategyeztetés története
- Adatok egyeztetési folyamata
- Az adategyeztetés használatának legjobb gyakorlatai
- Adategyeztetési eszközök
Miért fontos az adatok egyeztetése?
Az adatmigrációs folyamat során hibákat lehet elkövetni a leképezési és transzformációs logikában. Az olyan kérdések, mint a futási hibák, például a hálózati lemorzsolódás vagy a megszakadt tranzakciók, megrongálhatják az adatokat.
Ez a fajta hiba oda vezethet, hogy az adatok érvénytelen állapotban maradnak. Ezek számos kérdést hozhatnak létre, például:
- Hiányzó rekordok
- Hiányzó értékek
- Helytelen értékek
- Ismétlődő iratok
- Rosszul formázott értékek
- Megszakadt kapcsolatok táblák vagy rendszerek között
Az alábbiakban bemutatjuk az adategyeztetési folyamat használatának fontos okait:
- Az Adategyeztetés használatával pontos és megbízható információkat nyerhet ki az ipari folyamat állapotáról a nyers mérési adatokból.
- Segít abban is, hogy egyetlen konzisztens adatsort állítson elő, amelyek a legvalószínűbb folyamatműveletet képviselik.
- Ez pontatlan betekintéshez és az ügyfélszolgálattal kapcsolatos problémákhoz is vezet.
- Az adatok egyeztetése szintén fontos a vállalatvezérlés integrációja szempontjából.
A fentieken kívül az adatok egyeztetésének számos előnye / előnye van.
Az adategyeztetéssel kapcsolatos terminológia
| Durva hiba | Bruttó hibák a mérésekben. Csak torzítási hibákat, műszerhibákat vagy rendellenes zajcsúcsokat tükröz, ha csak rövid időtartamú átlagolási időszakot használ. |
| Megfigyelhetőség | A megfigyelhetőség-elemzés részleteket adhat arról, hogy milyen változókat lehet meghatározni egy adott kényszerhalmazhoz és méréskészlethez. |
| Variancia | A variancia az érzékelő variabilitásának mértéke. |
| Redundancia | Ez a kényszeregyenletek segítségével segít meghatározni, hogy mely méréseket kell becsülni más változók alapján. |
Az adategyeztetés története
Itt találhatók az adategyeztetés történetének alapvető tereptárgyai.
- A DVR (Data validation and Reconcilia) az 1960-as évek elején kezdődött. Célja a termelés anyagmérlegének lezárása volt, ahol minden változóhoz nyers mérések voltak elérhetőek.
- Az 1960-as évek végén az összes nem mérhető változót figyelembe vették az adategyeztetési folyamat során.
- A szűrés kvázi-egyensúlyi állapotdinamikáját és az időbeli párhuzamos paraméterek becslését Stanley és Mah 1977-ben vezették be.
- A dinamikus DVR-t nemlineáris optimalizálási modellként fejlesztették ki, amelyet Liebman adott ki 1992-ben
Adatok egyeztetési folyamata
Az adategyeztetési módszerek típusai:
Törzsadatok egyeztetése
A törzsadatok egyeztetése csak a törzsadatok egyeztetése a forrás és a cél között. A törzsadatok többnyire változatlanok vagy lassan változnak, és az adatkészleten nem végeznek összesítési műveleteket.
Néhány általános példa a törzsadatok egyeztetésére:
- Sorok teljes száma
- Forrás és cél összesen vásárló
- A forrás és a cél összes tétele
- A sorok száma az adott feltétel alapján
- Aktív felhasználók száma
- Inaktív felhasználók száma stb.
A tevékenység pontossága
- Meg kell győződnie arról, hogy a tranzakciók érvényesek és rendeltetésszerűek-e.
- Ellenőrizni kell, hogy a tranzakciókat megfelelően engedélyezték-e.
Tranzakciós adatok egyeztetése
A tranzakciós adatok képezik a BI jelentések alapját. Ezért a tranzakciós adatok bármilyen eltérése közvetlenül befolyásolhatja a jelentés és általában a teljes BI rendszer megbízhatóságát.
A tranzakciós adategyeztetési módszert a teljes összegre vonatkoztatva alkalmazzuk, amely megakadályozza a minősítő dimenziók részletességének megváltoztatása által okozott eltéréseket.
A tranzakciós adatok egyeztetésére használt intézkedések példái a következők:
- A teljes jövedelem forrásból és célból számított összege
- A teljes eladott termék összege, forrásból és célból stb. Számítva
Automatizált adategyeztetés:
Nagy adattárház-kezelő rendszerben kényelmes automatizálni az adategyeztetési folyamatot azáltal, hogy ez az adatbetöltés szerves részévé válik. Ez lehetővé teszi a metaadat-táblák külön betöltését. Ezenkívül az automatizált egyeztetés az összes érdekelt felet tájékoztatja a jelentések érvényességéről.
Az adategyeztetés használatának legjobb gyakorlatai
- Az adategyeztetési folyamatnak a mérési hibák kijavítására kell irányulnia.
- A bruttó hibáknak nullának kell lenniük, hogy hatékony legyen az adategyeztetési folyamat.
- Az Adategyeztetés szokásos megközelítése egyszerű rekordszámlálásokra támaszkodott annak nyomon követésére, hogy a megcélzott számú irat migrálódott-e vagy sem.
- Az adatmigrációs megoldás hasonló egyeztetési képességeket és adatprototípus-készítési funkciókat kínál, amelyek teljes körű adategyeztetési tesztet kínálnak.
Adategyeztetési eszközök
1) OpenRefine
A korábban ismert Google Refine OpenRefine hasznos adatbázis-egyeztetési keretrendszer. Ez lehetővé teszi a rendetlen adatok tisztítását és továbbítását.
Letöltési link: https://openrefine.org/
2) TIBCO Clarity
Ez az adategyeztetési eszköz igény szerinti szoftveres szolgáltatásokat kínál az internetről Szoftver-szolgáltatásként. Lehetővé teszi a felhasználók számára az adatok és a tisztítási adatok hitelesítését. Teljes egyeztetési tesztelési funkciókat biztosít. Széles körben használják az ETL folyamatban.
Letöltési link: https://clarity.cloud.tibco.com/landing/index.html
3) Winpure
A Winpure egy megfizethető és pontos adattisztító szoftver. Ez lehetővé teszi, hogy nagy mennyiségű adatot tisztítson meg, eltávolítsa az ismétlődéseket, javítsa és szabványosítsa a végleges adatkészlet megtervezését.
Letöltési link: https://winpure.com/
Összegzés
- Az adatok validálása és egyeztetése (DVR) egy olyan technológia, amely matematikai modelleket használ az információk feldolgozásához.
- Az adategyeztetés használata segít abban, hogy a nyers mérési adatokból pontos és megbízható információkat nyerjen ki az ipari folyamat állapotáról.
- A bruttó hiba, a megfigyelhetőség, a variancia, a redundancia fontos adatok az adategyeztetési folyamatban
- Az adatok ellenőrzése és egyeztetése az 1960-as évek elején kezdődött.
- Az adategyeztetési módszereknek három típusa van: 1) törzsadatok egyeztetése 2) tranzakciós adategyeztetés 3) automatizált adategyeztetés
- A bruttó hibáknak nullának kell lenniük, hogy hatékony legyen az adategyeztetési folyamat.
- Néhány fontos adategyeztetési eszköz: 1) OpenRefine 2) TIBCO 3) Winpure
- Ezt a módszert széles körben használják az olajfinomítás / atom- / vegyipar teljesítmény- és folyamatellenőrzésében