Mielőtt a Big Data bevezetésére térnénk, először tudnia kell
Mi az adat?
Azok a mennyiségek, karakterek vagy szimbólumok, amelyeken a számítógép műveleteket hajt végre, amelyeket elektromos jelek formájában tárolhatnak és továbbíthatnak, és mágneses, optikai vagy mechanikus adathordozókra rögzíthetnek.
Most tanuljuk meg a Big Data bevezetését
Mi a Big Data?
A Big Data olyan adatgyűjtemény, amely hatalmas mennyiségű, ugyanakkor az idővel exponenciálisan növekszik. Olyan nagy méretű és összetett adatról van szó, hogy a hagyományos adatkezelő eszközök egyike sem képes ezeket tárolni vagy hatékonyan feldolgozni. A nagy adatok szintén adatok, de hatalmas méretűek.
Ebben az oktatóanyagban megtanulod,
- Mi az adat?
- Mi a Big Data?
- Példák a nagy adatokra
- A nagy adatok típusai
- A nagy adatok jellemzői
- A nagy adatfeldolgozás előnyei
Példák a nagy adatokra
Az alábbiakban bemutatunk néhány Big Data példát -
A New York-i tőzsde naponta körülbelül egy terabájt új kereskedési adatot generál .
Közösségi média
A statisztikák azt mutatják, hogy minden nap 500 + terabájt új adat kerül be a Facebook közösségi oldal adatbázisaiba . Ezeket az adatokat elsősorban a fénykép- és videofeltöltések, az üzenetváltás, a megjegyzések stb.
Egyetlen sugárhajtású motor 10 + terabájt adatot képes előállítani 30 perc repülési idő alatt. Napi sok ezer repüléssel az adatok generálása akár sok petabájtot is elérhet .
A nagy adatok típusai
Az alábbiakban bemutatjuk a Big Data típusait:
- Strukturált
- Strukturálatlan
- Félig strukturált
Strukturált
Minden rögzített formátumban tárolható, hozzáférhető és feldolgozható adatot „strukturált” adatnak nevezünk. Az idő alatt a számítástechnika tehetsége nagyobb sikereket ért el az ilyen jellegű adatokkal való munka technikáinak kifejlesztésében (ahol a formátum előre jól ismert), és értéket is nyert belőle. Manapság azonban olyan kérdéseket látunk előre, amikor az ilyen adatok nagymértékben megnőnek, a tipikus méretek több zettabájt dühében vannak.
Tudod? 10 21 bájt egyenlő az 1 zettabyte vagy egy milliárd terabájt formák egy zettabyte .
Ezeket az ábrákat megnézve könnyen megérthető, hogy miért adják a Big Data nevet, és elképzelhetjük a tárolásával és feldolgozásával járó kihívásokat.
Tudod? A relációs adatbázis-kezelő rendszerben tárolt adatok a „strukturált” adatok egyik példája .
Példák strukturált adatokra
Az adatbázisban található „Munkavállaló” tábla példa a strukturált adatokra
| Munkavállalói azonosító | Alkalmazott Neve | Nem | Osztály | Fizetés_In_lacs |
|---|---|---|---|---|
| 2365 | Rajesh Kulkarni | Férfi | Pénzügy | 650000 |
| 3398 | Pratibha Joshi | Női | Rendszergazda | 650000 |
| 7465 | Shushil Roy | Férfi | Rendszergazda | 500000 |
| 7500 | Shubhojit Das | Férfi | Pénzügy | 500000 |
| 7699 | Priya Sane | Női | Pénzügy | 550000 |
Strukturálatlan
Minden ismeretlen formájú vagy felépítésű adat strukturálatlan adatnak minősül. Amellett, hogy a méret óriási, a strukturálatlan adatok számos kihívást jelentenek feldolgozása szempontjából, hogy értéket lehessen belőle származtatni. A strukturálatlan adatok tipikus példája egy heterogén adatforrás, amely egyszerű szöveges fájlok, képek, videók stb. Kombinációját tartalmazza. A nap szervezeteinek rengeteg adata áll rendelkezésre, de sajnos nem tudják, hogyan lehetne belőlük értéket nyerni, mivel ezek az adatok nyers formában vagy strukturálatlan formátumban vannak.
Példák strukturálatlan adatokra
A „Google Search” által kimenet
Félig strukturált
A félig strukturált adatok mindkét adatformát tartalmazhatnak. Láthatjuk a félig strukturált adatokat strukturált formában, de valójában nincs meghatározva pl. Egy táblázati definícióval a relációs DBMS-ben. A félig strukturált adatok példája egy XML fájlban megjelenített adat.
Példák félig strukturált adatokra
XML fájlban tárolt személyes adatok-
Prashant Rao Male 35 Seema R. Female 41 Satish Mane Male 29 Subrato Roy Male 26 Jeremiah J. Male 35
Az adatok növekedése az évek során
Felhívjuk figyelmét, hogy a webalkalmazás strukturálatlan adatai naplófájlokból, tranzakciós előzmények fájlokból stb. Állnak. Az OLTP rendszerek strukturált adatokkal való együttműködésre vannak kialakítva, ahol az adatokat relációkban (táblákban) tárolják.
A nagy adatok jellemzői
A nagy adatok a következő jellemzőkkel írhatók le:
- Hangerő
- Fajta
- Sebesség
- Változékonyság
(i) Kötet - maga a Big Data név egy hatalmas mérethez kapcsolódik. Az adatok nagysága nagyon fontos szerepet játszik az adatok értékének meghatározásában. Az is, hogy egy adott adat valóban nagy adatnak tekinthető-e vagy sem, az adatok mennyiségétől függ. Ezért a „kötet” az egyik jellemző, amelyet figyelembe kell venni a Big Data kezelése során.
(ii) változatosság - A Big Data következő aspektusa a változatossága .
A változatosság heterogén forrásokra és az adatok természetére utal, mind strukturált, mind strukturálatlan. A korábbi napokban a táblázatok és az adatbázisok voltak az egyetlen adatforrás, amelyet a legtöbb alkalmazás figyelembe vett. Manapság az elemzési alkalmazásokban e-mailek, fényképek, videók, megfigyelő eszközök, PDF-ek, hang stb. Formájában is figyelembe veszik az adatokat. A strukturálatlan adatok ilyen sokfélesége bizonyos kérdéseket vet fel az adatok tárolásával, bányászatával és elemzésével kapcsolatban.
(iii) Sebesség - A „sebesség” kifejezés az adatok előállításának sebességére utal. Az adatok generálásának és feldolgozásának gyorsasága meghatározza az adatok valódi potenciálját.
A Big Data Velocity az adatok olyan forrásokból történő beáramlásának sebességével foglalkozik, mint az üzleti folyamatok, az alkalmazásnaplók, a hálózatok és a közösségi média webhelyek, az érzékelők, a mobileszközök stb.
(iv) Változékonyság - Ez arra a következetlenségre utal, amelyet az adatok időnként kimutathatnak, ezáltal akadályozva az adatok hatékony kezelésének és kezelésének folyamatát.
A nagy adatfeldolgozás előnyei
A Big Data feldolgozásának képessége számos előnnyel jár, például
- A vállalkozások kihasználhatják a külső intelligenciát, miközben döntéseket hoznak
A keresőmotorokból és olyan webhelyekről származó hozzáférés a közösségi adatokhoz, mint a facebook, a twitter, lehetővé teszi a szervezetek számára, hogy finomítsák üzleti stratégiáikat.
- Javított ügyfélszolgálat
A hagyományos ügyfél-visszajelzési rendszereket felváltják a Big Data technológiákkal tervezett új rendszerek. Ezekben az új rendszerekben a Big Data és a természetes nyelv feldolgozási technológiáit használják a fogyasztói válaszok elolvasására és értékelésére.
- A termékre / szolgáltatásra jelentett kockázat korai azonosítása, ha van ilyen
- Jobb működési hatékonyság
A Big Data technológiák felhasználhatók az új adatok átmeneti területének vagy leszállási zónájának létrehozására, mielőtt meghatároznák, milyen adatokat kell áthelyezni az adattárházba. Ezenkívül a Big Data technológiák és az adattárház ilyen integrációja segíti a szervezetet a ritkán hozzáférhető adatok kirakásában.
Összegzés
- Big Data definíció: A Big Data olyan adat, amely hatalmas méretű. A Bigdata egy olyan adatgyűjtemény, amely hatalmas méretű, de az idővel exponenciálisan növekszik.
- A Big Data elemzési példák közé tartoznak a tőzsdék, a közösségi oldalak, a sugárhajtóművek stb.
- A Big Data lehet 1) strukturált, 2) strukturálatlan, 3) félig strukturált
- A hangerő, a változatosság, a sebesség és a változékonyság csak néhány nagy adat jellemző
- A jobb ügyfélszolgálat, a jobb működési hatékonyság, a jobb döntéshozatal a Bigdata néhány előnye