HIVE Metastore konfiguráció MYSQL-lel

Anonim

Miért érdemes a MySQL-t használni a kaptárban Metastore néven:

  • Alapértelmezés szerint a Hive metboltként derbi adatbázissal érkezik.
  • A Derby adatbázis egyszerre csak egyetlen aktív felhasználót támogat
  • A Derby nem ajánlott termelési környezetben

Tehát a megoldás itt az

  • Használja a MYSQL-t metatárolóként a háttérben, hogy egyszerre több felhasználót is összekapcsolhasson a Hive-zal
  • A MYSQL a legjobb választás az önálló metastore számára

A MySQL adatbázis telepítésének és konfigurálásának lépései a Hive on Hadoop alkalmazásban

1. lépés: Ebben a lépésben két feladatot fogunk elvégezni

  1. A mysql-server telepítése
  2. A mysql-kiszolgáló és annak folyamatának ellenőrzése
  1. A sudo apt-get install mysql-server parancs használatával letölthetjük a mysql szervert

Telepítse a MySQL-t a képernyőképen látható módon

  1. A sikeres telepítés után a MySQL az alábbi képernyőképen látható módon fog futni

2. lépés: A MySQL Java Connector telepítése. Ez java-függőségekre és kapcsolódási célokra szolgál

3. lépés: Lágy hivatkozás létrehozása a csatlakozóhoz a Hive lib könyvtárban . Ez a Java és a MySql közötti soft linkre szolgál.

4. lépés: Konfigurálja a MySql tárhelyet a Hive-ban

  • Írja be a MySql -u root -p, majd a jelszót
  • Itt az -u a root felhasználónév, a p a jelszó
  • A fenti parancs megadása után a felhasználónak érvényes jelszót kell megadnia, majd kattintson az Enter gombra
  • Ezután MySql shell módba lép

5. lépés: Felhasználónév és jelszó létrehozása a MySql számára, jogosultságok megadása.

A parancsokat az alábbiak szerint kell végrehajtanunk,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword';mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';mysql> flush privileges;

6. lépés: A hive-site.xml konfigurálása

  • Az 5. lépés után rendeljen felhasználónevet és jelszót a MySQL adatbázishoz, és adja meg a jogosultságokat.
  • Itt konfigurálunk néhány tulajdonságot a Hive-ban, hogy kapcsolatot szerezzünk a MySQL adatbázissal .

A fenti képernyőkép alapján a következőket figyeljük meg. Itt meghatározunk 4 tulajdonságot, amelyekre szükség lehet a MYSQL Meta tárként történő létrehozásához a kaptárban

Ezek a következők:

  1. Ez a tulajdonság a kapcsolat URL-címét szolgálja. Itt meghatározzuk a ConnectionURL-t ebben a tulajdonságban. JDBC kapcsolatként működik, és reprezentálja a metastore helyet is
  2. Ez a tulajdonság a Connection illesztőprogram neve. Itt a mysql.jdbc.Driver az a megbecsült érték, amelyet meg kell említenünk az értékcímkében
  3. Ez a tulajdonság a Connection felhasználói név meghatározásához használt. Ebben a "hiveguru" -ot definiáltuk felhasználónévként
  4. Ez a tulajdonság a csatlakozási jelszó megemlítésére használt. Ebben meghatároztuk a jelszót felhasználói jelszóként.

Miután a hive -site.xml fájlba helyezett tulajdonságokat manuálisan kell mentenünk (Ctrl + S), és bezárni a fájlt. A fájl bezárása után létre kell hoznunk a Hive táblát, és ellenőriznünk kell a táblázat részleteit a MySQL tárolóban.

Helyezze ezt a kódot a hive-site.xml fájlba

hive-site.xml


javax.jdo.option.ConnectionURLjdbc:mysql://localhost/metastore?createDatabaseIfNotExist=truemetadata is stored in a MySQL server
javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.DriverMySQL JDBC driver class
javax.jdo.option.ConnectionUserNamehiveuseruser name for connecting to mysql server
javax.jdo.option.ConnectionPasswordhivepasswordpassword for connecting to mysql server

7. lépés) Hozzon létre "guru99" táblázatot a kaptárban.

A fenti képernyőkép alapján a következőket figyelhetjük meg

  • A "guru99" táblanév létrehozása két oszlopnévvel
  • Az oszlopnevek, amelyeknek adattípusa az egyik, egész szám, a másik pedig string típusú

A következő lépésben ellenőrizni fogjuk, hogy a MySql-ben van-e tárolva, vagy sem

8. lépés: Belépés MySql shell módba

A fenti képernyőkép alapján a következőket figyelhetjük meg

  • Először az adatbázist kell használni "metastore használata"
  • Miután kiválasztotta a meta store-ot, ellenőrizhetjük az ebben szereplő táblázatokat a "show" táblák paranccsal, ahogy a képernyőképen látható
  • Bármi legyen is a Hive-ben létrehozott táblázat, a metaadatok megegyeznek azzal, hogy a táblákat TBLS alatt tárolják a MySQL adatbázisban.
  • A "Guur99 tábla" a Hive-ban jön létre, így a megfelelő metaadatokat a MySQL a TBLS alatt tárolja.

9. lépés: Annak ellenőrzése, hogy a létrehozott tábla bemutatja-e a MySQL-t vagy sem

A TBLS-ből a select * megadásával megjeleníti azokat a táblázatokat, amelyeket Hive shell módban hoztunk létre

A fenti képernyőkép alapján a következő dolgokat figyelhetjük meg:

  • A Hive létrehozott "guru99" táblanév MySQL shell módban jeleníthető meg
  • Emellett olyan információkat is szolgáltat, mint a táblázat készítésének ideje, a hozzáférési idő és egyéb tulajdonságok, amint az a fenti képernyőképen látható.