Hogyan telepítsük a Hadoop-ot lépésről lépésre az Ubuntun

Tartalomjegyzék

1. rész) Töltse le és telepítse a Hadoop alkalmazást
2. rész) Konfigurálja a Hadoop-ot

Ebben az oktatóanyagban lépésről lépésre végigvezetjük Önt az Apache Hadoop telepítéséhez egy Linux dobozra (Ubuntu). Ez két részből áll

1. rész) Töltse le és telepítse a Hadoop alkalmazást
2. rész) Konfigurálja a Hadoop-ot

Két előfeltétel van

Telepítenie és futtatnia kell az Ubuntut
A Java-nak telepítve kell lennie.

1. rész) Töltse le és telepítse a Hadoop alkalmazást

1. lépés: Adjon hozzá egy Hadoop rendszerfelhasználót az alábbi paranccsal

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Írja be jelszavát, nevét és egyéb adatait.

MEGJEGYZÉS: Ebben a telepítési és telepítési folyamatban előfordulhat, hogy az alábbiakban említett hiba lép fel.

"A hduser nincs a sudoers fájlban. Ezt az eseményt jelenteni fogjuk."

Ezt a hibát a Bejelentkezés root felhasználóként megoldhatja

Hajtsa végre a parancsot

sudo adduser hduser_ sudo

Re-login as hduser_

2. lépés: Konfigurálja az SSH-t

A fürt csomópontjainak kezeléséhez a Hadoop SSH hozzáférést igényel

Először váltson felhasználót, írja be a következő parancsot

su - hduser_

Ez a parancs új kulcsot hoz létre.

ssh-keygen -t rsa -P ""

Engedélyezze az SSH hozzáférést a helyi számítógéphez ezzel a kulccsal.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Most tesztelje az SSH beállításait úgy, hogy csatlakozik a localhost-hoz „hduser” felhasználóként.

ssh localhost

Megjegyzés: Felhívjuk figyelmét, hogy ha az alábbi hibát látja az 'ssh localhost' válaszként, akkor lehetséges, hogy az SSH nem érhető el ezen a rendszeren-

Ennek megoldása érdekében -

Tisztítsa meg az SSH-t a következővel:

sudo apt-get purge openssh-server

Jó gyakorlat a telepítés megkezdése előtt tisztítani

Telepítse az SSH parancsot a

sudo apt-get install openssh-server

3. lépés) A következő lépés a Hadoop letöltése

Válassza a Stabil lehetőséget

Válassza ki a tar.gz fájlt (nem az src fájlt)

A letöltés befejezése után keresse meg a tar fájlt tartalmazó könyvtárat

Belép,

sudo tar xzf hadoop-2.2.0.tar.gz

Most nevezze át a hadoop-2.2.0-t hadoop-nak

sudo mv hadoop-2.2.0 hadoop

sudo chown -R hduser_:hadoop_ hadoop

2. rész) Konfigurálja a Hadoop-ot

1. lépés: Módosítsa a ~ / .bashrc fájlt

Adja hozzá a következő sorokat a ~ / .bashrc fájl végéhez

#Set HADOOP_HOMEexport HADOOP_HOME=#Set JAVA_HOMEexport JAVA_HOME=# Add bin/ directory of Hadoop to PATHexport PATH=$PATH:$HADOOP_HOME/bin

Most szerezze be ezt a környezeti konfigurációt az alábbi paranccsal

. ~/.bashrc

2. lépés) A HDFS-hez kapcsolódó konfigurációk

Set JAVA_HOME belső fájl $ HADOOP_HOME / etc / Hadoop / hadoop-env.sh

Val vel

Két paraméter található a $ HADOOP_HOME / etc / hadoop / core-site.xml fájlban, amelyeket be kell állítani.

1. 'hadoop.tmp.dir' - Olyan könyvtár megadására szolgál, amelyet a Hadoop az adatfájljainak tárolására fog használni.

2. 'fs.default.name' - Ez adja meg az alapértelmezett fájlrendszert.

Ezen paraméterek beállításához nyissa meg a core-site.xml fájlt

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Másolja a sor alá a címkék közé

hadoop.tmp.dir/app/hadoop/tmpParent directory for other temporary directories.
fs.defaultFS hdfs://localhost:54310The name of the default file system.

Keresse meg a $ HADOOP_HOME / etc / Hadoop könyvtárat

Most hozza létre a core-site.xml fájlban említett könyvtárat

sudo mkdir -p

Adjon engedélyeket a könyvtárnak

sudo chown -R hduser_:Hadoop_

sudo chmod 750

3. lépés) A konfiguráció csökkentése a térképen

Mielőtt elkezdené ezeket a konfigurációkat, állítsa be a HADOOP_HOME elérési utat

sudo gedit /etc/profile.d/hadoop.sh

És Enter

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Következő enter

sudo chmod +x /etc/profile.d/hadoop.sh

Lépjen ki a terminálból, és indítsa újra

Írja be az echo $ HADOOP_HOME parancsot. Az útvonal ellenőrzéséhez

Most másolja a fájlokat

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Nyissa meg a mapred-site.xml fájlt

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Adja meg a beállítási sorokat a és a címkék közé

mapreduce.jobtracker.addresslocalhost:54311MapReduce job tracker runs at this host and port.

Nyissa meg a $ HADOOP_HOME / etc / hadoop / hdfs-site.xml fájlt az alábbiak szerint,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Adja meg a beállítási sorokat a és a címkék között

dfs.replication1Default block replication.
dfs.datanode.data.dir/home/hduser_/hdfs

Hozzon létre egy könyvtárat, amelyet a fenti beállítás-

sudo mkdir -p

sudo mkdir -p /home/hduser_/hdfs

sudo chown -R hduser_:hadoop_

sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750

sudo chmod 750 /home/hduser_/hdfs

4. lépés: A Hadoop első elindítása előtt formázza a HDFS-t az alábbi paranccsal

$HADOOP_HOME/bin/hdfs namenode -format

5. lépés: Indítsa el a Hadoop egycsomópontos fürtöt az alábbi paranccsal

$HADOOP_HOME/sbin/start-dfs.sh

A fenti parancs kimenete

$HADOOP_HOME/sbin/start-yarn.sh

A 'jps' eszköz / parancs használatával ellenőrizze, hogy az összes Hadoop-tal kapcsolatos folyamat fut-e vagy sem.

Ha a Hadoop sikeresen elindult, akkor a jps kimenetének meg kell jelenítenie a NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode elemeket.

6. lépés: Hadoop leállítása