Hadoop/Гарын авлага

Hadoop суулгах 
Алхам 1. Жава JDK суулгах magnai@ubuntu:~$ sudo apt-get update  magnai@ubuntu:~$ sudo apt-get upgrade magnai@ubuntu:~$ sudo apt-get install default-jdk  magnai@ubuntu:~$ sudo java -version (суусан жавагийн хувилбар харах) magnai@ubuntu:~$ sudo whereis java (суусан жавагийн замыг харах)

 Алхам 2. SSH суулгах magnai@ubuntu:~$ sudo apt-get install ssh magnai@ubuntu:~$ sudo apt-get install rsync magnai@ubuntu:~$ sudo ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa

 Алхам 3. Хэрэглэгчийн шинэ бүлэг нэмэх magnai@ubuntu:~$ sudo addgroup hadoop magnai@ubuntu:~$ sudo adduser --ingroup hadoop hduser

 Алхам 4. Hadoop суулгах hduser@ubuntu:~$ sudo wget www.us.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz hduser@ubuntu:~$ sudo tar xfz hadoop-2.6.0.tar.gz hduser@ubuntu:~$ sudo mv hadoop-2.6.0 /usr/local/hadoop hduser@ubuntu:~$ sudo chown hduser:hadoop -R /usr/local/hadoop hduser@ubuntu:~$ sudo update-alternatives--config java

<p>Алхам 5. Hadoop системийг суурилуулах явцад дараах тохиргоог заавал хийх шаардлагатай. Энэ тохиргоо нь суурилуулсны дараа Hadoop -г асаах унтраах гэх мэт үйлдлүүдийг Hadoop CLI програмаас ажиллуулах боломжийг олгодог.
 Алхам 5. Hadoop суурилуулалтын тохиргоо hduser@ubuntu:~$ sudo nano ~/.bashrc #HADOOP VARIABLES START export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" #HADOOP_VARIABLES END hduser@ubuntu:~$ sudo source ~/.bashrc

 Алхам 6. Hadoop системийн жава хэрэгжүүлэлтийн тохиргоо hduser@ubuntu:~$ sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

 Алхам 7. Hadoop системд хандах замын тохиргоо hduser@ubuntu:~$ sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml |-
|        fs.default.name
|-        
|        hdfs://localhost:9000
|-
| 

 Алхам 8. Yarn тохиргоо буюу HDFS файл системийн тохиргоо hduser@ubuntu:~$ sudo nano /usr/local/hadoop/etc/hadoop/yarn-site.xml |-
|        yarn.nodemanager.aux-services
|-
|        mapreduce_shuffle
|-
|  |-
|        yarn.nodemanager.aux-services.mapreduce.shuffle.class
|-
|        org.apache.hadoop.mapred.shuffleHandler
|-
| 

 Алхам 9. MapReduce зэрэгцээ боловсруулалтын тохиргоо hduser@ubuntu:~$ sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml |-
|        mapreduce.framework.name
|-
|        yarn
|-
| 

<p> Алхам 10. Энэ тохиргоо нь HDFS файл системийн цөм нь бөгөөд файл системийн бүх файлуудын мод бүтцийг хадгалдаг. Өөрөөр хэлбэл өгөгдлийг өөрийг нь хадгалдаггүй харин файлуудыг кластер дээр хаана хаана тархаан байрлуулсан талаарх мэдээллийг хадгалах боломжийг олгодог чухал тохиргоо юм. Хэрэглэгч ямар нэг файлыг олохын тулд NameNode- тэй харьцдаг. NameNode  өөрт байгаа файлуудын тухай мэдээллээс DataNode-г олж өгдөг. DataNode-д байгаа өгөгдлийг NameNode зааж өгдөг гэсэн үг юм. HDFS файл системд шинээр файл хадгалах үед түүнийг хэдэн удаа хуулбарлан хадгалахыг dfs.replication -р тохируулж өгдөг.
 Алхам 10. HDFS файл системийн тохиргоо hduser@ubuntu:~$ sudo mkdir -p /usr/local/hadoop_store/hdfs/namenode hduser@ubuntu:~$ sudo mkdir -p /usr/local/hadoop_store/hdfs/datanode hduser@ubuntu:~$ sudo chown -R hduser:hadoop /usr/local/hadoop2/store hduser@ubuntu:~$ sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml |-
|        dfs.replication
|-
|        1
|-
|  |-
|        dfs.namenode.name.dir
|-
|        file:/usr/local/hadoop_store/hdfs/namenode
|-
|  |-
|         dfs.datanode.data.dir
|-
|        file:/usr/local/hadoop_store/hdfs/datanode
|-
| 

 Алхам 11. Hadoop хувилбар харах hduser@ubuntu:~$ sudo hadoop version hduser@ubuntu:~$ sudo hadoop namenode -format

 Алхам 12. Hadoop -г эхлүүлэх  hduser@ubuntu:~$ sudo start-all.sh эсвэл (start-dfs.sh бас start-yarn.sh)

<p>Алхам 13. JPS команд нь жава програмчлалын хэл дээр бичигдсэн бөгөөд жава виртуал машин дээр ажиллаж байгааа процессуудын статусыг харуулдаг.
 Алхам 13. Hadoop -н ажиллагааг шалгах  hduser@ubuntu:~$ sudo jps

 Алхам 14. Hadoop -г зогсоох hduser@ubuntu:~$ sudo stop-all.sh эсвэл (stop-dfs.sh бас stop-yarn.sh)
Ангилал:Apache-Төсөл