Menjalankan Hadoop MapReduce Mode Pseudo-distributed dengan Linux


Pada artikel sebelumnya (Menjalankan Hadoop MapReduce dengan Eclipse Java SE) telah dijelaskan bagaimana cara instal Hadoop dan menjalankan aplikasi MapReduce mode standalone dengan menggunakan Eclipse Java SE yang diinstal di Windows.

Kali ini saya akan menjelaskan langkah-langkah untuk menginstal Hadoop mode pseudo-distributed di Linux dan menjalankan contoh aplikasi MapReduce.

Tools yang perlukan :
Hadoop-0.20.2.tar.gz file, dapat di-download dari http://hadoop.apache.org/
Setelah Hadoop-0.20.2.tar.gz di-ekstrak, simpanlah di home diterctory atau directory lain yang dikehendaki, kemudian ikutilah langkah-langkah berikut :

1. Konfigurasi Hadoop
Didalam directory Hadoop-0.20.2 terdapat directory conf yang berisi file-file konfigurasi untuk Hadoop. Buka directory Hadoop-0.20.2/conf , kemudian edit isi file core-site.xml, hdfs-site.xm. dan mapred-site.xml seperti sbb:

Setting pada core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<!-- core-site.xml -->

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost/</value>
    <final>true</final>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/temp</value>
    <final>true</final>
  </property>
</configuration>

Setting pada hdfs-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<!-- hdfs-site.xml -->

<configuration>
  <property>
    <name>dfs.name.dir</name>
    <value>${hadoop.tmp.dir}/dfs/name</value>
    <final>true</final>
  </property>

  <property>
    <name>dfs.data.dir</name>
    <value>${hadoop.tmp.dir}/dfs/data</value>
    <final>true</final>
  </property>

  <property>
    <name>fs.checkpoint.dir</name>
    <value>${hadoop.tmp.dir}</value>
    <final>true</final>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

Setting pada mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>

<!-- mapred-site.xml -->

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.local.dir</name>
    <value>${hadoop.tmp.dir}/mapred/local</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.system.dir</name>
    <value>${hadoop.tmp.dir}/mapred/system</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx200m</value>
    <!-- Not marked as final so jobs can include JVM debugging options -->
  </property>
</configuration>

2. Konfigurasi SSH
Pada mode psudo-distributed, Hadoop akan menjalankan beberapa daemons. Oleh karena itu SSH harus diinstal dan di-setting agar Hadoop bisa masuk dengan SSH ke localhost tanpa harus memasukkan password.
Pertama, cek apakah SSH sudah terinstal atau belum dengan command berikut:
              % sudo apt-get install ssh
Kemudian ijinkan login SSH ke localhost tanpa menggunakan password:
              % ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
              % cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
Test setting dengan command berikut:
              % ssh localhost
Jika sukses, maka anda akan bisa login dengan SSH tanpa menggunakan password.

3. Format HDFS
Seperti halnya hardisk pada PC yang sebelum digunakan harus diformat dulu dengan filesystem yang akan digunakan (FAT32, NTFS dsb), HDFS pun demikian. Sebelum Hadoop bisa digunakan, HDFS harus diformat dulu. Buka directory hadoop-0.20.2 dan dari directory ini execute command berikut untuk men-format HDFS:

              % bin/hadoop namenode -format

Setelah diformat, Hadoop sudah siap dijalankan dengan men-start daemons HDFS dan MapReduce dengan command berikut:

              % bin/start-dfs.sh
              % bin/start-mapred.sh

Setelah Hadoop di-start, kita bisa memastikan apakah daemons Hadoop tersebut sudah berjalan atau tidak dengan menggunakan browser internet (Internet Explorer, Firefox, Google Chrome dsb). Masukkan URL berikut ke address bar browser yang digunakan.

              http://localhost:50030/        --url jobtracker
              http://localhost:50070/        --url namenode

Untuk menghentikan daemons Hadoop, gunakan command berikut:

              % bin/stop-mapred.sh
              % bin/stop-dfs.sh

Bila langkah-langkah diatas berjalan normal, brarti instal Hadoop mode pseudo-distributed telah sukses dan Hadoop telah siap menjalankan aplikasi MapReduce. Berikutnya kita akan mencoba menjalankan contoh aplikasi MapReduce yang dinamai WordCount, sama seperti aplikasi yang dijalankan pada Hadoop mode standalone pada artikel sebelumnya (MenjalankanAplikasi MapReduce dengan Eclipse Java SE). Silakan download / copy source code aplikasi WordCount.java dari artikel tersebut.

3. Menjalankan aplikasi WordCount
Untuk menjalankan contoh aplikasi WordCount, silakan ikuti langkah-langkah sbb:

              a. Buat directory baru pada home directory dan beri nama wordcount (atau nama yang sesuai selera masing2). Buat file baru dengan nama WordCount.java dan paste source code WordCount.java pada artikel Menjalankan Aplikasi MapReduce dengan Eclipse java SE.
              b. Compile program WordCount.java dengan command berikut (saya asumsikan kita berada di directory hadoop-0.20.2):

             % javac -classpath hadoop-0.20.2-core.jar:lib/commons-cli-1.2.jar /home/wordcount/WordCount.java

Bila compile sukses, maka akan dihasilkan tiga class file :     
             
              WordCount.class
              WordCount$TokenizerMapper.class
              WordCount$IntSumReducer.class

Buat directory baru dengan nama classes, dan pindahkan ketiga class file tsb ke dalam directory classes.
              c. Buat WordCount.jar dengan mengeksekusi command berikut dari directory wordcount:

              % jar -cvf WordCount.jar -C classes/ .

Bila sukses, maka akan dihasilkan file WordCount.jar
              d. Buat directory input pada HDFS dengan command berikut (saya asumsikan kita berada di directory hadoop-0.20.2)

              % bin/hadoop dfs -mkdir /user/input
              % bin/hadoop dfs -ls /user

              e. Copy text file yang akan diproses dengan menggunakan aplikasi WordCount ke directory input pada HDFS dengan command berikut:

              % bin/hadoop dfs -copyFromLocal /home/contoh.txt /user/input
              % bin/hadoop dfs -ls /user/input

              f. Setelah itu kita jalankan program WordCount dengan command berikut:
              bin/hadoop jar /home/wordcount/WordCount.jar WordCount /user/input /user/output
              bila sukses akan muncul text berikut pada console:

              13/01/28 10:58:09 INFO input.FileInputFormat: Total input paths to process : 1
              13/01/28 10:58:09 INFO mapred.JobClient: Running job: job_201301150937_0002
              13/01/28 10:58:10 INFO mapred.JobClient:  map 0% reduce 0%
              13/01/28 10:58:17 INFO mapred.JobClient:  map 100% reduce 0%
              13/01/28 10:58:29 INFO mapred.JobClient:  map 100% reduce 100%
              13/01/28 10:58:31 INFO mapred.JobClient: Job complete: job_201301150937_0002
              13/01/28 10:58:31 INFO mapred.JobClient: Counters: 17
              13/01/28 10:58:31 INFO mapred.JobClient:   Job Counters
              13/01/28 10:58:31 INFO mapred.JobClient:     Launched reduce tasks=1
              13/01/28 10:58:31 INFO mapred.JobClient:     Rack-local map tasks=1
              13/01/28 10:58:31 INFO mapred.JobClient:     Launched map tasks=1
              13/01/28 10:58:31 INFO mapred.JobClient:   FileSystemCounters
              13/01/28 10:58:31 INFO mapred.JobClient:     FILE_BYTES_READ=27105
              13/01/28 10:58:31 INFO mapred.JobClient:     HDFS_BYTES_READ=19099
              13/01/28 10:58:31 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=54242
              13/01/28 10:58:31 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=20699
              13/01/28 10:58:31 INFO mapred.JobClient:   Map-Reduce Framework
              13/01/28 10:58:31 INFO mapred.JobClient:     Reduce input groups=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Combine output records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Map input records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Reduce shuffle bytes=0
              13/01/28 10:58:31 INFO mapred.JobClient:     Reduce output records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Spilled Records=3200
              13/01/28 10:58:31 INFO mapred.JobClient:     Map output bytes=23899
              13/01/28 10:58:31 INFO mapred.JobClient:     Combine input records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Map output records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Reduce input records=1600

              g. Buka directory /uer/output pada HDFS dan cek hasilnya:

              % bin/hadoop dfs -ls /user/output
              % bin/hadoop dfs -cat /user/output/part-r-00000

              Hasil eksekusi aplikasi WordCount juga dapat dilihat menggunakan Web Browser di http://localhost:50070/

Demikian langkah-langkah instal Hadoop mode pseudo-distributed di Linux beserta cara menjalankan contoh aplikasi MapReduce. Selamat mencoba!.

Referensi:
1. "Hadoop: The Definitive Guide, Third Edition", Tom White, O'Reilly 2012.
2. hadoop-tutorial.blogspot.jp/2010/11/running-hadoop-in-pseudo-distributed.html

Komentar

Posting Komentar

Postingan populer dari blog ini

Pemilihan Presiden dan Wakil Presiden

Gambar
Pemilihan Presiden dan Wakil Presiden merupakan salah satu materi yang terdapat pada mata pelajaran Pendidikan Kewarganegaraan kelas 6. Materi Pemilihan Presiden dan Wakil Presiden ini mengulas tentang bagaimana proses Pemilihan calon Presiden dan Wakil Presiden secara demokrasi, mulai dari penentuan calon peserta, pemilih, cara berkampanye, pemungutan suara hingga penetapan calon terpilih. Berikut ulasan materinya. semoga bermanfaat.  Sebelum pemilu tahun 2004 pemilihan Presiden dan Wakil Presiden RI dilakukan oleh Majelis Permusyawaratan Rakyat (MPR). Namun, mulai Pemilu 2004 calon Presiden dan Wakil Presiden RI dipilih secara langsung oleh bangsa Indonesia melalui pemilihan umum presiden dan wakil presiden. Proses pemilihan calon presiden dan wakil presiden dan tahapan-tahapannya hampir sama dengan pemilihan DPR, DPRD, dan DPRD. Pemilu presiden dan wakil presiden diselenggarakan oleh KPU. 1. Peserta Pemilu Presiden dan Wakil Presiden Peserta pemilu presiden dan wakil presiden ad...
Baca selengkapnya

Kerajaan Singasari

Gambar
Kerajaan Singasari berdiri pada tahun 1222. Kerajaan ini didirikan oleh Ken Arok. Ia mendirikan Singasari setelah mengalahkan Kerajaan Kediri pada pertempuran di Ganter. Kerajaan Singasari terletak di antara Kota Lawang - Malang, Jawa Timur. Ken Arok adalah pembentuk dinasti Rajasa sebagai raja yang memiliki pengaruh di kerajaannya. Ia berusaha mempertahankan keberadaan Singasari atas keturunannya sendiri. Tohjoyo direncanakan sebagai penggantinya. Namun, sebelum rencananya terwujud terjadi kemelut dalam kerajaan. Anusapati (anak Tunggul Ametung) membunuh Ken Arok melalui orang upahan. Setelah mengetahui bapaknya dibunuh, Tohjoyo lalu membunuh Anusapati pada tahun 1248. Rencana balas dendam antar keturunan terus berlanjut. Tohjoyo pun mengalami nasib yang sama. Ia dibunuh oleh keturunan Anusapati. Akhirnya, pada tahun 1268 Wisnuwardhana memerintah di Kerajaan Singasari. Mulai masa itulah kerajaan ini berhenti bertikai dengan bantuan Mahesa Campaka. Mahesa Cempaka adalah saudara seayah ...
Baca selengkapnya

Pesawat Sederhana

Gambar
Berikut ini merupakan materi IPA kelas 5 tentang Pesawat sederhana yang dapat kalian pelajari. Berikut uraian singkat materi pesawat sederhana. PESAWAT SEDERHANA Pesawat sederhana dirancang untuk memudahkan pekerjaan manusia. Untuk lebih jelasnya maka kita akan memperlajari prinsip-prinsip pada bidang miring. 1. Tuas Pengungkit merupakan tuas yang paling sederhana. janis tuas dibedakan menjadi 3 golongan yaitu; a. pengungkit jenis I Urutannya yaitu beban - titik tumpu - kuasa Contoh: gunting dan tang b. pengungkit jenis II Kuasa - beban - titik tumpu Contohnya mendorong gerobak pasir c. pengungkit jenis III Contohnya memegang sekop untuk mengambil tanah 2. Bidang Miring Bidang miring adalah letak permukaan-permukaan yang miring. Bidang miring digunakan untuk memudahkan pekerjaan kita. Misalnya, memindahkan kayu ke dalam truk. Keuntungan menggunakan bidang miring. Tenaga yang dibutuhkan sama, tetapi memudahkan usaha atau kerja. Kelemahan bidang miring adalah jarak tempuhnya menjadi jau...
Baca selengkapnya