Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10

    Hadoop adalah framework open-source berbasis Java yang ditujukan untuk memproses data secara terdistribusi melalui kemampuan penyimpanan data secara terdistribusi. Hadoop dapat menyimpan data apapun dan memprosesnya dengan model pemrograman MapReduce. Hadoop didesain untuk dapat mengatasi permasalahan yang disebabkan oleh kegagalan fungsi hardware sehingga dapat mencegah hilangnya data maupun proses kerja. Hadoop memotong-motong data untuk didistribusikan ke setiap node di dalam suatu kluster untuk kemudian diproses secara paralel dan lokal di tiap node yang bersangkutan.

Kebutuhan Software

Berikut adalah software yang harus disiapkan untuk dapat menjalankan Hadoop 2 mode standalone dengan OS Windows 7 atau Windows 10:
  2. Apache Hadoop 2.7.7, dapat diunduh dari https://hadoop.apache.org/releases.html
  3. Hadoop Patch File untuk OS Windows, dapat diunduh dari https://github.com/wmwijaya/hadoop2-standalone-windows7-windows10

Langkah-langkah Install Hadoop 2 (dalam tutorial ini digunakan Hadoop-2.7.7):

  1. Download JDk 1.8 dari URL Java JDK diatas, install dan kemudian set JAVA_HOME dan Path pada Environment Variables>System Variables Windows. JAVA_HOME adalah lokasi Java di-install C:\Program Files\Java\jdk1.8.0_201 sedangkan Path untuk Java adalah C:\Program Files\Java\jdk1.8.0_201\bin


    2. Unduh JDK-8u201 Windows x64

    Install Java 8

    Set JAVA_HOME Tampilan Windows 7

    Set Path Java Tampilan Windows 7


  2. Download Apache Hadoop-2.7.7 (hadoop-2.7.7.tar.gz). Ekstrak, kemudian pindahkan ke lokasi yang dikehendaki. Pada tutorial ini, direktori hadoop-2.7.7 adalah C:\hadoop-2.7.7
  3. Edit file hadoop-env.cmd yang ada di direktori C:\hadoop-2.7.7\etc\hadoop menggunakan Notepad atau Notepad++ atau text editor lain: set variabel JAVA_HOME sesuai lokasi instal Java JDK 1.8 pada OS Windows 7. Pada tutorial ini adalah: set JAVA_HOME=C:"\Program Files\Java\jdk1.8.0_201"

  4. Edit file core-site.xml yang ada di direktori C:\hadoop-2.7.7\etc\hadoop dengan menggunakan Notepad atau Notepad++ atau text editor lain. Silahkan di-copy-paste contoh berikut:

  5. Edit file hdfs-site.xml yang terdapat pada direktori C:\hadoop-2.7.7\etc\hadoop untuk menentukan jumlah replika yang harus dibuat, kemudian lokasi namenode dan datanode seperti pada contoh: (Ingat! pastikan untuk membuat direktori namenode dan datanode, yaitu C:/hadoop-2.7.7/data/namenode dan C:/hadoop-2.7.7/data/datanode)

  6. Masih di direktori C:\hadoop-2.7.7\etc\hadoop, copy file mapred-site.xml.template, kemudian paste pada direktori ini dan ganti namanya menjadi mapred-site.xml. Edit seperti contoh berikut untuk menentukan dimana aplikasi MapReduce pada Hadoop harus dijalankan.

  7. Tetap pada direktori C:\hadoop-2.77\etc\hadoop, edit file yarn-site.xml seperti pada contoh berikut:

  8. Agar Hadoop dapat dioperasikan pada OS Windows, diperlukan patch file Hadoop yang spesifik untuk OS Windows. Patch file ini secara default tidak menjadi bawaan Hadoop. Patch file tersebut bisa diperoleh dari Github URL https://github.com/wmwijaya/hadoop2-standalone-windows7-windows10 dengan mengunduh semua file yang ada dalam direktori bin. Kemudian, hapus semua file yang ada dalam direktori C:\hadoop-2.7.7\bin, ganti dengan patch file yang sudah diunduh tersebut.
  9. Set HADOOP_HOME dan Path pada Environment Variables>System Variables Windows. Nilai variabel HADOOP_HOME adalah C:\hadoop-2.7.7 sedangkan pada variabel Path silakan diisi C:\hadoop-2.7.7\bin dan C:\hadoop-2.7.7\sbin seperti setting JAVA_HOME dan Path pada langkah 1.
  10. Jalankan aplikasi Command Prompt Windows sebagai Administrator, kemudian eksekusi perintah hadoop namenode -format atau hdfs namenode -format (lebih dianjurkan perintah yang ke-2 karena yang pertama sudah deprecated ).
  11. Jalankan Command Prompt Windows sebagai Administrator, eksekusi perintah start-all.cmd atau start-dfs.cmd dan start-yarn.cmd untuk menjalankan Namenode, Datanode, Resource Manager, dan Nodemanager. Masing-masing service tersebut akan membuka jendela Command Prompt baru. Jika anda ingin mengetahui service apa saja yang sedang berjalan, silakan eksekusi perintah jps di Command Prompt.

    12. Memastikan service yang sedang berjalan: jps

Demikian, Hadoop sudah selesai di-install dan berjalan pada mode standalone. Penampilan GUI-nya dapat diakses melalui URL berikut:
  1. Resource Manager : http://localhost:8088 
Resource Manager
Namenode


Selamat mencoba!

Setelah Hadoop terinstall di Windows, sekarang kita bisa menjalankan Aplikasi MapReduce dan Spark. Silakan ikuti tutorial berikut:
1. Membuat dan Menjalankan Aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows
2. Membuat dan Menjalankan Aplikasi Apache Spark dengan Intellij IDEA pada OS Windows

Komentar

Posting Komentar

Postingan populer dari blog ini

Pemilihan Presiden dan Wakil Presiden

Gambar
Pemilihan Presiden dan Wakil Presiden merupakan salah satu materi yang terdapat pada mata pelajaran Pendidikan Kewarganegaraan kelas 6. Materi Pemilihan Presiden dan Wakil Presiden ini mengulas tentang bagaimana proses Pemilihan calon Presiden dan Wakil Presiden secara demokrasi, mulai dari penentuan calon peserta, pemilih, cara berkampanye, pemungutan suara hingga penetapan calon terpilih. Berikut ulasan materinya. semoga bermanfaat.  Sebelum pemilu tahun 2004 pemilihan Presiden dan Wakil Presiden RI dilakukan oleh Majelis Permusyawaratan Rakyat (MPR). Namun, mulai Pemilu 2004 calon Presiden dan Wakil Presiden RI dipilih secara langsung oleh bangsa Indonesia melalui pemilihan umum presiden dan wakil presiden. Proses pemilihan calon presiden dan wakil presiden dan tahapan-tahapannya hampir sama dengan pemilihan DPR, DPRD, dan DPRD. Pemilu presiden dan wakil presiden diselenggarakan oleh KPU. 1. Peserta Pemilu Presiden dan Wakil Presiden Peserta pemilu presiden dan wakil presiden ad...
Baca selengkapnya

Kerajaan Singasari

Gambar
Kerajaan Singasari berdiri pada tahun 1222. Kerajaan ini didirikan oleh Ken Arok. Ia mendirikan Singasari setelah mengalahkan Kerajaan Kediri pada pertempuran di Ganter. Kerajaan Singasari terletak di antara Kota Lawang - Malang, Jawa Timur. Ken Arok adalah pembentuk dinasti Rajasa sebagai raja yang memiliki pengaruh di kerajaannya. Ia berusaha mempertahankan keberadaan Singasari atas keturunannya sendiri. Tohjoyo direncanakan sebagai penggantinya. Namun, sebelum rencananya terwujud terjadi kemelut dalam kerajaan. Anusapati (anak Tunggul Ametung) membunuh Ken Arok melalui orang upahan. Setelah mengetahui bapaknya dibunuh, Tohjoyo lalu membunuh Anusapati pada tahun 1248. Rencana balas dendam antar keturunan terus berlanjut. Tohjoyo pun mengalami nasib yang sama. Ia dibunuh oleh keturunan Anusapati. Akhirnya, pada tahun 1268 Wisnuwardhana memerintah di Kerajaan Singasari. Mulai masa itulah kerajaan ini berhenti bertikai dengan bantuan Mahesa Campaka. Mahesa Cempaka adalah saudara seayah ...
Baca selengkapnya

Pesawat Sederhana

Gambar
Berikut ini merupakan materi IPA kelas 5 tentang Pesawat sederhana yang dapat kalian pelajari. Berikut uraian singkat materi pesawat sederhana. PESAWAT SEDERHANA Pesawat sederhana dirancang untuk memudahkan pekerjaan manusia. Untuk lebih jelasnya maka kita akan memperlajari prinsip-prinsip pada bidang miring. 1. Tuas Pengungkit merupakan tuas yang paling sederhana. janis tuas dibedakan menjadi 3 golongan yaitu; a. pengungkit jenis I Urutannya yaitu beban - titik tumpu - kuasa Contoh: gunting dan tang b. pengungkit jenis II Kuasa - beban - titik tumpu Contohnya mendorong gerobak pasir c. pengungkit jenis III Contohnya memegang sekop untuk mengambil tanah 2. Bidang Miring Bidang miring adalah letak permukaan-permukaan yang miring. Bidang miring digunakan untuk memudahkan pekerjaan kita. Misalnya, memindahkan kayu ke dalam truk. Keuntungan menggunakan bidang miring. Tenaga yang dibutuhkan sama, tetapi memudahkan usaha atau kerja. Kelemahan bidang miring adalah jarak tempuhnya menjadi jau...
Baca selengkapnya