Bukucilik

    Pada artikel " Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data " telah diperkenalkan secara singkat tentang apa itu Apache Spark dan kegunaannya. Kali ini kita akan mencoba untuk membuat dan menjalankan sebuah aplikasi Spark sederhana dengan sumber data dari Hadoop yang telah di-install dengan mode standalone pada OS Windows. Tutorial ini menggunakan Windows 10 dan Software berikut: Java JDK-1.8; cara install ada di Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10 Apache Hadoop-2.7.7; cara install ada di Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10 IDE Intellij IDEA; download dari https://www.jetbrains.com/idea/     Sebelum mulai install Spark, jalankan Hadoop yang sudah diinstall. Buat direktori di Hadoop yang akan digunakan untuk menyimpan file teks yang akan diproses menggunakan Apache Spark. Gunakan perintah berikut:     hdfs dfs -mkdir /tmp/input     Kemudian, cop...

Pada artikel Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10 telah dibahas bagaimana menginstall Hadoop 2 mode standalone pada OS Windows 7 maupun Windows 10. Setelah Hadoop berhasil di-install, kali ini kita akan mencoba untuk membuat dan menjalankan sebuah contoh aplikasi MapReduce "WordCount" dengan menggunakan IDE Intellij IDEA pada OS Windows. Kebetulan versi OS yang digunakan adalah Windows 10. Software yang diperlukan adalah sebagai berikut ( sudah harus terinstal dan berjalan normal ) : JDK 1.8; cara install ada di  Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10 Hadoop-2.7.7; cara install ada di  Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10 Langkah-langkah menjalankan aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows Start Intellij IDEA as Administrator Buka Intellij IDEA as Administrator Buat Maven Project dari menu File > New > Project > Maven ( silak...

    Hadoop adalah framework open-source berbasis Java yang ditujukan untuk memproses data secara terdistribusi melalui kemampuan penyimpanan data secara terdistribusi. Hadoop dapat menyimpan data apapun dan memprosesnya dengan model pemrograman MapReduce. Hadoop didesain untuk dapat mengatasi permasalahan yang disebabkan oleh kegagalan fungsi hardware sehingga dapat mencegah hilangnya data maupun proses kerja. Hadoop memotong-motong data untuk didistribusikan ke setiap node di dalam suatu kluster untuk kemudian diproses secara paralel dan lokal di tiap node yang bersangkutan. Kebutuhan Software Berikut adalah software yang harus disiapkan untuk dapat menjalankan Hadoop 2 mode standalone dengan OS Windows 7 atau Windows 10: Java JDK 1.8, dapat diunduh dari https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Apache Hadoop 2.7.7, dapat diunduh dari https://hadoop.apache.org/releases.html Hadoop Patch File untuk OS Windows, dapat diunduh dari http...

Mengikuti Sukses Implementasi Teknologi Big Data Pemberitaan tentang suksesnya implementasi teknologi Big Data di negara-negara maju oleh perusahaan-perusahaan web service seperti halnya Google, Facebook, Amazon, maupun Yahoo!, mungkin sudah cukup sering kita simak. Bukan hanya oleh sektor swasta, di Amerika Serikat teknologi Big Data juga telah sukses diterapkan oleh institusi-institusi pemerintah. Sebagai salah satu contohnya, sebut saja NOAA (National Oceanic and Atmospheric Administration) yang mengelola 30 petabytes data baru pertahunnya. Data-data tersebut berasal satelit, kapal laut, pesawat terbang, buoy, dan sensor-sensor lainnya, yang kemudian diberdayakan untuk menyediakan layanan cuaca nasional (National Weather Service). Layanan cuaca ini menyediakan informasi seputar peringatan cuaca buruk maupun petunjuk cuaca untuk sektor publik dan swasta, termasuk Departemen Pertahanan Amerika Serikat dan NASA. Dalam hal ini, Indonesia tidak mau ketinggalan, dalam beberapa tahun terak...

Apa itu Apache Hadoop Apache Hadoop adalah software framework yang memungkinkan pemrosesan data berukuran besar secara terdistribusi dengan melibatkan berkluster-kluster komputer. Hadoop didesain untuk dapat bekerja secara efektif baik dalam skala terkecil yang hanya melibatkan satu server hingga skala besar yang memperkerjakan ribuan komputer dimana masing-masing komputer tersebut memfasilitasi komputasi dan penyimpanan data secara lokal. Untuk menjamin High Availability, Hadoop tidak menggantungkannya pada hardware yang digunakan, tetapi framework Hadoop itu sendiri telah didesain untuk dapat mendeteksi dan menangani gagal fungsi (failure) pada level/layer aplikasi. Framework Hadoop terdiri atas 4 komponen (modul) utama, sebagai berikut: 1. Hadoop Distributed File System (HDFS), adalah file-system terdistribusi yang memfasilitasi penyimpanan data secara terdistribusi dalam kluster komputer. 2. Hadoop MapReduce, adalah sebuah sistem yang ditujukan untuk memproses data berukuran besar ...

SSH (Secure SHELL) adalah protokol network yang bersifat open source dan yang paling dipercaya untuk login ke remote server guna menjalankan command maupun program. SSH juga digunakan untuk mentransfer file dari satu komputer ke komputer lain melalui network dengan menggunakan protokol secure copy (SCP). Artikel kali ini akan membahas tentang langkah - langkah sederhana untuk dapat melakukan login tanpa password ke remote server dengan OS Linux CentOS, dalam hal ini CentOS 7, dengan menggunakan SSH keys, yang dikenal dengan istilah SSH Password-less Login. Langkah - langkah ini juga dapat diterapkan pada server dengan OS RHEL dan Linux Fedora. Penggunaan login tanpa password (Passwordless Login) dengan SSH keys tentu akan dapat meningkatkan saling percaya antara dua server Linux untuk dapat saling bertukar file/data dengan mudah. SSH Passwordless Login juga telah menjadi syarat mutlak untuk dapat menjalankan Hadoop pada suatu cluster komputer. Hal ini diwajibkan karena server - serve...