Postingan

Menampilkan postingan dengan label HDFS

Teknologi Big Data Fundamental: Kelebihan Hadoop versi 2 dibanding Hadoop versi 1

Gambar
Apa itu Apache Hadoop Apache Hadoop adalah software framework yang memungkinkan pemrosesan data berukuran besar secara terdistribusi dengan melibatkan berkluster-kluster komputer. Hadoop didesain untuk dapat bekerja secara efektif baik dalam skala terkecil yang hanya melibatkan satu server hingga skala besar yang memperkerjakan ribuan komputer dimana masing-masing komputer tersebut memfasilitasi komputasi dan penyimpanan data secara lokal. Untuk menjamin High Availability, Hadoop tidak menggantungkannya pada hardware yang digunakan, tetapi framework Hadoop itu sendiri telah didesain untuk dapat mendeteksi dan menangani gagal fungsi (failure) pada level/layer aplikasi. Framework Hadoop terdiri atas 4 komponen (modul) utama, sebagai berikut: 1. Hadoop Distributed File System (HDFS), adalah file-system terdistribusi yang memfasilitasi penyimpanan data secara terdistribusi dalam kluster komputer. 2. Hadoop MapReduce, adalah sebuah sistem yang ditujukan untuk memproses data berukuran besar ...

Import data from HDFS to HBase

There are 2 ways to directly import data from HDFS to HBase 1. By Running MapReduce Program on Eclipse. 1) Make a new Java Project whose classpath is as follow: <? xml version = "1.0" encoding = "UTF-8" ?> < classpath >   < classpathentry kind = "src" path = "src" />   < classpathentry kind = "con" path = "org.eclipse.jdt.launching.JRE_CONTAINER" />   < classpathentry kind = "lib" path = "/home/hadoop/hbase-0.94.5/hbase-0.94.5.jar" />   < classpathentry kind = "lib" path = "/home/hadoop/hbase-0.94.5/lib/commons-cli-1.2.jar" />   < classpathentry kind = "lib" path = "/home/hadoop/hbase-0.94.5/lib/commons-logging-1.1.1.jar" />   < classpathentry kind = "lib" path = "/home/hadoop/hbase-0.94.5/lib/commons-configuration-1.6.jar" />   < classpathentry kind = "lib" path = "/h...

Langkah-langkah Set Up HBase

Gambar
Pada artikel " HBase:Hyper NoSQL Database " telah saya bahas dengan cukup detail tentang apa itu HBase mulai dari definisi, struktur data, arsitektur hingga keunggulan yang dimilikinya. Kali ini tiba saatnya untuk membahas step by step set up HBase untuk bisa memakai HBase dan merasakan performanya secara langsung. 1. Hal-hal yang harus disiapkan terlebih dahulu               1) PC dengan OS Linux (kali ini kita pakai CentOS-6.2 64 Bit)               2) Hadoop-1.0.4 (Silakan pilih salah satu mode Hadoop sbb)                  - InstallHadoop Mode Pseudo Distributed                  - Installhadoop Mode Fully Distributed               3) Open JDK-1.7...