Bukucilik

Segala sesuatu mulai dari definisi HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan bahkan...

Diantara para pengguna Internet di dunia, atau paling tidak di Indonesia, atau diantara yang membaca artikel ini, adakah yang tidak tahu Google? Dalam usia yang masih sangat muda, Google telah berhasil begitu memasyarakat dan sangat akrab di kalangan para peselancar dunia cyber. Di beberapa tempat Google bahkan telah mendapat julukan yang ditempatkan secara terhormat. Sebut saja di Indoneisia, saya pernah mendengar istilah Mbah Google, yang merujuk pada Google sebagai orang yang sudah matang dalam pengetahuan dan pengalaman. Di Jepang, di kalangan para akademisi, Google biasa disebut Google Sensei (Guru Google), yang menyiratkan bahwa Google itu adalah guru, seseorang yang kaya pengetahuan, tempat bertanya apa saja, dan bisa memberikan jawaban dengan sangat cepat. Tidak hanya di dunia maya Internet, di dunia nyata pun Google telah menjadi primadona.  Pada tahun 2012 Google telah dinobatkan sebagai tempatkerja terbaik diantara 100 perusahaan terbaik di Amerika . Jauh mengungguli Int...

Dalam artikel “ BigData dan Rahasia Kejayaan Google ”, telah dibahas tentang kesuksesan Google dalam mengelola dan memberdayakan Big Data yang telah menjadikannya raksasa Internet yang benar-benar besar dan berjaya. Telah disebutkan pula bahwa teknologi yang digunakan oleh Google untuk mengelola dan memberdayakan Big Data diantaranya adalah GoogleFile System , GoogleMapReduce dan Google Bigtable. Google File System dan Google MapReduce adalah teknologi yang dipergunakan oleh Google untuk menyimpan dan memproses data berukuran raksasa secara terdistribusi dan paralel dalam suatu cluster yang terdiri atas ribuan komputer. (Silakan simak “ GFS:Menggotongroyongkan Ribuan Komputer ala Google ” untuk pembahasan lebih detail tentang Google File System, dan “ MapReduce:Besar dan Powerful tapi tidak Ribet ” untuk pembahasan tentang MapReduce. Dengan adanya GFS dan MapReduce, Google telah mampu mengelola dan memanfaatkan Big Data secara efektif dan efisien yang tidak akan mungkin bisa dicapa...

Dengan teknologi crawler-nya Google telah mampu mendownload seluruh web page yang ada di dunia maya Internet dan terus-menerus meng-update-nya. Lalu, dimana dan bagaimana Google bisa menyimpan dan mengolah file berukuran super besar ini? Apakah Google menyimpannya dalam Hard Disk Drive (HDD) yang super besar juga? Jawabannya, tentu tidak. Solusinya bukan HDD super besar tapi gotong-royong. Gotong-royong dapat membuat pekerjaan yang besar menjadi lebih ringan, dan budaya ini sudah biasa dilakukan bangsa kita sejak ratusan tahun yang lalu. Pertanyaannya, bagaimana komputer bisa bergotong-royong? Dalam artikel " Big Data dan Rahasia Kejayaan Google " telah disebutkan bahwa Google menggunakan teknologi yang disebut Google File System (GFS), Google MapReduce dan Google Bigtable untuk mengolah dan memberdayakan Big Data. Kemudian MapReduce dibahas lebih detail pada artikel " Google MapReduce: Besar dan Powerful tapi tidak Ribet ". Pada kesempatan ini kita akan berbincang ...

Dalam artikel “ Big Data dan Rahasia Kejayaan Google ”, telah disebutkan beberapa teknologi yang digunakan oleh Google untuk mengolah dan memberdayakan Big Data. Diantaranya adalah Google File System (GFS), Google MapReduce, dan Bigtable. Kita akan membahas ketiga teknologi ini secara lebih detail namun tetap dikemas secara sederhana, biar gak kelihatan ribet alias complicated. Langsung saja, kali ini kita akan membahas tentang apa itu MapReduce.   Definisi Setiap istilah perlu definisi, dan harus ada kesepakatan akan definisi tersebut biar tidak terjadi salah pengertian ataupun salah paham diantara para pengguna istilah tersebut. MapReduce pun punya definisi. MapReduce adalah model pemrograman rilisan Google yang ditujukan untuk memproses data berukuran raksasa secara terdistribusi dan paralel dalam cluster yang terdiri atas ribuan komputer. Dalam memproses data, secara garis besar MapReduce dapat dibagi dalam dua proses yaitu proses Map dan proses Reduce. Kedua jenis proses ini...