Penerapan Model Pemrograman MapReduce Menggunakan Java dan MongoDB untuk Mencari Mutual Friends ala Facebook

Pada artikel "Mengaplikasikan MapReduce untuk Mencari Mutual Friends ala Facebook" telah dijelaskan bagaimana menerapkan pola pemrograman MapReduce untuk mencari mutual friends atau friends in common pada hubungan pertemanan di jejaring sosial ala Facebook. Pada artikel ini akan dibahas implementasi atau penerapan pola pemrograman MapReduce tersebut menggunakan bahasa program Java dan database NoSQL MongoDB. Bagi yang masih asing dengan MongoDB, silakan menyimak artikel "MongoDB : Database NoSQL Berbasis Dokumen yang sedang Naik Daun di Era Big Data" untuk mengenal database berbasis dokumen MongoDB. Kemudian, untuk cara instal MongoDB dijelaskan dalam artikel "Web Crawling: Menyerap isi Website dan Membangun Mesin Pencari ala Google Menggunakan Apache Nutch, Elasticsearch, dan MongoDB-bagian 2/3". Jadi, disini kita akan langsung mulai mengoperasikan MongoDB melalui Mongo Shell dan dengan menggunakan bahasa program Java melalui MongoDB Java Driver.

Pada contoh kasus implementasi MapReduce kali ini, kita akan membuat sebuah daftar pertemanan atau friend list yang disimpan di database MongoDB. Friend list tersebut akan terdiri atas: 
Annya -> [Brahm, Chieya, Dipa]
Brahm -> [Annya, Chieya, Dipa, Elsa]
Chieya -> [Annya, Brahm, Dipa, Elsa]
Dipa -> [Annya, Brahm, Chieya, Elsa]
Elsa -> [Brahm, Chieya, Dipa]
Sekarang kita simpan daftar pertemanan ini di MongoDB dalam sebuah collection bernama friendList. 

> db.createCollection("friendList")
{ "ok" : 1 }

> db.friendList.insert({"name":"Annya", "friend":["Brahm", "Chieya", "Dipa"]})
WriteResult({ "nInserted" : 1 })
> db.friendList.insert({"name":"Brahm", "friend":["Annya", "Chieya", "Dipa", "Elsa"]})
WriteResult({ "nInserted" : 1 })
> db.friendList.insert({"name":"Chieya", "friend":["Annya", "Brahm", "Dipa", "Elsa"]})
WriteResult({ "nInserted" : 1 })
> db.friendList.insert({"name":"Dipa", "friend":["Annya", "Brahm", "Chieya", "Elsa"]})
WriteResult({ "nInserted" : 1 })
> db.friendList.insert({"name":"Elsa", "friend":["Brahm", "Chieya", "Dipa"]})
WriteResult({ "nInserted" : 1 })
> db.friendList.find().pretty()
{
 "_id" : ObjectId("57e4015224b826076341a42c"),
 "name" : "Annya",
 "friend" : [
  "Brahm",
  "Chieya",
  "Dipa"
 ]
}
{
 "_id" : ObjectId("57e4017024b826076341a42d"),
 "name" : "Brahm",
 "friend" : [
  "Annya",
  "Chieya",
  "Dipa",
  "Elsa"
 ]
}
{
 "_id" : ObjectId("57e4018424b826076341a42e"),
 "name" : "Chieya",
 "friend" : [
  "Annya",
  "Brahm",
  "Dipa",
  "Elsa"
 ]
}
{
 "_id" : ObjectId("57e4019a24b826076341a42f"),
 "name" : "Dipa",
 "friend" : [
  "Annya",
  "Brahm",
  "Chieya",
  "Elsa"
 ]
}
{
 "_id" : ObjectId("57e401b924b826076341a430"),
 "name" : "Elsa",
 "friend" : [
  "Brahm",
  "Chieya",
  "Dipa"
 ]
}
>

Sampai disini, telah berhasil dibuat sebuah collection bernama friendList yang berisi daftar teman dari 5 orang user yaitu Annya, Brahm, Chieya, Dipa dan Elsa.

Selanjutnya, kita akan membuat dua Java class untuk mengakses data daftar pertemanan dalam collection friendList, yaitu: MongodbConfiguration.Java dan MapReduce.java. MongodbConfiguration.java digunakan untuk mengatur konfigurasi server database MongoDB tempat collection friendList disimpan. Sedangkan MapReduce.java adalah source code implementasi pola pemrograman MapReduce untuk mencari mutual friends dari daftar pertemanan yang disimpan dalam collection friendList. Langsung saja, berikut adalah source code kedua Java class tersebut.

MongodbConfiguration.java
package com.teknologibigdata.mongodb;

import com.mongodb.MongoClient;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoDatabase;
import org.bson.Document;

/**
 *
 * @author Wayan M. Wijaya
 */
public class MongodbConfiguration {
    
    static final String host = "localhost";
    static final int port = 27017;
    static final String dbName = "teknologi-bigdata";
   
    final MongoClient mongoClient;
    final MongoDatabase mongoDatabase;
    
    
    public MongodbConfiguration(){
        mongoClient = new MongoClient(host, port);
        mongoDatabase = mongoClient.getDatabase(dbName);
    }
    
    
}


MapReduce.java
package com.teknologibigdata.mongodb;

import com.mongodb.client.FindIterable;
import com.mongodb.client.MongoCollection;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashMap;
import java.util.Map;
import org.bson.Document;

/**
 *
 * @author Wayan M. Wijaya
 */
public class MapReduce {
    
    public final MongoCollection&ltDocument&gt rawCollection;
    //public final MongoCollection&ltDocument&gt resultCollection;
    
    public MapReduce(MongodbConfiguration config){
        rawCollection = config.mongoDatabase.getCollection("friendList");
    }

    private ArrayList&ltDocument&gt map(ArrayList&ltDocument&gt friendList){
        ArrayList&ltDocument&gt mapResult = new ArrayList&lt&gt();
        
        for(Document personFriend:friendList){
            ArrayList&ltDocument&gt mapFriend = new ArrayList&lt&gt();
            String name = personFriend.getString("name");
            ArrayList friends = (ArrayList)personFriend.get("friend");
            
            for(int i=0; i&ltfriends.size(); i++){
                ArrayList key = new ArrayList();
                key.add(name);
                key.add(friends.get(i));
                Document kv = new Document();
                kv.append("key", key);
                kv.append("value", friends);
                Collections.sort(key);
                mapFriend.add(kv);
            }
            
            mapResult.addAll(mapFriend);
            
        }
        
        return mapResult;
    }
    
    private Map&ltArrayList, ArrayList&ltArrayList&gt&gt group(ArrayList&ltDocument&gt mapResult){
        Map&ltArrayList, ArrayList&ltArrayList&gt&gt groupResult = new HashMap&lt&gt();
        
        for(Document kv:mapResult){
            groupResult.put((ArrayList)kv.get("key"), new ArrayList&ltArrayList&gt());
        }
        
        for(Document kv:mapResult){
            groupResult.get((ArrayList)kv.get("key")).add((ArrayList)kv.get("value"));
        }
        
        return groupResult;
    }
    
    private Map&ltArrayList, ArrayList&gt reduce(Map&ltArrayList, ArrayList&ltArrayList&gt&gt groupResult){
        Map&ltArrayList, ArrayList&gt reduceResult = new HashMap&lt&gt();
        
        for(Map.Entry kv:groupResult.entrySet()){
            ArrayList key = (ArrayList)kv.getKey();
            ArrayList&ltArrayList&gt value = (ArrayList)kv.getValue();
            
            ArrayList&ltString&gt result = value.get(0);
            for(int i=1; i&ltvalue.size(); i++){
                result = intersection(value.get(i), result);
            }
            reduceResult.put(key, result);
        }
        
        return reduceResult;
    }
    
    private ArrayList&ltString&gt intersection(ArrayList&ltString&gt list1, ArrayList&ltString&gt list2){
        ArrayList&ltString&gt result = new ArrayList&lt&gt(list1);
        result.retainAll(list2);
        
        return result;
    }
    public static void main(String[] args) {
        
        MongodbConfiguration config = new MongodbConfiguration();
        MapReduce mapReduce = new MapReduce(config);
        FindIterable&ltDocument&gt friendList = mapReduce.rawCollection.find();
        ArrayList&ltDocument&gt friends = new ArrayList&lt&gt();
        for(Document friend:friendList){
            friends.add(friend);
        }
        
        ArrayList&ltDocument&gt mapResult = mapReduce.map(friends);
        Map&ltArrayList, ArrayList&ltArrayList&gt&gt groupResult = mapReduce.group(mapResult);
        Map&ltArrayList, ArrayList&gt reduceResult = mapReduce.reduce(groupResult);
        
        
        System.out.println("------Friend List------------------");
        for(Document f:friends){
            String name = f.getString("name");
            ArrayList&ltString&gt friend = (ArrayList)f.get("friend");
            System.out.println(name+":"+friend.toString());
        }
        
        System.out.println("------Map Result------------------");
        for(Document kv:mapResult){
            ArrayList key = (ArrayList)kv.get("key");
            ArrayList value = (ArrayList)kv.get("value");
            System.out.println(key.toString()+":"+value.toString());
            
        }
        
        System.out.println("------Group Result------------------");
        for(Map.Entry kv:groupResult.entrySet()){
            ArrayList key = (ArrayList)kv.getKey();
            ArrayList&ltArrayList&gt value = (ArrayList)kv.getValue();
            System.out.println(key.toString()+":"+value.toString());
        }
        
        System.out.println("------Reduce Result------------------");
        for(Map.Entry kv:reduceResult.entrySet()){
            ArrayList key = (ArrayList)kv.getKey();
            ArrayList value = (ArrayList)kv.getValue();
            System.out.println(key.toString()+":"+value.toString());
        }
        
    }
    
}


Setelah itu kita compile dan execute program MapReduce.java dengan menggunakan IDE pilihan masing-masing. Dalam hal ini saya menggunakan NetBeans Java IDE. Hasil eksekusinya adalah sebagai berikut: 
------Friend List------------------
Annya:[Brahm, Chieya, Dipa]
Brahm:[Annya, Chieya, Dipa, Elsa]
Chieya:[Annya, Brahm, Dipa, Elsa]
Dipa:[Annya, Brahm, Chieya, Elsa]
Elsa:[Brahm, Chieya, Dipa]
------Map Result------------------
[Annya, Brahm]:[Brahm, Chieya, Dipa]
[Annya, Chieya]:[Brahm, Chieya, Dipa]
[Annya, Dipa]:[Brahm, Chieya, Dipa]
[Annya, Brahm]:[Annya, Chieya, Dipa, Elsa]
[Brahm, Chieya]:[Annya, Chieya, Dipa, Elsa]
[Brahm, Dipa]:[Annya, Chieya, Dipa, Elsa]
[Brahm, Elsa]:[Annya, Chieya, Dipa, Elsa]
[Annya, Chieya]:[Annya, Brahm, Dipa, Elsa]
[Brahm, Chieya]:[Annya, Brahm, Dipa, Elsa]
[Chieya, Dipa]:[Annya, Brahm, Dipa, Elsa]
[Chieya, Elsa]:[Annya, Brahm, Dipa, Elsa]
[Annya, Dipa]:[Annya, Brahm, Chieya, Elsa]
[Brahm, Dipa]:[Annya, Brahm, Chieya, Elsa]
[Chieya, Dipa]:[Annya, Brahm, Chieya, Elsa]
[Dipa, Elsa]:[Annya, Brahm, Chieya, Elsa]
[Brahm, Elsa]:[Brahm, Chieya, Dipa]
[Chieya, Elsa]:[Brahm, Chieya, Dipa]
[Dipa, Elsa]:[Brahm, Chieya, Dipa]
------Group Result------------------
[Brahm, Dipa]:[[Annya, Chieya, Dipa, Elsa], [Annya, Brahm, Chieya, Elsa]]
[Chieya, Elsa]:[[Annya, Brahm, Dipa, Elsa], [Brahm, Chieya, Dipa]]
[Dipa, Elsa]:[[Annya, Brahm, Chieya, Elsa], [Brahm, Chieya, Dipa]]
[Brahm, Chieya]:[[Annya, Chieya, Dipa, Elsa], [Annya, Brahm, Dipa, Elsa]]
[Brahm, Elsa]:[[Annya, Chieya, Dipa, Elsa], [Brahm, Chieya, Dipa]]
[Annya, Dipa]:[[Brahm, Chieya, Dipa], [Annya, Brahm, Chieya, Elsa]]
[Chieya, Dipa]:[[Annya, Brahm, Dipa, Elsa], [Annya, Brahm, Chieya, Elsa]]
[Annya, Chieya]:[[Brahm, Chieya, Dipa], [Annya, Brahm, Dipa, Elsa]]
[Annya, Brahm]:[[Brahm, Chieya, Dipa], [Annya, Chieya, Dipa, Elsa]]
------Reduce Result------------------
[Brahm, Dipa]:[Annya, Chieya, Elsa]
[Chieya, Elsa]:[Brahm, Dipa]
[Brahm, Chieya]:[Annya, Dipa, Elsa]
[Dipa, Elsa]:[Brahm, Chieya]
[Brahm, Elsa]:[Chieya, Dipa]
[Annya, Dipa]:[Brahm, Chieya]
[Annya, Brahm]:[Chieya, Dipa]
[Annya, Chieya]:[Brahm, Dipa]
[Chieya, Dipa]:[Annya, Brahm, Elsa]

Berdasarkan hasil Reduce Result diatas, kita dapat mengetahui mutual friends antara Brahm dan Dipa adalah Annya, Chieya, dan Elsa; mutual friends antara Chieya dan Elsa adalah Brahm dan Dipa; ... dan seterusnya.

Demikian, implementasi model pemrograman MapReduce menggunakan bahasa program Java untuk mencari mutual friend ala Facebook dari daftar pertemanan yang disimpan dalam database NoSQL MongoDB.

Semoga bermanfaat.
Silakan share pengalaman, pertanyaan, maupun tanggapan Anda di kolom comment dibawah. Terima Kasih.

Komentar

Posting Komentar

Postingan populer dari blog ini

Pemilihan Presiden dan Wakil Presiden

Gambar
Pemilihan Presiden dan Wakil Presiden merupakan salah satu materi yang terdapat pada mata pelajaran Pendidikan Kewarganegaraan kelas 6. Materi Pemilihan Presiden dan Wakil Presiden ini mengulas tentang bagaimana proses Pemilihan calon Presiden dan Wakil Presiden secara demokrasi, mulai dari penentuan calon peserta, pemilih, cara berkampanye, pemungutan suara hingga penetapan calon terpilih. Berikut ulasan materinya. semoga bermanfaat.  Sebelum pemilu tahun 2004 pemilihan Presiden dan Wakil Presiden RI dilakukan oleh Majelis Permusyawaratan Rakyat (MPR). Namun, mulai Pemilu 2004 calon Presiden dan Wakil Presiden RI dipilih secara langsung oleh bangsa Indonesia melalui pemilihan umum presiden dan wakil presiden. Proses pemilihan calon presiden dan wakil presiden dan tahapan-tahapannya hampir sama dengan pemilihan DPR, DPRD, dan DPRD. Pemilu presiden dan wakil presiden diselenggarakan oleh KPU. 1. Peserta Pemilu Presiden dan Wakil Presiden Peserta pemilu presiden dan wakil presiden ad...
Baca selengkapnya

Kerajaan Singasari

Gambar
Kerajaan Singasari berdiri pada tahun 1222. Kerajaan ini didirikan oleh Ken Arok. Ia mendirikan Singasari setelah mengalahkan Kerajaan Kediri pada pertempuran di Ganter. Kerajaan Singasari terletak di antara Kota Lawang - Malang, Jawa Timur. Ken Arok adalah pembentuk dinasti Rajasa sebagai raja yang memiliki pengaruh di kerajaannya. Ia berusaha mempertahankan keberadaan Singasari atas keturunannya sendiri. Tohjoyo direncanakan sebagai penggantinya. Namun, sebelum rencananya terwujud terjadi kemelut dalam kerajaan. Anusapati (anak Tunggul Ametung) membunuh Ken Arok melalui orang upahan. Setelah mengetahui bapaknya dibunuh, Tohjoyo lalu membunuh Anusapati pada tahun 1248. Rencana balas dendam antar keturunan terus berlanjut. Tohjoyo pun mengalami nasib yang sama. Ia dibunuh oleh keturunan Anusapati. Akhirnya, pada tahun 1268 Wisnuwardhana memerintah di Kerajaan Singasari. Mulai masa itulah kerajaan ini berhenti bertikai dengan bantuan Mahesa Campaka. Mahesa Cempaka adalah saudara seayah ...
Baca selengkapnya

Pesawat Sederhana

Gambar
Berikut ini merupakan materi IPA kelas 5 tentang Pesawat sederhana yang dapat kalian pelajari. Berikut uraian singkat materi pesawat sederhana. PESAWAT SEDERHANA Pesawat sederhana dirancang untuk memudahkan pekerjaan manusia. Untuk lebih jelasnya maka kita akan memperlajari prinsip-prinsip pada bidang miring. 1. Tuas Pengungkit merupakan tuas yang paling sederhana. janis tuas dibedakan menjadi 3 golongan yaitu; a. pengungkit jenis I Urutannya yaitu beban - titik tumpu - kuasa Contoh: gunting dan tang b. pengungkit jenis II Kuasa - beban - titik tumpu Contohnya mendorong gerobak pasir c. pengungkit jenis III Contohnya memegang sekop untuk mengambil tanah 2. Bidang Miring Bidang miring adalah letak permukaan-permukaan yang miring. Bidang miring digunakan untuk memudahkan pekerjaan kita. Misalnya, memindahkan kayu ke dalam truk. Keuntungan menggunakan bidang miring. Tenaga yang dibutuhkan sama, tetapi memudahkan usaha atau kerja. Kelemahan bidang miring adalah jarak tempuhnya menjadi jau...
Baca selengkapnya