Aplikasi Smartphone Berbasis Web Crawler dan NoSQL: Contoh Sederhana Implementasi Pemberdayaan Big Data

Big Data hanya akan berupa kumpulan data mentah yang tak berarti apa-apa jika tidak diberdayakan. Namun demikian, pemberdayaan Big Data bukanlah perkara mudah, butuh investasi infrastruktur, sumber daya manusia, serentetan software, dan waktu yang tidak sedikit. Konsekuensinya, implementasi Big Data jadi terkesan jauh dari jangkauan individu maupun organisasi yang tak memiliki sumber daya berlimpah. Oleh karena itu, pada kesempatan ini, akan disajikan contoh sederhana pemberdayaan Big Data yang dapat diimplementasikan dengan kebutuhan sumber daya yang relatif kecil baik itu yang menyangkut infrastruktur maupun software.

Berbicara tentang penyediaan infrastruktur dan software, paling tidak ada 4 hal yg harus dipertimbangkan, yakni: data collection, data storage, data analysis, data visualization (output). Hasil (output) yang ingin dicapai adalah hal pertama yang mesti ditentukan karena ini lah yang menjadi tujuan dari pemberdayaan Big Data itu sendiri. Pada contoh kali ini, tujuan dari pemberdayaan Big Data adalah untuk mendapatkan informasi produk-produk yang sedang dijual dengan harga diskon/promo dari peritel-peritel nasional seperti Alfamart, Carrefour, Giant, Guardian, Hari Hari, Hypermart, Indomaret, Lottemart, Superindo, Tip Top, Watsons, dan Yogya. Informasi tersebut akan ditampilkan berdasarkan kategori produk, nama peritel, dan area berlakunya harga promo tersebut. Selain itu, juga dimuat masa berlaku dari tiap promo tersebut.

Setelah tujuan ditentukan, kita telah siap untuk membangun infrastruktur maupun software yang dibutuhkan dengan mempertimbangkan 4 hal tadi (Data Collection, Data Storage, Data Analytics, dan Data Visualization).


Data Collection

Data collection menyangkut data apa yg perlu dikumpulkan untuk mencapai tujuan pemberdayaan Big Data yang telah ditentukan. Pada contoh kali ini, sumber data yang digunakan adalah web pages. Oleh karena itu, kita akan membangun web crawler untuk mengumpulkan data-data produk promo dari peritel-peritel nasional yang telah disebutkan. Ada banyak crawler yang bisa digunakan untuk tujuan ini, seperti Apache Nutch, Scrapy dan sebagainya.


Data Storage

Data Storage berkaitan dengan penyimpanan data-data yang telah didapatkan pada Data Collection. Pada contoh ini, data hasil crawling akan disimpan dalam database NoSQL, seperti MongoDB, HBase dan sebagainya.


Data Analytics

Data Analytics adalah metode-metode yang akan ditempuh untuk memproses data-data yang telah disimpan pada Data Storage untuk mendapatkan suatu hasil/output yang diinginkan. Big Data analytics bisa menggunakan platform dari Cloudera, Hortonworks, IBM, AWS maupun dengan platform yang dikembangkan sendiri. Pada contoh sederhana kali ini, sebagai data analytics, hanya digunakan program sederhana yang dikembangkan sendiri untuk memproses data-data hasil crawling menjadi informasi yang diinginkan (sesuai tujuan pemberdayaan Big Data yang telah ditentukan sebelumnya).


Data Visualization

Data Visualization menyangkut bagaimana informasi hasil analytics akan dipresentasikan kepada pengguna hingga mudah dimengerti/dicerna. Pengguna dalam hal ini bisa customer, user, maupun decision maker. Big Data visualization bisa menggunakan tools seperti Google Chart, Tableu, atau bisa didesain sendiri sesuai kebutuhan. Pada contoh sederhana kali ini, informasi hasil analytics yang berupa produk-produk promo yang sudah dikelompokkan berdasarkan jenis produk, nama peritel yang menjual, dan area berlakunya promo, akan divisualkan dalam bentuk mobile application untuk platform iOS maupun Android. Dengan demikian informasi hasil analytics tersebut dapat menjangkau jutaan pengguna smartphone. Namun demikian, agar informasi yang ditampilkan dapat di-update setiap saat, maka diperlukan server database yang dapat diakses oleh aplikasi mobile yang diinstal di tiap smartphone pengguna. Dalam hal ini, kita dapat menggunakan cloud database seperti Google Firebase ataupun Microsoft Azure. Berikut adalah tampilan aplikasi mobile yang menyuguhkan informasi hasil analisa. Aplikasi ini diberi nama InfoPromo, dapat di-download langsung dari iPhone App Store maupun Android Play Store.






Demikian, sebuah contoh sederhana implementasi pemberdayaan Big Data dengan memanfaatkan data-data yang tersedia di Internet. Contoh ini diharapkan dapat memberikan gambaran nyata tentang bagaimana Big Data itu diberdayakan. Untuk contoh yang lebih kompleks, akan dibahas pada artikel-artikel berikutnya.

Komentar

Posting Komentar

Postingan populer dari blog ini

Pemilihan Presiden dan Wakil Presiden

Gambar
Pemilihan Presiden dan Wakil Presiden merupakan salah satu materi yang terdapat pada mata pelajaran Pendidikan Kewarganegaraan kelas 6. Materi Pemilihan Presiden dan Wakil Presiden ini mengulas tentang bagaimana proses Pemilihan calon Presiden dan Wakil Presiden secara demokrasi, mulai dari penentuan calon peserta, pemilih, cara berkampanye, pemungutan suara hingga penetapan calon terpilih. Berikut ulasan materinya. semoga bermanfaat.  Sebelum pemilu tahun 2004 pemilihan Presiden dan Wakil Presiden RI dilakukan oleh Majelis Permusyawaratan Rakyat (MPR). Namun, mulai Pemilu 2004 calon Presiden dan Wakil Presiden RI dipilih secara langsung oleh bangsa Indonesia melalui pemilihan umum presiden dan wakil presiden. Proses pemilihan calon presiden dan wakil presiden dan tahapan-tahapannya hampir sama dengan pemilihan DPR, DPRD, dan DPRD. Pemilu presiden dan wakil presiden diselenggarakan oleh KPU. 1. Peserta Pemilu Presiden dan Wakil Presiden Peserta pemilu presiden dan wakil presiden ad...
Baca selengkapnya

Kerajaan Singasari

Gambar
Kerajaan Singasari berdiri pada tahun 1222. Kerajaan ini didirikan oleh Ken Arok. Ia mendirikan Singasari setelah mengalahkan Kerajaan Kediri pada pertempuran di Ganter. Kerajaan Singasari terletak di antara Kota Lawang - Malang, Jawa Timur. Ken Arok adalah pembentuk dinasti Rajasa sebagai raja yang memiliki pengaruh di kerajaannya. Ia berusaha mempertahankan keberadaan Singasari atas keturunannya sendiri. Tohjoyo direncanakan sebagai penggantinya. Namun, sebelum rencananya terwujud terjadi kemelut dalam kerajaan. Anusapati (anak Tunggul Ametung) membunuh Ken Arok melalui orang upahan. Setelah mengetahui bapaknya dibunuh, Tohjoyo lalu membunuh Anusapati pada tahun 1248. Rencana balas dendam antar keturunan terus berlanjut. Tohjoyo pun mengalami nasib yang sama. Ia dibunuh oleh keturunan Anusapati. Akhirnya, pada tahun 1268 Wisnuwardhana memerintah di Kerajaan Singasari. Mulai masa itulah kerajaan ini berhenti bertikai dengan bantuan Mahesa Campaka. Mahesa Cempaka adalah saudara seayah ...
Baca selengkapnya

Pesawat Sederhana

Gambar
Berikut ini merupakan materi IPA kelas 5 tentang Pesawat sederhana yang dapat kalian pelajari. Berikut uraian singkat materi pesawat sederhana. PESAWAT SEDERHANA Pesawat sederhana dirancang untuk memudahkan pekerjaan manusia. Untuk lebih jelasnya maka kita akan memperlajari prinsip-prinsip pada bidang miring. 1. Tuas Pengungkit merupakan tuas yang paling sederhana. janis tuas dibedakan menjadi 3 golongan yaitu; a. pengungkit jenis I Urutannya yaitu beban - titik tumpu - kuasa Contoh: gunting dan tang b. pengungkit jenis II Kuasa - beban - titik tumpu Contohnya mendorong gerobak pasir c. pengungkit jenis III Contohnya memegang sekop untuk mengambil tanah 2. Bidang Miring Bidang miring adalah letak permukaan-permukaan yang miring. Bidang miring digunakan untuk memudahkan pekerjaan kita. Misalnya, memindahkan kayu ke dalam truk. Keuntungan menggunakan bidang miring. Tenaga yang dibutuhkan sama, tetapi memudahkan usaha atau kerja. Kelemahan bidang miring adalah jarak tempuhnya menjadi jau...
Baca selengkapnya