Bukucilik

       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.        Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-nya, ...

Pada artikel sebelumnya ( Analisa Sentimen Masyarakat terhadap Presiden Jokowi Berdasar Data Twitter: Sebuah Contoh Sederhana Pemberdayaan Big Data ) telah dibahas bagaimana memberdayakan data tak berstruktur (teks twitter) untuk mengukur sentimen terhadap suatu subyek (dalam hal ini Presiden Jokowi) dengan mengimplementasikan pola pemrosesan Big Data dan salah satu algorithma machine learning . Dengan menerapkan metode yang cukup sederhana, dapat dicapai hasil akhir berupa persentase sentimen Positif, Negatif, maupun Netral terhadap Presiden Jokowi selama kurun waktu satu bulan (April 2018). Selain itu, juga didapat data tentang hashtag/tagar maupun tweet/cuitan mana yang berkontribusi signifikan terhadap tiap sentimen. Pada artikel ini, serupa dengan artikel sebelumnya , topik yang dibahas masih seputar mengukur sentimen netizen terhadap Presiden Jokowi dengan menganalisa cuitan Twitter. Namun, data yang dianalisa adalah cuitan Twitter selama bulan Mei 2018 dengan klasifikasi sentime...

Dewasa ini, eksploitasi media sosial sudah tidak dimonopoli oleh urusan bisnis belaka, tetapi telah secara nyata diberdayakan pada ranah politik. Beberapa waktu lalu, diberitakan bahwa media sosial seperti Twitter dan Facebook telah memberi pengaruh signifikan terhadap kemenangan Presiden Donald Trump pada pemilihan presiden Amerika Serikat tahun 2016. Selain itu, akhir-akhir ini juga marak diberitakan perihal kasus Cambridge Analytica yang memanfaatkan data pengguna dari media sosial Facebook maupun Twitter untuk kepentingan politik. Kali ini, akan dibahas contoh sederhana analisa data media sosial Twitter untuk mengetahui proporsi sentimen masyarakat (secara umum) terhadap Presiden Joko Widodo (Jokowi) dalam kurun waktu satu bulan (April 2018). Hasil yang dapat diharapkan dari analisa ini adalah seberapa besar persentase masyarakat yang menaruh sentimen POSITIF, NEGATIF, maupun NETRAL terhadap Presiden Jokowi, serta faktor-faktor apa saja yang mempengaruhi komposisi sentimen tersebut...

Adopsi teknologi Big Data di Indonesia kini sudah bukan sekedar wacana di tingkat penelitian dan prototyping saja, tetapi sudah sampai pada tahap implementasi secara nyata, baik di dunia bisnis maupun di lingkungan institusi pemerintahan. Terlebih lagi, pemberdayaan teknologi yang masih tergolong baru ini, khususnya di Indonesia, sudah menunjukkan hasil yang nyata pula. Sebut saja Go-Jek, sebuah produk bisnis inovatif yang telah sukses merealisasikan berbagai jenis layanan dalam satu aplikasi. Hal ini dimungkinkan berkat keberhasilan Go-Jek membangun back-end Big Data yang solid dan komprehensif. Kemudian, di kalangan instansi pemerintahan, Ditjen Pajak juga sudah menggelontorkan dana triliunan rupiah demi optimalkan penerimaan pajak melalui pemberdayaan Big Data. Demikian juga dengan Bank Indonesia, telah mengadopsi teknologi Big Data sejak tahun 2014 silam yang diberdayakan dalam perumusan kebijakan. Bank Mandiri Sadar Potensi Big Data Menyadari potensi Big Data yang begitu signif...

Big Data hanya akan berupa kumpulan data mentah yang tak berarti apa-apa jika tidak diberdayakan. Namun demikian, pemberdayaan Big Data bukanlah perkara mudah, butuh investasi infrastruktur, sumber daya manusia, serentetan software, dan waktu yang tidak sedikit. Konsekuensinya, implementasi Big Data jadi terkesan jauh dari jangkauan individu maupun organisasi yang tak memiliki sumber daya berlimpah. Oleh karena itu, pada kesempatan ini, akan disajikan contoh sederhana pemberdayaan Big Data yang dapat diimplementasikan dengan kebutuhan sumber daya yang relatif kecil baik itu yang menyangkut infrastruktur maupun software. Berbicara tentang penyediaan infrastruktur dan software, paling tidak ada 4 hal yg harus dipertimbangkan, yakni: data collection, data storage, data analysis, data visualization (output). Hasil (output) yang ingin dicapai adalah hal pertama yang mesti ditentukan karena ini lah yang menjadi tujuan dari pemberdayaan Big Data itu sendiri. Pada contoh kali ini, tujuan dari...

Mengikuti Sukses Implementasi Teknologi Big Data Pemberitaan tentang suksesnya implementasi teknologi Big Data di negara-negara maju oleh perusahaan-perusahaan web service seperti halnya Google, Facebook, Amazon, maupun Yahoo!, mungkin sudah cukup sering kita simak. Bukan hanya oleh sektor swasta, di Amerika Serikat teknologi Big Data juga telah sukses diterapkan oleh institusi-institusi pemerintah. Sebagai salah satu contohnya, sebut saja NOAA (National Oceanic and Atmospheric Administration) yang mengelola 30 petabytes data baru pertahunnya. Data-data tersebut berasal satelit, kapal laut, pesawat terbang, buoy, dan sensor-sensor lainnya, yang kemudian diberdayakan untuk menyediakan layanan cuaca nasional (National Weather Service). Layanan cuaca ini menyediakan informasi seputar peringatan cuaca buruk maupun petunjuk cuaca untuk sektor publik dan swasta, termasuk Departemen Pertahanan Amerika Serikat dan NASA. Dalam hal ini, Indonesia tidak mau ketinggalan, dalam beberapa tahun terak...

Pada artikel sebelumnya ( Membangun Mesin Pencari dengan Kombinasi Apache Nutch, Elasticsearch, dan MongoDB ) telah dibahas secara singkat tentang apa itu Apache Nutch, apa itu Elasticsearch, dan Apa itu MongoDB. Pada bagian 2 ini akan dibahas langkah demi langkah tentang bagaimana membangun web crawler dengan Apache Nutch, melakukan crawling terhadap website yang dijadikan target, kemudian menyimpan hasil crawling tersebut dalam bentuk data terstruktur menggunakan MongoDB, serta membangun mensin pencari menggunakan Elasticsearch sehingga dapat dilakukan penelisikan dan analisis terhadap data-data hasil crawling tersebut. Software yang harus disiapkan sebelumnya diantaranya (harus sudah siap digunakan) : 1. OS jenis Linux, bisa CentOS 7, Ubuntu 14.0.4 LTS, Mac OSX 10.9 (Mavericks) 2. Java, dalam hal ini digunakan Oracle JRE 1.8 atau Oracle JRE 1.7 3. Apache Ant Java dan Apache Ant harus sudah diinstal dengan benar di OS yang digunakan. Disini tidak akan dibahas tentang cara-cara insta...

Membangun Web Crawler, tidak mahal! Pada artikel "Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data" telah dibahas tentang apa itu web crawler, apa itu web crawling, dan bagaimana peranan web crawling sebagai salah satu teknik pengumpulan data di Era Big Data. Banyak dari kita yang mungkin sedang atau pernah punya ide untuk membangun sebuah web crawler untuk mengorek isi website yang kita jadikan target dan merunut tautan yang terdapat padanya. Kemudian, menyimpan data-data yang setengah terstruktur tersebut menjadi data terstruktur dalam suatu database serta membangun mesin pencari tersendiri untuk melakukan full text search dan menganalisa data-data yang telah terkumpul tersebut. Data-data yang telah berstruktur ini bisa digunakan untuk keperluan riset maupun untuk menghasilkan suatu analisis guna menyusun strategi tertentu. Kini, untuk mewujudkan ide tersebut bukanlah suatu hal yang terlampau sulit, juga bukan merupakan benda yang terlalu mahal. Kita t...

Apa itu MongoDB? MongoDB adalah database NoSQL yang berbasis dokumen yang bersifat cross-platform, open-source, dan dapat digunakan secara gratis. MongoDB telah hadir sebagai salah satu database NoSQL yang sedang naik daun seiring dengan makin populernya penggunaan database NoSQL pada era Big Data sekarang ini. Adapun perusahaan-perusahaan besar yang telah menggunakan MongoDB diantaranya: Adobe, Facebook, eBay, video game FIFA, Foursquare, LinkedIn, McAfee, MetLife dan masih banya lagi. MongoDB adalah database multi-fungsi yang kuat, fleksibel, dan skalabel. MongoDB menggabungkan kemampuan bekerja dalam berbagai skala dengan fitur-fitur seperti secondary indexes (indeks tambahan selain indeks utama), range queries (penelisikan dalam suatu rentang tertentu), sorting (pengurutan data), aggregations (penggabungan dataset), dan geospatial indexes (indeks geospasial). Database berbasis Dokumen "Document Oriented Database" Sebagai database NoSQL yang berbasis dokumen atau berorien...