Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.

       Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-nya, memfasilitasi berbagai jenis pekerjaan yang berhubungan dengan streaming, SQL, dan machine learning.



Komponen Apache Spark (hortonworks.com)

       Spark didesain untuk data science dan menyediakan abstraksi yang membuat data science menjadi lebih mudah. Para data scientist ( ilmuwan data ) sering menggunakan machine learning, yaitu sekumpulan teknik dan algorithma yang dapat belajar dari data-data yang diberikan. Algorithma-algorithma ini banyak yang sifatnya iterative ( melakukan perulangan kalkulasi ), sehingga kemampuan Spark untuk menempatkan data-data yang diproses pada cache di memory, berperan sangat besar dalam peningkatan kecepatan bagi pemrosesan data yang sifatnya iterative tersebut. Kemampuan Spark ini telah menjadikan Spark sebagai engine yang ideal bagi implementasi algorithma-algorithma machine learning. Berkaitan dengan hal ini, Spark juga menyertakan Mllib, library perangkat lunak yang menyediakan implementasi algorithma-algorithma machine learning untuk teknik-teknik data science yang sudah umum, seperti Classification, Regression, Collaborative Filtering, Clustering, and Dimensionality Reduction.

       Sebagai perangkat lunak untuk memproses data dalam skala besar, Apache Spark memiliki sejumlah keunggulan, diantaranya:
  1. Kecepatan. Apache Spark mampu bekerja 100 kali lebih cepat dibanding Hadoop. Berkat penggunaan state-of-the-art DAG scheduler, query optimizer, dan physical execution engine, Apache Spark dapat mencapai performa tinggi baik dalam hal pemrosesan data yang sifatnya batch maupun streaming.
  2. Mudah Digunakan. Dapat menggunakan bahasa program Java, Scala, Python, R, dan SQL untuk mengembangkan aplikasi yang menggunakan Apache Spark. Spark menyediakan lebih dari 80 operator level tinggi yang dapat memudahkan pengembang untuk membangun aplikasi secara parallel. Apache Spark juga dapat digunakan secara interaktif dari shell Scala, Python, R, dan SQL.
  3. Memiliki Cakupan yang Luas. Apache Spark menggabungkan SQL, streaming, dan analitik yang kompleks; menyediakan setumpuk library perangkat lunak meliputi SQL dan DataFrames, MLlib untuk machine learning, GraphX, dan Spark Streaming. Pengembang aplikasi dapat menggabungkan semua library ini dengan mulus dalam satu aplikasi yang sama.
  4. Dapat dijalankan Dimana-mana. Apache Spark dapat dijalankan di Hadoop YARN, Apache Mesos, Kubernetes, dengan mode standalone maupun cluster, atau di platform cloud seperti EC2. Pada dasarnya, Spark dapat mengakses berbagai tipe sumber data seperti halnya HDFS, Apache Cassandra, Apache HBase, Apache Hive, dan ratusan sumber data lainnya.
       Sejak peluncurannya, Apache Spark telah dengan cepat diadopsi oleh perusahaan-perusahaan dari berbagai jenis bidang industri. Raksasa dunia Internet seperti halnya Netflix, Yahoo!, dan eBay telah menjalankan Spark dalam skala super besar, secara kolektif memproses data dalam hitungan petabytes pada kluster yang terdiri atas 8000 nodes ( komputer ). Spark tumbuh dengan cepat menjadi komunitas open source terbesar di bidang Big Data, terdiri atas lebih dari 1000 kontributor dan 250+ organisasi.

Berminat untuk mencoba menjalankan aplikasi berbasis Apache Spark? Silakan ikuti tutorial "Membuat dan Menjalankan Aplikasi Apache Spark dengan Intellij IDEA pada OS Windows" yang dikemas secara sedernana dan straight forward.

Sumber data yang dapat diakses Apache Spark (databriks.com) 

Ref:
1. Hortonworks, "What Apache Spark Does?," https://hortonworks.com/apache/spark/ [Accessed 29 7 2018].
2. Apache, "Apache Spark," https://spark.apache.org/. [Accessed 29 7 2018].
3. Databricks, "What is Apache Spark?," https://databricks.com/spark/about. [Accessed 29 7 2018].

Komentar

Posting Komentar

Postingan populer dari blog ini

Pemilihan Presiden dan Wakil Presiden

Gambar
Pemilihan Presiden dan Wakil Presiden merupakan salah satu materi yang terdapat pada mata pelajaran Pendidikan Kewarganegaraan kelas 6. Materi Pemilihan Presiden dan Wakil Presiden ini mengulas tentang bagaimana proses Pemilihan calon Presiden dan Wakil Presiden secara demokrasi, mulai dari penentuan calon peserta, pemilih, cara berkampanye, pemungutan suara hingga penetapan calon terpilih. Berikut ulasan materinya. semoga bermanfaat.  Sebelum pemilu tahun 2004 pemilihan Presiden dan Wakil Presiden RI dilakukan oleh Majelis Permusyawaratan Rakyat (MPR). Namun, mulai Pemilu 2004 calon Presiden dan Wakil Presiden RI dipilih secara langsung oleh bangsa Indonesia melalui pemilihan umum presiden dan wakil presiden. Proses pemilihan calon presiden dan wakil presiden dan tahapan-tahapannya hampir sama dengan pemilihan DPR, DPRD, dan DPRD. Pemilu presiden dan wakil presiden diselenggarakan oleh KPU. 1. Peserta Pemilu Presiden dan Wakil Presiden Peserta pemilu presiden dan wakil presiden ad...
Baca selengkapnya

Kerajaan Singasari

Gambar
Kerajaan Singasari berdiri pada tahun 1222. Kerajaan ini didirikan oleh Ken Arok. Ia mendirikan Singasari setelah mengalahkan Kerajaan Kediri pada pertempuran di Ganter. Kerajaan Singasari terletak di antara Kota Lawang - Malang, Jawa Timur. Ken Arok adalah pembentuk dinasti Rajasa sebagai raja yang memiliki pengaruh di kerajaannya. Ia berusaha mempertahankan keberadaan Singasari atas keturunannya sendiri. Tohjoyo direncanakan sebagai penggantinya. Namun, sebelum rencananya terwujud terjadi kemelut dalam kerajaan. Anusapati (anak Tunggul Ametung) membunuh Ken Arok melalui orang upahan. Setelah mengetahui bapaknya dibunuh, Tohjoyo lalu membunuh Anusapati pada tahun 1248. Rencana balas dendam antar keturunan terus berlanjut. Tohjoyo pun mengalami nasib yang sama. Ia dibunuh oleh keturunan Anusapati. Akhirnya, pada tahun 1268 Wisnuwardhana memerintah di Kerajaan Singasari. Mulai masa itulah kerajaan ini berhenti bertikai dengan bantuan Mahesa Campaka. Mahesa Cempaka adalah saudara seayah ...
Baca selengkapnya

Pesawat Sederhana

Gambar
Berikut ini merupakan materi IPA kelas 5 tentang Pesawat sederhana yang dapat kalian pelajari. Berikut uraian singkat materi pesawat sederhana. PESAWAT SEDERHANA Pesawat sederhana dirancang untuk memudahkan pekerjaan manusia. Untuk lebih jelasnya maka kita akan memperlajari prinsip-prinsip pada bidang miring. 1. Tuas Pengungkit merupakan tuas yang paling sederhana. janis tuas dibedakan menjadi 3 golongan yaitu; a. pengungkit jenis I Urutannya yaitu beban - titik tumpu - kuasa Contoh: gunting dan tang b. pengungkit jenis II Kuasa - beban - titik tumpu Contohnya mendorong gerobak pasir c. pengungkit jenis III Contohnya memegang sekop untuk mengambil tanah 2. Bidang Miring Bidang miring adalah letak permukaan-permukaan yang miring. Bidang miring digunakan untuk memudahkan pekerjaan kita. Misalnya, memindahkan kayu ke dalam truk. Keuntungan menggunakan bidang miring. Tenaga yang dibutuhkan sama, tetapi memudahkan usaha atau kerja. Kelemahan bidang miring adalah jarak tempuhnya menjadi jau...
Baca selengkapnya