Bukucilik

Apa itu Web Crawler? Web crawler atau yang dikenal juga dengan istilah web spider atau web robot adalah program yang bekerja dengan metode tertentu dan secara otomatis mengumpulkan semua informasi yang ada dalam suatu website. Web crawler akan mengunjungi setiap alamat website yang diberikan kepadanya, kemudian menyerap dan menyimpan semua informasi yang terkandung didalam website tersebut. Setiap kali web crawler mengunjungi sebuah website, maka dia juga akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian dikunjungi lagi satu persatu. Ketika crawlers menemukan halaman web, tugas selanjutnya adalah mengambil data-data dari halaman web dan menyimpannya ke dalam suatu media penyimpanan (harddisk). Data-data yang disimpan ini, nantinya dapat diakses pada saat dilakukan query yang berhubungan dengan data tersebut. Untuk mencapai tujuan mengumpulkan milyaran halaman web dan menyajikannya dalam hitungan detik, search engine membutuhkan data center yang sangat bes...

Big Data adalah konsep yang lahir dari dunia teknologi informasi. Ketika kita berdiskusi tentang teknologi informasi, topik pembicaraan pasti tak akan terlepas dari soal software atau hardware atau bahkan mungkin kedua-duanya. Sering berkaitan dengan kecanggihan, performa, maupun hal-hal baru yang ditawarkan oleh suatu software/hardware yang menjadi topik pembicaraan. Demikian juga dengan Big Data, pasti juga berbicara soal software dan hardware.  Namun demikian, aplikasi Big Data tidak hanya berkaitan dengan penggunaan hardware dan software yang berperforma tinggi, tetapi lebih mengacu pada pemberdayaan data sebagai penunjang bisnis. Tidak dapat dipungkiri bahwa dunia bisnis di era informasi ini sangat bergantung pada pendayagunaan data dan informasi. Oleh karena itu, dunia bisnis adalah salah satu wilayah aplikasi Big Data.  Hal pertama ketika kita ditanyakan tentang perusahaan apa saja yang menggunakan Big Data, maka sebagian besar kita akan menjawab perusahaan web service....

Saat ini, keberadaan data telah menjadi unsur yang sangat menentukan dalam dunia bisnis. Pertumbuhan data yang begitu cepat benar-benar mencengangkan. Menurut Eric Schmidt , CEO Google, data yang terbentuk di seluruh dunia telah mencapai 5 exabytes per 2 hari. Jumlah data ini secara kasarnya sama dengan jumlah seluruh data yang terbentuk semenjak munculnya peradaban hingga tahun 2003. Berdasarkan hasil survey Economist Intelligence Unit pada tahun 2011 (" BigData: harnessing a game-changing asset " ), hampir setengah dari respondennya yang notabene adalah para CEO perusahaan-perusahaan terkemuka mengatakan bahwa data telah menjadi faktor yang sangat penting dalam bisnis mereka. Kemudian 10 persen dari mereka juga mengakui bahwa data telah benar-benar mengubah cara kerja perusahaannya.Namun demikian, ditemukan pula bahwa banyak perusahaan yang masih berjuang keras dalam menangani aspek-aspek dasar dalam manajemen data dan bagaimana cara mengeksploitasi data secara efektif. Be...