Postingan

Menampilkan postingan dari Agustus, 2016

Apache Nutch Crawl Script : Web Crawling hanya dengan Satu Command

Pada artikel Membangun Mesin Pencari dengan Kombinasi Apache Nutch, Elasticsearch, dan MongoDB telah dibahas secara singkat tentang apa itu Apache Nutch, apa itu Elasticsearch, dan Apa itu MongoDB. Kemudian, pada artikel Crawling dan Indexing Berbasis Apache Nutch, Elasticsearch, dan MongoDB telah dijelaskan langkah-langkah website crawling menggunakan Apache Nutch yang meliputi 6 tahap dengan mengeksekusi 6 command Apache Nutch, yaitu: inject, generate, fetch, parse, updatedb, index. Telah disebutkan pula bahwa proses crawling yang meliputi 6 langkah ini tidak cukup hanya dilakukan satu kali untuk dapat meng-index seluruh isi website yang dijadikan target. Beruntungnya, Apache Nutch juga dilengkapi dengan script yang dapat mempersingkat proses crawling dari 6 langkah menjadi satu langkah saja, yaitu dengan mengeksekusi perintah berikut: hennywijaya$ runtime/local/bin/crawl urls/ webpage3 http://localhost:9300/nutch/ 3 Adapun arguments dari perintah diatas adalah: 1. urls adalah dir

[Input Device] Perangkat Keras Masukan Pada Komputer (Pengertian, Macam Jenis dan Fungsinya)

Perangkat keras masukan pada komputer berfungsi sebagai media untuk memasukkan data dari luar ke dalam suatu memori dan processor untuk diolah guna menghasilkan informasi yang diperlukan. Peralatan input merupakan bagian komputer yang mempunyai peranan yang sangat penting karena langsung berhubungan dengan user atau pengguna komputer. Berikut adalah macam-macam peralatan input pada komputer

69 Tips dan Trik Untuk Meningkatkan Performa Windows 7 Ultimate

Windows 7 merupakan salah satu sistem operasi dari Microsoft untuk memperbaharui dari windows versi sebelumnya yaitu Windows Vista yang cukup populer di kalangan penggunanya. Berdasarkan pendapat beberapa ahli, fitur yang dimiliki oleh Windows 7 pun juga hampir sama dengan yang dimiliki oleh Windows Vista. Akan tetapi Windows 7 lebih baik dari pada Windows Vista dari segi kualitas dan dukungan

[Brainware] Perangkat Intelektual Manusia (Pengertian, Macam Jenis dan Peranannya)

Pengertian brainware adalah orang yang menggunakan atau mengoprasikan perangkat komputer. Seperti contoh dari brainware yaitu programmer, netter (sebutan untuk orang yang sedang melakukan surfing di internet), serta orang yang sedang menggunakan perangkat komputer. Atau definisi brainware yaitu manusia yang terlibat dalam mengoperasikan atau pemakaian serta mengatur sistem di dalam

[Software] Perangkat Lunak Komputer (Pengertian, Macam Jenis dan Fungsinya)

Komputer tidak akan lepas dari perangkat lunak (software) karena merupakan salah satu bagian terpenting dari komputer itu sendiri. Komputer merupakan sistem elektronik yang fungsinya memanipulasi data yang cepat dan tepat serta akurat yang telah dirancang dan diorganisasikan supaya secara otomatis menerima atau menyimpan data input dan masukan, kemudian memprosesnya dan menghasilkan output

[Hardware] Perangkat Keras Komputer (Pengertian, Macam Jenis dan Fungsinya)

Pengertian dari hardware komputer atau yang dalam bahasa Indonesia-nya disebut juga dengan nama “perangkat keras” adalah salah satu komponen fisik pada komputer yang alatnya memiliki sifat bisa dilihat dan diraba secara langsung atau yang berbentuk nyata (berwujud), yang berfungsi untuk mendukung proses komputerisasi. Hardware digunakan oleh sistem untuk bekerja berdasarkan perintah yang

Aspek Teknis Dasar Sistem Komputer (Definisi/Pengertian Beserta Komponennya)

Sistem komputer adalah aspek-aspek dasar yang bekerja secara fungsional dalam sebuah kinerja komputer dengan menggunakan perangkat komputer sebagai alat yang membantu dalam pemrosesan data atau informasi. Perangkat-perangkat pada sistem komputer tersebut antara lain : peralatan (hardware), prosedur (software), pelaksana (brainware), dan set perintah (set intruction). Masing-masing perangkat

Crawling dan Indexing Berbasis Apache Nutch, Elasticsearch, dan MongoDB

Gambar
Pada artikel sebelumnya ( Membangun Mesin Pencari dengan Kombinasi Apache Nutch, Elasticsearch, dan MongoDB ) telah dibahas secara singkat tentang apa itu Apache Nutch, apa itu Elasticsearch, dan Apa itu MongoDB. Pada bagian 2 ini akan dibahas langkah demi langkah tentang bagaimana membangun web crawler dengan Apache Nutch, melakukan crawling terhadap website yang dijadikan target, kemudian menyimpan hasil crawling tersebut dalam bentuk data terstruktur menggunakan MongoDB, serta membangun mensin pencari menggunakan Elasticsearch sehingga dapat dilakukan penelisikan dan analisis terhadap data-data hasil crawling tersebut. Software yang harus disiapkan sebelumnya diantaranya (harus sudah siap digunakan) : 1. OS jenis Linux, bisa CentOS 7, Ubuntu 14.0.4 LTS, Mac OSX 10.9 (Mavericks) 2. Java, dalam hal ini digunakan Oracle JRE 1.8 atau Oracle JRE 1.7 3. Apache Ant Java dan Apache Ant harus sudah diinstal dengan benar di OS yang digunakan. Disini tidak akan dibahas tentang cara-cara insta

25 Definisi / Pengertian Komputer Menurut Sumber Referensi dan Pakar / Ahli

Komputer adalah alat untuk memproses data berdasarkan prosedur atau aturan yang telah diprogramkan. Komputer adalah mesin penghitung elektronik yang cepat yang terdiri dari beberapa komponen-komponen yang saling bekerja sama dalam membentuk sebuah sistem kerja yang dapat mengoperasikan pekerjaan secara otomatis sesuai dengan urutan instruksi perintah ataupun program yang diberikan kepadanya

Membangun Mesin Pencari dengan Kombinasi Apache Nutch, Elasticsearch, dan MongoDB

Membangun Web Crawler, tidak mahal! Pada artikel "Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data" telah dibahas tentang apa itu web crawler, apa itu web crawling, dan bagaimana peranan web crawling sebagai salah satu teknik pengumpulan data di Era Big Data. Banyak dari kita yang mungkin sedang atau pernah punya ide untuk membangun sebuah web crawler untuk mengorek isi website yang kita jadikan target dan merunut tautan yang terdapat padanya. Kemudian, menyimpan data-data yang setengah terstruktur tersebut menjadi data terstruktur dalam suatu database serta membangun mesin pencari tersendiri untuk melakukan full text search dan menganalisa data-data yang telah terkumpul tersebut. Data-data yang telah berstruktur ini bisa digunakan untuk keperluan riset maupun untuk menghasilkan suatu analisis guna menyusun strategi tertentu. Kini, untuk mewujudkan ide tersebut bukanlah suatu hal yang terlampau sulit, juga bukan merupakan benda yang terlalu mahal. Kita t

Penyesuaian Diri Mahluk Hidup Terhadap Lingkungannya

Gambar
Penyesuaian Diri Mahluk Hidup Terhadap Lingkungannya - Tahukah kalian bahwa tempat hidup bagi makhluk hidup di bumi berbeda-beda. Ada gurun, hutan, dataran tinggi, dataran rendah, sungai, hutan dan sebagainya. Perbedaan keadaan ini membuat hewan maupun tumbuhan beradaptasi. Penyesuaian diri merupakan suatu cara yang dimiliki oleh makhluk hidup. Makhluk hidup agar dapat mempertahankan hidupnya. Bab ini akan mengajak lebih mengerti tentang adaptasi. Bagaimanakah bentuk penyesuaian diri hewan? Apakah tumbuhan juga menyesuaikan diri dengan lingkungan? Marilah kita simak uraian materi  Penyesuaian Diri Mahluk Hidup Terhadap Lingkungannya . Semoga dapat bermanfaat. A. PENYESUAIAN DIRI HEWAN TERHADAP LINGKUNGAN Mengapa angsa bisa berenang dan mencari makan di air? Apakah ayam juga bisa bermain di air? Marilah kita pelajari tentang hewan menyesuaikan dengan lingkungan. 1. Cara Memperoleh Makanan Semua makhluk hidup membutuhkan makanan. Makanan untuk mempertahankan hidupnya. Berdasarkan cara m

MongoDB : Database NoSQL Berbasis Dokumen yang sedang Naik Daun di Era Big Data

Gambar
Apa itu MongoDB? MongoDB adalah database NoSQL yang berbasis dokumen yang bersifat cross-platform, open-source, dan dapat digunakan secara gratis. MongoDB telah hadir sebagai salah satu database NoSQL yang sedang naik daun seiring dengan makin populernya penggunaan database NoSQL pada era Big Data sekarang ini. Adapun perusahaan-perusahaan besar yang telah menggunakan MongoDB diantaranya: Adobe, Facebook, eBay, video game FIFA, Foursquare, LinkedIn, McAfee, MetLife dan masih banya lagi. MongoDB adalah database multi-fungsi yang kuat, fleksibel, dan skalabel. MongoDB menggabungkan kemampuan bekerja dalam berbagai skala dengan fitur-fitur seperti secondary indexes (indeks tambahan selain indeks utama), range queries (penelisikan dalam suatu rentang tertentu), sorting (pengurutan data), aggregations (penggabungan dataset), dan geospatial indexes (indeks geospasial). Database berbasis Dokumen "Document Oriented Database" Sebagai database NoSQL yang berbasis dokumen atau berorien