Pengertian WebCrawler
Web crawler adalah suatu program dari komputer yang melakukan penjelajahan pada world wide web berdasarkan metode tertentu, secara otomatis dan melakukan pembaharuan data apabila ada perubahan. Web crawler merupakan salah satu jenis webrobots atau software agent. Berawal dari URL yang telah terdaftar yang disebut denganseeds. Crawler akan melakukan identifikasi semua hyperlink dan memasukkan ke dalam daftar URL yang telah dikunjungi atau yang disebut dengan crawl frontier. Crawl frontier tersebut akan dilakukan pengindeksan dan akan dikunjungi secara rekursif berdasarkan kesepakatan bersama antara penyedia web crawler dan pemilik web.
WebCrawler merupakan mesin metasearch yang memadukan hasil pencarian teratas dari Google , Yahoo! , Bing Search (sebelumnya MSN Search dan Live Search ), Ask.com , About.com , MIVA , Looksmart dan mesin pencari populer. WebCrawler juga memberikan pengguna pilihan untuk mencari gambar, audio, video, berita, halaman kuning dan halaman putih. WebCrawler adalah merek dagang terdaftar dari InfoSpace , Inc
 |
| WebCrawler sudah terdaftar sebagai merek dagang di InfoSpace. |
WebCrawler adalah Search Egine yang pertama menyediakan pencarian teks lengkap . WebCrawler diciptakan pada tanggal 20 April 1994 oleh Brian Pinkerton di Universitas Washington. WebCrawler dibeli oleh America Online pada tanggal 1 Juni 1995 dan dijual kepada Excite pada tanggal 1 April 1997. WebCrawler diakuisisi oleh InfoSpace pada tahun 2001 setelah Excite , (yang kemudian disebut Excite @ Home ), bangkrut.InfoSpace juga memiliki dan mengoperasikan mesin metasearch Dogpile dan MetaCrawler .
 |
| Tampilan Web Crawler tahun 1996 |
Sejarah Web Crawler
Awal kehadiran Web, untuk mengakses suatu web, user melakukan dua cara yakni cara yang pertama user mengetahui alamat dari suatu web kemudian memasukkan alamat web tersebut pada web browser. Cara yang kedua yakni dengan mengikuti link dari web yang saat itu sedang diakses.
Dengan semakin meningkatnya jumlah web, dalam thesisnya Károly Csalogány mengatakan bahwa hal ini memunculkan dua metode untuk mengakodimirnya yakni web directories dan web crawler . Web directories merupakan web yang berisi kumpulan link yang dianggap berguna bagi user dimana untuk mengkoleksinya membutuhkan campur tangan manusia. Dikarenakan butuh sumber daya manusia yang tidak sedikit dan perlu memperbaharui data terhadap web yang diperbaharui maka crawler dianggap lebih efisien dan efektif
Kelebihan WEBCRAWLER
- Fungsi web crawler untuk search engine jauh lebih kompleks bahkan detail
- Algoritma search engine raksasa seperti google tidak mudah terungkap
Kekurangan WEBCRAWLER
- Secara umum web crawler mengakses sebuah url website melalui internet, proses crawling dapat dilakukan dengan teknik multi-thread agar optimal.
- Konten seperti teks dan metadata akan disimpan pada media penyimpanan, sedangkan link/ url yang ditemukan akan disimpan kedalam daftar antrian, dan dijadwalkan untuk proses berikutnya.
Pendiri Web Scrawler
 |
Sekilas Tentang Brian Brian seorang Arsitek Officer di A9, sebuah perusahaan pencarian difokuskan pada pencarian produk. |
WebCrawler Di University of Washington, Brian Pinkerton mengembangkan WebCrawler, sebuah proyek yang berubah menjadi produk sebelum tesis. |
Fakta Web Scrawler
 | 27 Januari 1994 Brian Pinkerton , seorang mahasiswa CSE di University of Washington, memulai WebCrawler di waktu luang. Pada awalnya, WebCrawler adalah aplikasi desktop, bukan layanan Web seperti saat ini. WebCrawler meludahkan pertama Top 25 daftar pada tanggal 15 Maret 1994. | ||
 | April 20, 1994 WebCrawler ditayangkan di Web dengan sebuah database yang berisi halaman dari lebih dari 4000 situs Web yang berbeda. Berikut ini pengumuman ke seminar UW yang membahas Web. Sekitar sebulan setengah kemudian, Brian mengumumkan WebCrawler pada comp.infosystems.announce, kelompok Usenet mana situs Web baru diumumkan. | ||
 | 14 November 1994 WebCrawler melayani 1 juta nya query. | ||
| 1 Desember 1994 WebCrawler memperoleh dua sponsor, DealerNet dan Starwave. Kedua perusahaan menyediakan uang untuk membantu menjaga operasi WebCrawler. WebCrawler sepenuhnya didukung oleh iklan pada tanggal 3 Oktober 1995 tetapi mempertahankan pemisahan yang ketat antara iklan dan hasil pencarian. | ||
| 1 Juni 1995 America Online mengakuisisi WebCrawler. Pada saat akuisisi, AOL memiliki kurang dari 1 juta pengguna, dan kemampuan untuk tidak mengakses Web. Ia percaya bahwa sumber daya AOL bisa membantu membuat sebagian besar masa depan WebCrawler ini. | ||
 | September 4, 1995 Spidey lahir. Pada bagian pertama dari banyak perubahan WebCrawler itu desain, kami pindah ke tampilan baru, dengan Spidey sebagai maskot. Spidey mengambil kepribadian selama bertahun-tahun dan dicontohkan semangat, menyenangkan ringan yang WebCrawler berusaha untuk. | ||
 | April, 1996 WebCrawler memperluas fungsionalitas dari pencarian murni untuk memasukkan buku suntingan manusia terbaik untuk Web: GNN. Sebelumnya dikenal sebagai katalog Internet Utuh, GNN Pilih adalah produk editorial sebuah tim kecil dari Internet-savvy peneliti dipimpin oleh Chambers Abbot. | ||
 | April 1, 1997 Excite memperoleh WebCrawler. AOL dijual WebCrawler ke Mountain View. WebCrawler awalnya didukung oleh tim sendiri khusus nya dalam Excite, tapi yang akhirnya ditinggalkan demi berjalan baik WebCrawler dan Excite di ujung belakang yang sama. | ||
 | 2001 InfoSpace mengakuisisi WebCrawler. Excite, sekarang Excite @ Home, bangkrut. InfoSpace sekarang berjalan dengan WebCrawler sebagai mesin meta-search. Dan mereka telah memberikan Spidey nama baru dan mengubah warnanya menjadi ungu. |
Sumber Artikel :
Tidak ada komentar:
Posting Komentar