Win Web Crawler 2.0

Saya akan menjelaskan sebelumnya tentang apa yang dimaksud Webcrawler,Web crawler adalah program komputer yang bertugas melihat-lihat situs secara periodik dan otomatis. Mesin pencari macam Google sudah pasti punya juga program macam ini dan karena program itulah isi yang ada dalam sebuah situs lebih mudah dicari.Web crawler juga sering dikenal dengan nama web spider atau web robot, yaitu salah satu komponen penting dalam arsitektur sebuah mesin pencari modern. Fungsi utama web crawler adalah untuk melakukan penjelajahan dan pengambilan halaman-halaman web yang ada di internet. Fungsi utamanya sendiri yaitu 

• Mengidentifikasikan Hyperlink (Hyperlink yang ditemui pada konten akan ditambahkan pada daftar visit, disebut juga dengan istilah frontier.)
• Melakukan proses kunjungan atau visit secara rekursif. Dari setiap hyperlink, Web crawler akan menjelajahinya dan melakukan proses berulang, dengan ketentuan   yang disesuaikan dengan keperluan aplikasi.

Itu adalah sebagian penjelasan atau pengertian tentang Web Crawler itu sendiri, selanjutnya saya akan membahas software yang akan saya gunakan yaitu Win Web Crawler 2.0.Ini adalah Home atau tampilan utama dari software Win Web Crawler 2.0

Saya akan mulai membahas form "New Sesion". pada form tersebut disana terdapat tools general , external site, file filter, domain , log in , other , proxy.

Ini adalah salah satu penggunaannya,

• General : Pada bagian ini kita dapat mengecek web crawler yang akan kita pakai contohnya saja pada gambar diatas dengan keyword "toko bagus" . jadi semua output pasti akan keluar apabila berhubungan dengan web tersebut.
• External Site : Selanjutnya pada bagian ni , kita dapat mengetahui link - link yang bukan dari web tersebut akan di tampilkan pada output . kita juga bisa men setting apakah kita hanya external link dari halaman depannya saja ataupun keseluruhan.
• File Filter : Option yang berfungsi untuk mendownload dan memproses data sesuai tanggat dan waktu.
• Domain : Option ini berfungsi sebagai domain yang akan dipilih . 
• Log In : Option ini dipakai apabila kita admin web tersebut . kita dapat memasukinya dengan mengisikan user name dan password .
• Proxy : option yang akan kita pakai apabila kita memakai koneksi internet Via dial-up , LAN , Kabel modem yang tidak memakai firewall atau proxy kita bisa menggunakan option ini . 

Demikian yang saya jelaskan , mungkin jika memang masih sulit dimengerti anda bisa mendownloadnya free trial 15 hari software Win Web Crawler 2.0 untuk mempelajarinya.