WEB CLUSTERING

• Yang akan saya jelaskan sekarang adalaha pengertian dari Web Clustering itu sendiri yaitu, 

Dari asal kata clustering yang berarti “pengelompokan”, kita bisa menyimpulkan secara sederhana bahwa web clustering adalah suatu pengelompokan web. Akan tetapi, lebih jelasnya Web clustering adalah sekelompok sistem komputer dan perangkat lunak server web yang menyediakan mekanisme pengiriman halaman web pada sebuah perusahaan baik untuk penggunaan internal (intranet) dan / atau untuk Internet publik. Tentunya sudah dikelompokan terlebih dahulu menurut kategori tertentu, sehingga pengelompokan web tersebut mempermudah user untuk menemukan dokumen pada web yang diinginkan. Pengelompokan ini menggunakan Algoritma Semantic Hierarchical Online Clustering (SHOC) yang merupakan salah satu algoritma clustering yang mengelompokkan dokumen web hasil pencarian ke dalam cluster tertentu berdasarkan frase-frase kunci yang terdapat dalam dokumen tersebut. 

• Lalu saya akan membahas tentang penggunaan atau aplikasi dari Web Clustering yaitu,

Web Clustering biasanya digunakan untuk komputasi cluster . Komputer super modern terdiri dari server farm raksasa berkecepatan tinggi prosesor dihubungkan dengan baik Gigabit Ethernet atau kustom interkoneksi seperti Infiniband atau Myrinet .Web hosting adalah penggunaan umum dari sebuah web clustering, sistem seperti ini kadang - kadang secara kolektif disebut sebagai sebuah web clustering. Kegunaan lain dari server farm meliputi simulasi ilmiah (seperti komputasi dinamika fluida ) dan rendergambar 3D yang dihasilkan komputer.

• Kinerjanya sangatlah besar sever farm (ribuan prosesor dan atas) yang biasanya terbatas oleh kinerja dari pusat data itu pendinginan sistem dan biaya listrik total bukan oleh kinerja prosesor. Komputer di server farm berjalan 24/7, dan mengkonsumsi sejumlah besar listrik. Untuk alasan ini, parameter desain penting untuk sistem yang baik, besar dan berkesinambungan cenderung kinerja per watt , bukan biaya kinerja puncak atau (kinerja puncak / (Unit * biaya awal)). Juga, untuk ketersediaan sistem yang harus dijalankan 24/7, ada perhatian lebih ditempatkan pada fitur penghematan daya seperti variabel clock-speed dan kemampuan untuk mematikan bagian komputer kedua, bagian prosesor, dan seluruh komputer sesuai dengan permintaan tanpa menurunkan jasa. http://en.wikipedia.org/wiki 

Win Web Crawler 2.0

Saya akan menjelaskan sebelumnya tentang apa yang dimaksud Webcrawler,Web crawler adalah program komputer yang bertugas melihat-lihat situs secara periodik dan otomatis. Mesin pencari macam Google sudah pasti punya juga program macam ini dan karena program itulah isi yang ada dalam sebuah situs lebih mudah dicari.Web crawler juga sering dikenal dengan nama web spider atau web robot, yaitu salah satu komponen penting dalam arsitektur sebuah mesin pencari modern. Fungsi utama web crawler adalah untuk melakukan penjelajahan dan pengambilan halaman-halaman web yang ada di internet. Fungsi utamanya sendiri yaitu 

• Mengidentifikasikan Hyperlink (Hyperlink yang ditemui pada konten akan ditambahkan pada daftar visit, disebut juga dengan istilah frontier.)
• Melakukan proses kunjungan atau visit secara rekursif. Dari setiap hyperlink, Web crawler akan menjelajahinya dan melakukan proses berulang, dengan ketentuan   yang disesuaikan dengan keperluan aplikasi.

Itu adalah sebagian penjelasan atau pengertian tentang Web Crawler itu sendiri, selanjutnya saya akan membahas software yang akan saya gunakan yaitu Win Web Crawler 2.0.Ini adalah Home atau tampilan utama dari software Win Web Crawler 2.0

Saya akan mulai membahas form "New Sesion". pada form tersebut disana terdapat tools general , external site, file filter, domain , log in , other , proxy.

Ini adalah salah satu penggunaannya,

• General : Pada bagian ini kita dapat mengecek web crawler yang akan kita pakai contohnya saja pada gambar diatas dengan keyword "toko bagus" . jadi semua output pasti akan keluar apabila berhubungan dengan web tersebut.
• External Site : Selanjutnya pada bagian ni , kita dapat mengetahui link - link yang bukan dari web tersebut akan di tampilkan pada output . kita juga bisa men setting apakah kita hanya external link dari halaman depannya saja ataupun keseluruhan.
• File Filter : Option yang berfungsi untuk mendownload dan memproses data sesuai tanggat dan waktu.
• Domain : Option ini berfungsi sebagai domain yang akan dipilih . 
• Log In : Option ini dipakai apabila kita admin web tersebut . kita dapat memasukinya dengan mengisikan user name dan password .
• Proxy : option yang akan kita pakai apabila kita memakai koneksi internet Via dial-up , LAN , Kabel modem yang tidak memakai firewall atau proxy kita bisa menggunakan option ini . 

Demikian yang saya jelaskan , mungkin jika memang masih sulit dimengerti anda bisa mendownloadnya free trial 15 hari software Win Web Crawler 2.0 untuk mempelajarinya.